Chercheur en IA à 26 ans, je gagne 800k/an sur Paris
GenAI
il y a 8 mois
Lora c'est bien pour ceux qui ont peu de ressources, t'es en train de me dire qu'à DeepMind/Meta vous entrainez des LoRA ?
Regarde certains papiers de recherche recents. Pendant le fine-tuning tu peux avoir des meilleures performances en lora. Ça apporte de la régularisation, qui te permet de faire plein d'epochs sur tes datasets sans overfit.
Apres c'est très empirique, je dis pas que ça marche mieux tout le temps, mais la dernière fois que j'avais essayé ça marchait mieux.
GenAI
il y a 8 mois
Il y a des variantes de Lora du genre DoRA ou Pissa aussi qui sont biens
trpo
il y a 8 mois
Regarde certains papiers de recherche recents. Pendant le fine-tuning tu peux avoir des meilleures performances en lora. Ça apporte de la régularisation, qui te permet de faire plein d'epochs sur tes datasets sans overfit.
Apres c'est très empirique, je dis pas que ça marche mieux tout le temps, mais la dernière fois que j'avais essayé ça marchait mieux.
Tu bosses pas sur un produit (Llama, Gemini) je me trompe ? Plus dans une équipe recherche j'ai l'impression, ça élimine Mistral
GenAI
il y a 8 mois
Tu bosses pas sur un produit (Llama, Gemini) je me trompe ? Plus dans une équipe recherche j'ai l'impression, ça élimine Mistral
Si je travaille exactement sur un produit. Yes j'ai déjà dit un peu plus haut que je travaillais pas pour eux, mais je m'arrête là je dis pas plus.
GenAI
il y a 8 mois
Tu bosses pas sur un produit (Llama, Gemini) je me trompe ? Plus dans une équipe recherche j'ai l'impression, ça élimine Mistral
Et toi clé tu fais quoi ?
urawizard
il y a 8 mois
T'es sur que tu gonfles pas un peu ta TC quand même ? 300, 400 ou 500k ça me choquerait pas (quoique c'est déjà énorme pour quelqu'un qui a au max 3-4 ans d'xp), mais 800k permets moi d'en douter (et je fais partie du milieu)
trpo
il y a 8 mois
Et toi clé tu fais quoi ?
J'ai fais le même master que toi j'hésite à go thèse c'est utile ?
urawizard
il y a 8 mois
J'ai fais le même master que toi j'hésite à go thèse c'est utile ?
Ca dépend, tu veux faire quoi après ?
LincPossible
il y a 8 mois
Sans deconner, un jour faudra nous expliquer à quoi ça vous sert d'inventer des fake pareil 
LL-LuckyLuke
il y a 8 mois
Persoent 80k à 23 ans en électronique, j'aurais dû faire de l'IA ahi
Bienveillance91
il y a 8 mois
Ma question : Comment as tu eu le temps de te démarquer à 26 ans pour avoir un CV qui pousse une boîte à mettre 800K€/an sur toi ?
En admettant que tu aies sauté une classe, à 26 tu viens de terminer ton doctorat. Tu n'as donc pas eu le temps de faire des post-doctorats et continuer à faire tes armes. Il doit y avoir plein de candidats plus qualifiés qu'un jeune docteur qui se sont positionnés sur un tel poste. Comment as-tu été séléctionné avec une concurrence certainement aussi rude ?
GenAI
il y a 8 mois
T'es sur que tu gonfles pas un peu ta TC quand même ? 300, 400 ou 500k ça me choquerait pas (quoique c'est déjà énorme pour quelqu'un qui a au max 3-4 ans d'xp), mais 800k permets moi d'en douter (et je fais partie du milieu)
Oui c'est exceptionnel, j'ai eu la chance de travailler sur les bons sujets un peu avant tout le monde, ce qui fait que j'ai pu négocier ça.
En general les meilleurs en sortant de thèse actuellement peuvent négocier 2M-2.5M chez Meta/Deepmind s'ils ont des super papiers et qu'ils peuvent apporter quelque chose que l'entreprise n'a pas, mais c'est pas tout le monde
trpo
il y a 8 mois
Ca dépend, tu veux faire quoi après ?
Research scientist dans le privé mais les places sont rares, j'ai pas trop envie de rester dans le monde académique
trpo
il y a 8 mois
Sans deconner, un jour faudra nous expliquer à quoi ça vous sert d'inventer des fake pareil
C'est plausible je pense
urawizard
il y a 8 mois
Ma question : Comment as tu eu le temps de te démarquer à 26 ans pour avoir un CV qui pousse une boîte à mettre 800K€/an sur toi ?En admettant que tu aies sauté une classe, à 26 tu viens de terminer ton doctorat. Tu n'as donc pas eu le temps de faire des post-doctorats et continuer à faire tes armes. Il doit y avoir plein de candidats plus qualifiés qu'un jeune docteur qui se sont positionnés sur un tel poste. Comment as-tu été séléctionné avec une concurrence certainement aussi rude ?
Le truc le plus probable c'est un (énorme) sign in bonus parce qu'il était déjà dans une autre boite de ce type là avant, et encore malgré ça c'est 2 fois trop .
Un exemple des TC à meta : https://www.levels.fyi/companies/facebook/salaries/research-scientist 300k pour des juniors en moyenne, ptet 400 si t'es chaud, 800 j'y crois pas trop
GenAI
il y a 8 mois
J'ai fais le même master que toi j'hésite à go thèse c'est utile ?
En soit pour les compétences non, mais si t'as pas de thèse dans les grosses boites tu seras condamné à rester research engineer et pas research scientist et c'est chiant.
Je pense c'est bien d'en faire une cifre, si tu peux la faire avec meta c'est incroyable, je crois que deepmind commence à en faire aussi. Sinon académique, quitte à arrêter en cours de thèse pour rejoindre une entreprise
urawizard
il y a 8 mois
Oui c'est exceptionnel, j'ai eu la chance de travailler sur les bons sujets un peu avant tout le monde, ce qui fait que j'ai pu négocier ça.
En general les meilleurs en sortant de thèse actuellement peuvent négocier 2M-2.5M chez Meta/Deepmind s'ils ont des super papiers et qu'ils peuvent apporter quelque chose que l'entreprise n'a pas, mais c'est pas tout le monde
Euh oui ptet si t'as fait un best paper sur pile le milieu qui va bien, et du coup c'est un sign in bonus et pas une compensation chaque année.
En tout cas si tu fais partie des rares gens qui ont sorti un papier remarquable ces dernières années, bah bravo, mais pour y avoir bossé un petit moment bah j'ai jamais entendu ces montants
trpo
il y a 8 mois
Je pense c'est bien d'en faire une cifre, si tu peux la faire avec meta c'est incroyable, je crois que deepmind commence à en faire aussi. Sinon académique, quitte à arrêter en cours de thèse pour rejoindre une entreprise
Les CIFRE Meta y'a quelque chose comme 5 sélectionnés par ans ahi Le monde de l'IA est devenu plus compétitif que quand t'y es rentré je pense
GenAI
il y a 8 mois
Ma question : Comment as tu eu le temps de te démarquer à 26 ans pour avoir un CV qui pousse une boîte à mettre 800K€/an sur toi ?En admettant que tu aies sauté une classe, à 26 tu viens de terminer ton doctorat. Tu n'as donc pas eu le temps de faire des post-doctorats et continuer à faire tes armes. Il doit y avoir plein de candidats plus qualifiés qu'un jeune docteur qui se sont positionnés sur un tel poste. Comment as-tu été séléctionné avec une concurrence certainement aussi rude ?
Il faut que tu sois un peu précurseur sur un sujet qui va intéresser les boites dans 2 ans mettons.
Je suis arrivé avant la vague. Pendant un moment ce que je faisais intéressait pas forcément les entreprises.
Mais quand c'est devenu un élément clé pour elles, et qu'il y avait quasiment personne qui avait travaillé la dessus, c'est ces entreprises qui m'ont toutes contactés.
A la fois obtenir un job dans les gafa ou meilleures startups peut sembler extrêmement extrêmement difficile et concurrenciel, à la fois tu peux pas savoir combien ces entreprises sont en chiens pour recruter quelques personnes très spécifiques
urawizard
il y a 8 mois
Les CIFRE Meta y'a quelque chose comme 5 sélectionnés par ans ahi Le monde de l'IA est devenu plus compétitif que quand t'y es rentré je pense
Il "suffit" de faire un stage chez eux et que ça se passe bien, c'est plus facile comme ça, un pote l'avait fait
GenAI
il y a 8 mois
Euh oui ptet si t'as fait un best paper sur pile le milieu qui va bien, et du coup c'est un sign in bonus et pas une compensation chaque année.
En tout cas si tu fais partie des rares gens qui ont sorti un papier remarquable ces dernières années, bah bravo, mais pour y avoir bossé un petit moment bah j'ai jamais entendu ces montants
Moi c'est pas sign in bonus. Merci, tu bosses dans quelle genre d'entreprise toi ?
urawizard
il y a 8 mois
Enfin bref assez parlé de salaire, tu penses quoi de toute la hype dans tout ça ? C'est quoi les horizons des LLMs dans les 5, 10 prochaines années selon toi (et tes collègues ?). Je fais partie des gens qui pensent pas que ça va bouleverser grand chose mais je suis curieux d'avoir tona vis
GenAI
il y a 8 mois
Il "suffit" de faire un stage chez eux et que ça se passe bien, c'est plus facile comme ça, un pote l'avait fait
Yes c'est le mieux, et pour avoir ce stage je pense contacter les profs du master en lien avec FB
AngryNihilist
il y a 8 mois
Preuve de ta Porsche ?
GenAI
il y a 8 mois
Enfin bref assez parlé de salaire, tu penses quoi de toute la hype dans tout ça ? C'est quoi les horizons des LLMs dans les 5, 10 prochaines années selon toi (et tes collègues ?). Je fais partie des gens qui pensent pas que ça va bouleverser grand chose mais je suis curieux d'avoir tona vis
A chaque fois quand on voit les nouvelles applications c'est impressionnant quand même.
Si on trouve des moyens tres intelligents de générer les tokens pour avoir quelque chose qui fait un vrai raisonnement, c'est très fort et ça ouvrira la porte a encore de nombreuses choses, tu ne penses pas ?
trpo
il y a 8 mois
T'as l'air legit l'op gg, au delà du salaire ça doit être incroyable d'être au coeur de l'action durant cette période de l'IA
urawizard
il y a 8 mois
A chaque fois quand on voit les nouvelles applications c'est impressionnant quand même.
Si on trouve des moyens tres intelligents de générer les tokens pour avoir quelque chose qui fait un vrai raisonnement, c'est très fort et ça ouvrira la porte a encore de nombreuses choses, tu ne penses pas ?
J'ai un peu abandonné le milieu des LLM et des réseaux de neurones en général parce que ça me frustre de pas comprendre ce qui se passe
J'avais assisté à une conférence de Lecun qui disait que ce qui était fabuleux avec les NN c'est qu'il y a rien a comprendre parce que la machine le fait pour toi, pour moi ça veut surtout dire que le comportement d'une telle machine est complétement imprévisible.
Je serai curieux de voir un modèle de gpt qui soit spécialisé dans un truc, et pas juste entrainé sur des données qu'on connait pas, typiquement j'aimerais bien le voir entraîné que sur des maths, ou des echecs ou quelque chose comme ça. Pour l'instant c'est très impressionnant de le voir écrire du bullshit mais que ce soit du code, des maths ou de la poésie c'est complétement inutile.
GenAI
il y a 8 mois
T'as l'air legit l'op gg, au delà du salaire ça doit être incroyable d'être au coeur de l'action durant cette période de l'IA
Merci oui je mytho pas, j'ai beaucoup de chance je le reconnais. Après j'ai aussi tout fait pour faire les choix stratégiques qui pouvaient me mener là, et ensuite beaucoup travailler. Mais ça reste beaucoup de chance aussi. Et toi tu as pas dit ce que tu faisais ?
Edit: Ah si master mva
urawizard
il y a 8 mois
Exemple mon dernier article que j'étais en train d'écrire j'avais un peu la flemme de passer 2h pour faire une figure sur tikz, du coup j'ai essayé de demander à gpt de la faire pour moi, j'ai essayé plusieurs fois, la plupart du temps ça compilait meme pas, et quand ça compilait c'était loin de ce que je voulais
Le jour où on a une proof of concept d'un véritable assistant qui marche sur des sujets pointus je vais ptet être un peu plus enthousiaste
dwnlt
il y a 8 mois
La machine ultime c'est la machine a donnée, prenant n'importe quel type de donnée en entrée et donnant en sortie de la donnée également
Pour moi cette machine est possible le problème sera de trouver l'algorithme et l'hardware rendant cela possible
Je pense que ce qu'il va se passer niveau développement en IA c'est que ça va faire un effet boule de neige certes on aura probablement pas une vrai intelligence qui raisonne avec les LLM (transformer ou mamba) mais ces outils vont quand même permettre aux chercheurs de découvrir des pistes intéressantes auxquels ils n'avaient pas pensé
En Europe ce qu'il faudrait faire selon moi c'est un truc à la airbus ou bien arianne ou t'as plein de pays européens qui coopèrent car pour mois l'IA qui arrive sera quelque chose d'aussi complexe que l'industrie de l'aéronautique
GenAI
il y a 8 mois
J'ai un peu abandonné le milieu des LLM et des réseaux de neurones en général parce que ça me frustre de pas comprendre ce qui se passe
J'avais assisté à une conférence de Lecun qui disait que ce qui était fabuleux avec les NN c'est qu'il y a rien a comprendre parce que la machine le fait pour toi, pour moi ça veut surtout dire que le comportement d'une telle machine est complétement imprévisible.
Je serai curieux de voir un modèle de gpt qui soit spécialisé dans un truc, et pas juste entrainé sur des données qu'on connait pas, typiquement j'aimerais bien le voir entraîné que sur des maths, ou des echecs ou quelque chose comme ça. Pour l'instant c'est très impressionnant de le voir écrire du bullshit mais que ce soit du code, des maths ou de la poésie c'est complétement inutile.
C'est déjà fait par beaucoup de modèles ça d'entrainer que sur des maths.
Maintenant ils restent quand même moins bons que GPT4…
Regarde par exemple la semaine derrière il y a des chercheurs qui ont gagné une compétition kaggle sur la résolution de problèmes d'olympiades de maths, et ça marchait plutôt pas mal apparemment, en tout cas plus que ce qu'on espérait
urawizard
il y a 8 mois
C'est déjà fait par beaucoup de modèles ça d'entrainer que sur des maths.
Maintenant ils restent quand même moins bons que GPT4…
Regarde par exemple la semaine derrière il y a des chercheurs qui ont gagné une compétition kaggle sur la résolution de problèmes d'olympiades de maths, et ça marchait plutôt pas mal apparemment, en tout cas plus que ce qu'on espérait
Le meilleur LLM qu'on a pour des maths/code c'est gpt4 tel que j'y ai accès moi même ou c'est une version entrainée a laquelle j'ai pas accès ?
Parce que celle sur le site d'open AI elle pue la merde
trpo
il y a 8 mois
La machine ultime c'est la machine a donnée, prenant n'importe quel type de donnée en entrée et donnant en sortie de la donnée égalementPour moi cette machine est possible le problème sera de trouver l'algorithme et l'hardware rendant cela possible
Je pense que ce qu'il va se passer niveau développement en IA c'est que ça va faire un effet boule de neige certes on aura probablement pas une vrai intelligence qui raisonne avec les LLM (transformer ou mamba) mais ces outils vont quand même permettre aux chercheurs de découvrir des pistes intéressantes auxquels ils n'avaient pas pensé. Après il y à également le problème des données mais pour moi ça ne devrait pas être un problème les données car à terme il faudra de toute façon travailler qu'avec des IA multimodales
En Europe ce qu'il faudrait faire selon moi c'est un truc à la airbus ou bien arianne ou t'as plein de pays européens qui coopèrent car pour mois l'IA qui arrive sera quelque chose d'aussi complexe que l'industrie de l'aéronautique
https://x.com/ylecun/status/1814308324038381618
C'est cooked pour l'Europe
Bouboucle
il y a 8 mois
Ne pas feed, même un développeur back-end gagne max 100 00K par ans.
GenAI
il y a 8 mois
Exemple mon dernier article que j'étais en train d'écrire j'avais un peu la flemme de passer 2h pour faire une figure sur tikz, du coup j'ai essayé de demander à gpt de la faire pour moi, j'ai essayé plusieurs fois, la plupart du temps ça compilait meme pas, et quand ça compilait c'était loin de ce que je voulaisLe jour où on a une proof of concept d'un véritable assistant qui marche sur des sujets pointus je vais ptet être un peu plus enthousiaste
Je pense c'est juste une question de données, si la generations de figure tikz etait clé pour les utilisateurs, on créerait des datasets (potentiellement synthétiquement) pour entraîner les modeles, et ils seraient bons à ça.
Pour beaucoup de cas c'est juste une question de datasets. Et d'ailleurs j'ai entendu que beaucoup de gens n'aiment plus trop travailler la dessus parce qu'ils en ont marre de faire des datasets haha
trpo
il y a 8 mois
Ne pas feed, même un développeur back-end gagne max 100 00K par ans.
Et tu te dis pas que y'a une différence entre un dev backend et un type qui a pour tache d'utiliser plusieurs millions d'euros de ressources de calcul ?
Chatattarder
il y a 8 mois
ayaaaa l'op qui est à 800k / an
moyenne basse du forum
perso 1.3m/ an net d'impôt
urawizard
il y a 8 mois
Je pense c'est juste une question de données, si la generations de figure tikz etait clé pour les utilisateurs, on créerait des datasets (potentiellement synthétiquement) pour entraîner les modeles, et ils seraient bons à ça.
Pour beaucoup de cas c'est juste une question de datasets. Et d'ailleurs j'ai entendu que beaucoup de gens n'aiment plus trop travailler la dessus parce qu'ils en ont marre de faire des datasets haha
Bon exemple, c'est littéralement le premier essai que j'ai fait
et le deuxieme aussi :
Bouboucle
il y a 8 mois
Et tu te dis pas que y'a une différence entre un dev backend et un type qui a pour tache d'utiliser plusieurs millions d'euros de ressources de calcul ?
Tu ne dis toujours pas le poste que tu as, voilà la différence.
trpo
il y a 8 mois
Tu ne dis toujours pas le poste que tu as, voilà la différence.
Je suis pas l'op mais c'est plausible, les Google/Meta ont besoin de chercheurs pour utiliser leur millions/milliards d'euros de GPU, et très peu de gens ont de l'expérience pour entrainer des modèles à cette échelle
GenAI
il y a 8 mois
La machine ultime c'est la machine a donnée, prenant n'importe quel type de donnée en entrée et donnant en sortie de la donnée égalementPour moi cette machine est possible le problème sera de trouver l'algorithme et l'hardware rendant cela possible
Je pense que ce qu'il va se passer niveau développement en IA c'est que ça va faire un effet boule de neige certes on aura probablement pas une vrai intelligence qui raisonne avec les LLM (transformer ou mamba) mais ces outils vont quand même permettre aux chercheurs de découvrir des pistes intéressantes auxquels ils n'avaient pas pensé. Après il y à également le problème des données mais pour moi ça ne devrait pas être un problème les données car à terme il faudra de toute façon travailler qu'avec des IA multimodales
En Europe ce qu'il faudrait faire selon moi c'est un truc à la airbus ou bien arianne ou t'as plein de pays européens qui coopèrent car pour mois l'IA qui arrive sera quelque chose d'aussi complexe que l'industrie de l'aéronautique
Ca va etre interessant de voir ce qu'il va se passer pour l'Europe, les US ont plein de tres bonnes boites, et les chinois ont plein d'organisations open source extrêmement fortes (Qwen, Intern, MiniCpm, Deepseek, …)
Je sais pas s'il y aura une alliance pour l'Europe, ou si les US et les chinois vont tout écraser
Bouboucle
il y a 8 mois
Je suis pas l'op mais c'est plausible, les Google/Meta ont besoin de chercheurs pour utiliser leur millions/milliards d'euros de GPU, et très peu de gens ont de l'expérience pour entrainer des modèles à cette échelle
Sauf qu'il n'existe aucun poste dans le secteur IA robotique qui permet de gagner 800K brut par ans.
DarkVador4K
il y a 8 mois
14 pages sur un fake
GenAI
il y a 8 mois
Bon exemple, c'est littéralement le premier essai que j'ai fait
et le deuxieme aussi :
Hehe oui c'est assez limité en maths, mais il y a des méthodes de decoding des tokens bien mieux que le greedy pour améliorer les performances la dessus.
C'est pas dans la version officielle encore car ca coute plus cher mais ca arrivera surement un jour
GenAI
il y a 8 mois
Sauf qu'il n'existe aucun poste dans le secteur IA robotique qui permet de gagner 800K brut par ans.
C'est pas brut. Je gagne beaucoup moins en brut
Bouboucle
il y a 8 mois
C'est pas brut. Je gagne beaucoup moins en brut
Tu dis que tu gagne 800K par ans, c'est le titre de ton topic
DarkVador4K
il y a 8 mois
Remballe ton fake l'op , avec des pseudos idées précurseurs , t'as rien fais du tout et tu feras jamais rien
T'es juste en train d'utiliser ChatGPT pour nourrir ton vieux fake de merde , t'as aucune idée précurseur tu nous prends vraiment pour des débiles mentaux mais je crois que t'as pas saisi qu'ici personne aller gober ton fake totalement délirant
El famoso idée précurseur à 26 ans comme si t'aller inventer quelque chose d'exceptionnel, t'as encore rien fait de la vie arrête de raconter des bêtises stop te plaît espèce d'énergumène
GenAI
il y a 8 mois
Tu dis que tu gagne 800K par ans, c'est le titre de ton topic
Total comp, mais lis les premières pages si tu veux comprendre.
J'arrete un peu de parler du salaire j'ai deja tout dit
Bouboucle
il y a 8 mois
Total comp, mais lis les premières pages si tu veux comprendre.
J'arrete un peu de parler du salaire j'ai deja tout dit
Tu n'a pas dis grand chose mise à part parler d'un salaire au-dessus de tout.
trpo
il y a 8 mois