Boucling

Chercheur en IA à 26 ans, je gagne 800k/an sur Paris

252 messages

Mise à jour: il y a 8 mois

410
4
L0

lepasboomer02

il y a 8 mois

Si t'étais vraiment dans le domaine, tu comprendrais que les gens se spécialisent parce qu'ils ne peuvent pas tout faire.
Je vais arrêter de te repondre je pense, t'as pas l'air très ouvert d'esprit à répéter fake en boucle

Dis plutôt que tu ne peux pas répondre.

Les embeddings n'importe quel random qui touche au NLP les connaît 🤡🤡🤡

JE

Jean-Epicier

il y a 8 mois

De toi à moi l'auteur, pourquoi s'inventer une vie sur jvc un samedi soir ? Tu sais que c'est anonyme ?
Ou alors je sais pas moi, travaille un peu plus ton histoire

YM

YoungMoneyLean

il y a 8 mois

Ptdr mais COMMENT UN TRUC PAREIL PEUT FAIRE 8 PAGES
le truc fait même pas débat, EVIDEMMENT qu'il vous bullshit la gueule

Le pire je pense que c'est le fait qu'il soit là-dessus en train de répondre pour s'inventer une vie depuis genre 1h
ça vous sert à quoi de perdre votre temps comme ça en vrai? La vie est courte hein

B3

Blarda35

il y a 8 mois

A peine ?

En dessous de 1 million c'est de la chiasse

JE

Jean-Epicier

il y a 8 mois

JeuneArgentMince qui a dit les termes

OR

Oriale

il y a 8 mois

Je suis à 1m2 par an mais après c'est pas un concours

AN

AngryNihilist

il y a 8 mois

Je suis Sam Altman et je roule en Koenigsegg et j'en fais pas tout un fromage.

OP
GA

GenAI

il y a 8 mois


"C'est comme au foot" ayaaaaa, arrêtez de le feed
S'il avait dit 200k encore pourquoi pas. Mais 800k absolument PERSONNE ne gagne ça en junior, même en hedge fund US, même après un PhD au MIT.

L'OP, au lieu de mentir sur ton fine tuning, va fine tuner tes mensonges

Tu connais pas le marché actuel. J'ai eu des offres de beaucoup de boites quand je cherchais un taf, et toutes payaient énormément.

JE

Jean-Epicier

il y a 8 mois

Le réveil brutal pour l'OP qui va faire la mise en rayon demain à 6h

D0

Dabhu00

il y a 8 mois

Non mec

Quand tu paies un mec 800k, tu demandes un minimum de culture générale en IA, ne pas bien connaître les embeddings qui sont à la base du NLP, c'est juste du fake hein 🤡

Je trollais.

Payer un mec 800k/an ça n'existe pas en France de toute façon.

Les grosses boites qui font du NLP (openai, enthropic, mistral..) leur prob c'est pas de trouver un mec capable de fit un LLM, mais le coût des infras pour train leurs modèles. Le vrai goulot il est là de toute façon.

N'importe quel pecno peut se tapper les tutos d'HF en NLP et se lancer dans le training d'un LLM à condition d'avoir le bon dataset et la bonne infra.

RG

rgtjukingrthtre

il y a 8 mois

Je suis Elon musk et je touche 3k net et j'en fait pas tout un fromage

OP
GA

GenAI

il y a 8 mois


Ptdr mais COMMENT UN TRUC PAREIL PEUT FAIRE 8 PAGES
le truc fait même pas débat, EVIDEMMENT qu'il vous bullshit la gueule

Le pire je pense que c'est le fait qu'il soit là-dessus en train de répondre pour s'inventer une vie depuis genre 1h
ça vous sert à quoi de perdre votre temps comme ça en vrai? La vie est courte hein

Moi aussi je croyais que c'était pas possible ces salaires y'a un an.

Tu te rends pas compte du marché actuel, et du peu de gens qui ont vraiment de l'expérience là dedans actuellement.

PL

PLSDeter13

il y a 8 mois

Ne pas être au million sur paris https://image.noelshack.com/fichiers/2018/13/4/1522325846-jesusopti.png

L0

lepasboomer02

il y a 8 mois

Tu connais pas le marché actuel. J'ai eu des offres de beaucoup de boites quand je cherchais un taf, et toutes payaient énormément.

Lui il ne connaît ptet pas le marché actuel par contre c'est sûr que toi avec ton vieux fake moisi tu es incapable de répondre à une question simple sur les embeddings que n'importe quel random qui fait du NLP sait au bout d'un mois 🤡🤡🤡

-S

-SarkoZizi-

il y a 8 mois

même moi je gagnais pas autant quand j'étais votre président

BD

Big-Daddy-Kane

il y a 8 mois

non tu es CIGARETTE

YM

YoungMoneyLean

il y a 8 mois

Moi aussi je croyais que c'était pas possible ces salaires y'a un an.

Tu te rends pas compte du marché actuel, et du peu de gens qui ont vraiment de l'expérience là dedans actuellement.

Non non cherche pas je ne te répondrai même pas 1er degré en cherchant à contre-argumenter tellement c'est ridicule mdr

PS

Paysan_Solide

il y a 8 mois

Du coup tu bosses sur quels modèles d'IA exactement?
Mistral? ChatGPT? Claude?

TR

trpo

il y a 8 mois

Salut Hugo tu peux nous leak Llama 3 400B ?

M9

Megacool95

il y a 8 mois

Ton cursus scolaire ? Des chaînes youtube ou documentation open source à conseillé? Tu aimes ton métier ?

TR

trpo

il y a 8 mois


Du coup tu bosses sur quels modèles d'IA exactement?
Mistral? ChatGPT? Claude?

Meta/Facebook c'est évident

Une startup comme Mistral peut pas mettre autant

J8

joooo85

il y a 8 mois

800k, bien sûr, la flemme de lire. C'est fake https://image.noelshack.com/fichiers/2016/24/1466366209-risitas24.png

OP
GA

GenAI

il y a 8 mois

Je trollais.

Payer un mec 800k/an ça n'existe pas en France de toute façon.

Les grosses boites qui font du NLP (openai, enthropic, mistral..) leur prob c'est pas de trouver un mec capable de fit un LLM, mais le coût des infras pour train leurs modèles. Le vrai goulot il est là de toute façon.

N'importe quel pecno peut se tapper les tutos d'HF en NLP et se lancer dans le training d'un LLM à condition d'avoir le bon dataset et la bonne infra.

Y'a un truc que personne réalise sur ce topic.

Les boites de LLM payent des clusters des dizaines de millions d'euros PAR AN pour faire tourner les entrainements.

Une bonne team peut faire seulement 10 personnes, efficace pour avancer sans problème de communication.

La cout personnel est faible par rapport au cout du cluster.

Payer une personne 3x plus, mais qui va utiliser le compute 20% de mieux qu'une autre, c'est rentable.

Et non, tout le monde ne sait pas faire des bons modeles.
Il y a tout un tas de magie noire la dedans pour les faire marcher

LM

lucky-m8rris

il y a 8 mois

Flemme de lire le topic, l'auteur répond aux questions pointu sur son supposé domaine ou bien comme par hasard, il les ignores? https://image.noelshack.com/fichiers/2022/37/1/1663014384-ahi-pince-mais.png

OP
GA

GenAI

il y a 8 mois


Salut Hugo tu peux nous leak Llama 3 400B ?

C'est pas lui, mais attends mardi un peu !

AN

AngryNihilist

il y a 8 mois

L'OP l'AGI c'est pour quand ? Hop hop hop on se magne un peu là, ça traine.

L0

lepasboomer02

il y a 8 mois


Flemme de lire le topic, l'auteur répond aux questions pointu sur son supposé domaine ou bien comme par hasard, il les ignores? https://image.noelshack.com/fichiers/2022/37/1/1663014384-ahi-pince-mais.png

Il les ignore évidemment 😂😂😂

OP
GA

GenAI

il y a 8 mois


Du coup tu bosses sur quels modèles d'IA exactement?
Mistral? ChatGPT? Claude?

Exactement ce genre de choses, mais je serai pas plus précis désolé

OP
GA

GenAI

il y a 8 mois

Il les ignore évidemment 😂😂😂

Poses en sur mon domaine pour voir

L0

lepasboomer02

il y a 8 mois

Poses en sur mon domaine pour voir

Déjà posé

Dans un vecteur d'embedding ,à quoi correspond chaque dimension ?

TR

trpo

il y a 8 mois

Poses en sur mon domaine pour voir

Vous utilisez l'implémentation FSDP de PyTorch chez Meta ou vous utilisez DeepSpeed / un truc custom ?

DO

dodecaphonisme

il y a 8 mois

la vraie grande question, c'est : tu fous quoi là sur ce forum de déchets à 1h du mat' ?????? (je m'inclus dedans). non mais sérieusement.

OP
GA

GenAI

il y a 8 mois

Déjà posé

Dans un vecteur d'embedding ,à quoi correspond chaque dimension ?

Tu le sais pas forcément, c'est juste une représentation de quelque choses (image, token, document). Tu sais pas exactement ce que chaque dimension représente, mais tu peux comparer deux embeddings pour savoir s'ils sont proches ou non

X3

Xymphanar3

il y a 8 mois

t'as fait quelles études ?

OP
GA

GenAI

il y a 8 mois


t'as fait quelles études ?

Inge, master, these

L0

lepasboomer02

il y a 8 mois


la vraie grande question, c'est : tu fous quoi là sur ce forum de déchets à 1h du mat' ?????? (je m'inclus dedans). non mais sérieusement.

Il troll évidemment

Niveau 10 déjà c'est suspect

Le mec prétend faire du 70h/semaine mais trouve le temps de troller sur JVC 🤡

OP
GA

GenAI

il y a 8 mois


la vraie grande question, c'est : tu fous quoi là sur ce forum de déchets à 1h du mat' ?????? (je m'inclus dedans). non mais sérieusement.

T'es pas un déchet faut juste se bouger

J8

joooo85

il y a 8 mois

Il troll évidemment

Niveau 10 déjà c'est suspect

Le mec prétend faire du 70h/semaine mais trouve le temps de troller sur JVC 🤡

Il est aux 35h

OP
GA

GenAI

il y a 8 mois

Il troll évidemment

Niveau 10 déjà c'est suspect

Le mec prétend faire du 70h/semaine mais trouve le temps de troller sur JVC 🤡

Je suis en vacances là hehe

OP
GA

GenAI

il y a 8 mois

Vas y continue des questions techniques, mais vraiment ultra pointue, sur mon domaine

M8

m8te

il y a 8 mois

T'as pas 100k à prêter ? C'est pour un projet pro viens en mp

J8

joooo85

il y a 8 mois

Je suis en vacances là hehe

Pendant ses vacances il a rien de mieu a faire que de poste sur JVC alors qu'il est millionnaire https://image.noelshack.com/fichiers/2016/24/1466366209-risitas24.png

TR

trpo

il y a 8 mois


Vas y continue des questions techniques, mais vraiment ultra pointue, sur mon domaine

Étant donné un nombre de paramètres d'un modèle, une batch size, et un context length, comment tu évalues la quantité de GPU/VRAM nécessaire pour entrainer un transformer classique ?

AH

AHIENTENT[1]

il y a 8 mois

Étant donné un nombre de paramètres d'un modèle, une batch size, et un context length, comment tu évalues la quantité de GPU/VRAM nécessaire pour entrainer un transformer classique ?

Ayaa t'as quelle formation khey

L0

lepasboomer02

il y a 8 mois


Vas y continue des questions techniques, mais vraiment ultra pointue, sur mon domaine

Évidemment des questions ultra pointues parce que les questions de base sur le stockage d'embedding tu galères 😂😂😂

Genre un médaille Fields en maths ultra pointu sur l'arithmétique mais qui est incapable de définir ce qu'est un nombre premier 🤡

L0

lepasboomer02

il y a 8 mois

Étant donné un nombre de paramètres d'un modèle, une batch size, et un context length, comment tu évalues la quantité de GPU/VRAM nécessaire pour entrainer un transformer classique ?

Il va bégayer , vite ChatGPT !

OP
GA

GenAI

il y a 8 mois

Étant donné un nombre de paramètres d'un modèle, une batch size, et un context length, comment tu évalues la quantité de GPU/VRAM nécessaire pour entrainer un transformer classique ?

Ca depend ta facon d'entrainer deja, si c'est tout unfreeze, une partie, lora, etc…

Apres tu peux juste compter tes paramètres et voir la memoire qu'il faut pour les stocker deja.

Ca depend de ton optimizer, adam prend plus de memoire par exemple en stockage les moments d'ordre 2

Mais le calcul est plus compliqué en distribué puisque de toute façon ça tiendra pas sur 1 gpu, donc il faudra plusieurs nodes et faire de la parallélisation

OP
GA

GenAI

il y a 8 mois

D'autres questions ?

TR

trpo

il y a 8 mois

Ca depend ta facon d'entrainer deja, si c'est tout unfreeze, une partie, lora, etc…

Apres tu peux juste compter tes paramètres et voir la memoire qu'il faut pour les stocker deja.

Ca depend de ton optimizer, adam prend plus de memoire par exemple en stockage les moments d'ordre 2

Mais le calcul est plus compliqué en distribué puisque de toute façon ça tiendra pas sur 1 gpu, donc il faudra plusieurs nodes et faire de la parallélisation

À ce salaire là je peux pas croire que t'as pas fait du pre-training de LLM, donc modèle entier, training bfloat16, évidemment distribué, etc.

Est ce que vous avez juste le budget pour surallouer des ressources pour le training ?

OP
GA

GenAI

il y a 8 mois

Ca depend ta facon d'entrainer deja, si c'est tout unfreeze, une partie, lora, etc…

Apres tu peux juste compter tes paramètres et voir la memoire qu'il faut pour les stocker deja.

Ca depend de ton optimizer, adam prend plus de memoire par exemple en stockage les moments d'ordre 2

Mais le calcul est plus compliqué en distribué puisque de toute façon ça tiendra pas sur 1 gpu, donc il faudra plusieurs nodes et faire de la parallélisation

J'entraine que en bf16 et distribué oui

Pour le training en entier c'est pretraining oui, mais fine-tuning parfois lora marche mieux.