[AI DREAM] Notez ma machine sur 20
33 messages
Mise à jour: il y a 9 mois
Kheyoken
il y a 9 mois
Bon en fait le titre est un peu trompeur, c'est pas vraiment mon PC, je le loue pour travailler 
Kheyoken
il y a 9 mois
8x H100 NVL
1x H100 NVL c'est 96GB de VRAM
On vous vois les "pc masterrace" avec 4gb de vram 
trpo
il y a 9 mois
700Go de VRAM utilisé tu fais tourner Llama 3 400B quai ? 
Kheyoken
il y a 9 mois
trpo a écrit :
700Go de VRAM utilisé tu fais tourner Llama 3 400B quai ?
Non, je train Mistral Large le dernier bébé, https://huggingface.co/mistralai/Mistral-Large-Instruct-2407
123B sous le capot, c'est pas des lol 
Qlora, 64/32, learning_rate: 0.000011 et c'est partiiii
Kheyoken
il y a 9 mois
trpo
il y a 9 mois
Non, je train Mistral Large le dernier bébé, https://huggingface.co/mistralai/Mistral-Large-Instruct-2407
123B sous le capot, c'est pas des lol
Qlora, 64/32, learning_rate: 0.000011 et c'est partiiii
T'as besoin d'autant de vram pour train un QLoRA bordel
Kheyoken
il y a 9 mois
trpo a écrit :
T'as besoin d'autant de vram pour train un QLoRA bordel
gradient_accumulation_steps: 4 => Chaque GPU train le modele 4x (en gros)
micro_batch_size: 1 => Il le fait qu'une fois par batch (1x4)
num_epochs: 3 => Il va train 3x mon dataset complet
Donc oui ca pompe
Et j'utilise optimizer: paged_adamw_8bit pour utiliser moins de ressource pourtant mais non.
Faut pas oublier que le modèle a up à 128k context, donc il est plus gros à charger aussi 
Kheyoken
il y a 9 mois
11h de train restant à 28$/h ca fait mal, au moins 300$ claqué 
Kheyoken
il y a 9 mois
Bon comme ça a pas l'air d'interessé grand monde, voici un sein (random du sfw de reddit flemme) : SpoilAfficherMasquer
Et vous vous faites quoi ce soir ?
Kheyoken
il y a 9 mois
Cuckline3
il y a 9 mois
Kheyoken
il y a 9 mois
Bordel y a vraiment personne qui s'interesse a l'AI ici ?
Vous ratez le train, on fera les robots et vous serez les esclaves des robots 
Kheyoken
il y a 9 mois
Cuckline3 a écrit :
Je comprends rien pelo
Chaud pelo culture toi tu as la clé du savoir avec internet mais tu prefere matter du porno et des youtuber
Kheyoken
il y a 9 mois
FionMignon
il y a 9 mois
CelestinLeSinge
il y a 9 mois
Au mieux tu fais tourner ta mère SpoilAfficherMasquer
Kheyoken
il y a 9 mois
FionMignon a écrit :
wtf le batch size 1?
Et tu fine-tune plus précisément, pour quelle application?
RP/ERP, le cul quoi
Et je décensure aussi des modèles de base
Mais je bosse aussi sur divers truc, dernièrement j'ai train 9M de tokens venant de Claude sur Llama 3.1 8B, ce fut un succès
Kheyoken
il y a 9 mois
CelestinLeSinge a écrit :
Au mieux tu fais tourner ta mère SpoilAfficherMasquer
Parle bien 
EricMonAmour
il y a 9 mois
FionMignon
il y a 9 mois
RP/ERP, le cul quoi
Et je décensure aussi des modèles de baseDernièrement j'ai train 9M de tokens venant de Claude sur Llama 3.1 8B, ce fut un succès
RP/ERP : rien compris.
Tu arrives à renforcer llama avec claude wtf? quelle application encore?
Kheyoken
il y a 9 mois
EricMonAmour a écrit :
Tu gagne combien ?
5k OROS NET par mois, un de mes projets remplace les meufs sur onlyfans, quand tu leurs parle, ben tu pourrais parler à mon bot sans le savoir
Kheyoken
il y a 9 mois
FionMignon
il y a 9 mois
5k OROS NET par mois, un de mes projets remplace les meufs sur onlyfans, quand tu leurs parlent, ben tu pourrais parler à mon bot sans le savoir
Exploser les tokens de l'IA à coup de tokens
FionMignon
il y a 9 mois
AVFVEE
il y a 9 mois
Bordel y a vraiment personne qui s'interesse a l'AI ici ?
Vous ratez le train, on fera les robots et vous serez les esclaves des robots
Si mais je suis un golem low qi j'utilise les modèles déjà sorti merci pour votre taf cependant
Kheyoken
il y a 9 mois
FionMignon a écrit :
Tout ça pour ça
Ben là personne n'a encore finetune Mistral Large donc on sera les premier 
Mais c'est pas pour le taff c'est pour mon groupe, on distribue notre taff gratos
Kheyoken
il y a 9 mois
AVFVEE a écrit :
Si mais je suis un golem low qi j'utilise les modèles déjà sorti merci pour votre taf cependant
C'est déjà ça, au moins tu sais utiliser la technologie 
FionMignon
il y a 9 mois
Kheyoken
il y a 9 mois
FionMignon a écrit :
Tu fais aussi de l'entrainement de 0 ou que du fine tune?
Mec je suis pas META, Mistral ou OpenAI, j'ai pas 100 000 GPU qui coute une maison
Donc non, de 0 c'est mort hahaha
Kheyoken
il y a 9 mois
Puis il faut le dataset aussi pour train de 0, j'ai pas des centaines de terrabyte que j'ai dump du net moi, eux ils ont les ressources et des bots qui lurk sur internet pour tous prendre 
AVFVEE
il y a 9 mois
Mec je suis pas META, Mistral ou OpenAI, j'ai pas 100 000 GPU qui coute une maison
Donc non, de 0 c'est mort hahaha
Tu peux pas cree une methode de calcule révolutionnaire qui diviserai les coups par 10 ?
Vous avez des ia pour la traduction de vidéo/correction orthographique ?
J'ai déjà testé un peu wisper mais même en large (utiliser avec l'appli local Vibe) c'est pas top je trouve.
FionMignon
il y a 9 mois
Puis il faut le dataset aussi pour train de 0, j'ai pas des centaines de terrabyte que j'ai dump du net moi, eux ils ont les ressources et des bots qui lurk sur internet pour tous prendre
J'imagine bien, mais je me demandais si vous pouviez pas avoir besoin de faire une IA sur mesure pour certaines fonctions simples, plutôt que de tout demander à un modèle de fondation qui coute une blinde comme des singes.
Kheyoken
il y a 9 mois
FionMignon a écrit :
J'imagine bien, mais je me demandais si vous pouviez pas avoir besoin de faire une IA sur mesure pour certaines fonctions simples, plutôt que de tout demander à un modèle de fondation qui coute une blinde comme des singes.
Non 
Et si ca existe c'est hors de ma ligue
Kheyoken
il y a 9 mois