Je vous explique en quoi l'IA (LLM) est une bulle

OP
46

4654654ddffd

il y a 3 mois

L'Intelligence Artificielle approche d'un plafond de verre, et les signaux sont de plus en plus visibles. Comme dans l'industrie du jeu vidéo, où le saut de la NES / SNES / PlayStation 1 / PS3 était spectaculaire mais les évolutions suivantes plus subtiles, l'IA suit une trajectoire similaire. Les premiers bonds technologiques, notamment le passage de GPT-2 à GPT-3, ont marqué les esprits. Aujourd'hui, chaque nouvelle génération exige des ressources démesurées pour des améliorations de moins en moins perceptibles.

Au cœur de ce ralentissement se trouve le coût par token, l'unité de base que l'IA traite pendant son apprentissage. Plus un modèle vise la précision et la complexité, plus il en nécessite, entraînant une explosion des coûts. L'entraînement de GPT-4 aurait dépassé les 100 millions de dollars, et cette courbe exponentielle ne fait que s'accentuer.

Les défis ne s'arrêtent pas là. La finesse de gravure des puces NVIDIA ou AMD atteint désormais les 3 nanomètres, frôlant les limites imposées par la mécanique quantique. Réduire davantage leur taille relève du défi technique et financier. La consommation énergétique pose également problème : les centres de données mobilisent des milliers de processeurs spécialisés pendant des mois, avec une empreinte écologique considérable.

Les données elles-mêmes deviennent un facteur limitant. Nous avons déjà exploité la majorité des contenus qualitatifs disponibles, et la création de nouveaux datasets pertinents devient de plus en plus complexe et onéreuse.
Face à ces contraintes, un décalage inquiétant se creuse dans le monde des investissements. Alors que les défis techniques s'accumulent, de nombreux investisseurs et influenceurs persistent à alimenter des discours déconnectés de la réalité, évoquant conscience artificielle, AGI et singularité. Cette bulle spéculative, nourrie de promesses extravagantes, détourne l'attention des véritables enjeux.

Les investisseurs avisés devraient plutôt se tourner vers les entreprises développant des solutions pragmatiques : optimisation d'algorithmes, matériel économe en énergie, ou modèles spécialisés répondant à des besoins concrets. La vraie valeur réside dans ces avancées progressives, pas dans les rêves de super-intelligence imminente.

Le secteur de l'IA, malgré son potentiel indéniable, n'échappe pas aux réalités économiques et techniques. Sans innovation majeure, ses progrès risquent de devenir plus lents et moins spectaculaires, donc méfiez vous si vous pensez que l'IA est le nouveau bitcoin.

OP
46

4654654ddffd

il y a 3 mois

up
UI

uiuuuuuuuuuu

il y a 3 mois

puceau j'imagine? https://image.noelshack.com/fichiers/2017/23/1496646269-manuel2.png
OP
46

4654654ddffd

il y a 3 mois


puceau j'imagine? https://image.noelshack.com/fichiers/2017/23/1496646269-manuel2.png

13ans j'imagine ?

SM

StepMother

il y a 3 mois

C'est l'architecture qui nous baise, il faut utiliser autre chose que Transformers.
Pour la qualité du bot teste Deepseek V3, c'est un gros modele (+600B) mais c'est un MoE de plein de petit modèle, les MoE peuvent être le futur.

J'avais bien aimé Mixtral mais bon, le train c'etait la galère, 0 doc

OC

OmarChie11

il y a 3 mois

Tu as écris ça avec un LLM ? https://image.noelshack.com/fichiers/2019/31/7/1564926674-maddsgeek1.jpeg
OP
46

4654654ddffd

il y a 3 mois


Tu as écris ça avec un LLM ? https://image.noelshack.com/fichiers/2019/31/7/1564926674-maddsgeek1.jpeg

Ouais, je lui ai demandé de revoir la syntaxe et de synthétiser https://image.noelshack.com/fichiers/2018/29/6/1532128784-risitas33.png

JO

Jonquilles

il y a 3 mois

Les résultats sont complètement bluffant déjà actuellement, et une ia pourrait replacer la majorité des jobs non manuels

C'est juste une question sociale

T6

Troulku69

il y a 3 mois

c'est trop, long, j'ai pas lu. Faudra pas venir mendier dans quelques années.
OP
46

4654654ddffd

il y a 3 mois


C'est l'architecture qui nous baise, il faut utiliser autre chose que Transformers.
Pour la qualité du bot teste Deepseek V3, c'est un gros modele (+600B) mais c'est un MoE de plein de petit modèle, les MoE peuvent être le futur.

J'avais bien aimé Mixtral mais bon, le train c'etait la galère, 0 doc

j'essaye de le tester mais les serveurs sont saturé et j'ai pas trouvé de plateforme sur huggingface le proposant en test, t'as un lien ou je pourrais le tester ? https://image.noelshack.com/fichiers/2017/39/3/1506524542-ruth-perplexev2.png

OP
46

4654654ddffd

il y a 3 mois


c'est trop, long, j'ai pas lu. Faudra pas venir mendier dans quelques années.

pourtant j'ai demandé à claude de réécrire mon texte pour que ce soit plus fluide et facile à lire https://image.noelshack.com/fichiers/2018/29/6/1532128784-risitas33.png

SM

StepMother

il y a 3 mois

4654654ddffd a écrit :

j'essaye de le tester mais les serveurs sont saturé et j'ai pas trouvé de plateforme sur huggingface le proposant en test, t'as un lien ou je pourrais le tester ? https://image.noelshack.com/fichiers/2017/39/3/1506524542-ruth-perplexev2.png

Non, faut passer par leur API ou le host toi même (en cloud hein parce que 600B+ ahi)
J'ai pas encore pu le host, mais j'ai pu le tester et franchement il est bien, même pour le RP et les reference à la pop culture et tout.

J'attend de voir si il pourrait tourner sur la RAM seulement un jour mais j'en doute, et si ça se fait faudra carrément acheter un SERVEUR https://image.noelshack.com/fichiers/2018/25/2/1529422413-risitaszoom.png

I5

Iorient56_

il y a 3 mois

oui ça n'ira pas beaucoup plus loin
comme les smartphones
OP
46

4654654ddffd

il y a 3 mois

Non, faut passer par leur API ou le host toi même (en cloud hein parce que 600B+ ahi)
J'ai pas encore pu le host, mais j'ai pu le tester et franchement il est bien, même pour le RP et les reference à la pop culture et tout.

J'attend de voir si il pourrait tourner sur la RAM seulement un jour mais j'en doute, et si ça se fait faudra carrément acheter un SERVEUR https://image.noelshack.com/fichiers/2018/25/2/1529422413-risitaszoom.png

je me disais bien ... je vais tester leur api dans ce cas j'en ai marre d'attendre

niveau censure, il s'en sort comment ? tu peux parler de tout avec lui ? hormis la censure vis-à-vis du régime chinois)

SM

StepMother

il y a 3 mois

4654654ddffd a écrit :

je me disais bien ... je vais tester leur api dans ce cas j'en ai marre d'attendre

niveau censure, il s'en sort comment ? tu peux parler de tout avec lui ? hormis la censure vis-à-vis du régime chinois)

Ne parle pas du Tianamen Square sans prefill (et encore, peut etre qu'il filtre avant que le bot recoive ta prompt) le reste ca doit passer https://image.noelshack.com/fichiers/2018/25/2/1529422413-risitaszoom.png

XG

XGBoost

il y a 3 mois

Comme partout, les gens qui donnent de l'argent sont des enfants, et les gens qui remportent l'argent sont ceux qui savent le mieux se vendre, c'est-à-dire rarement des ingénieurs et scientifiques.

On finit avec des projets IA et LLM à deux balles partout. J'ai eu l'occasion de travailler sur l'amélioration d'un système de recommandation à deux balles chez Airbus qui avait coûté plusieurs centaines de milliers d'euros de mise en place. C'était un gouffre financier avec un modèle S-BERT à entraîner sur Amazon, qui apportait aucune plus-value.

À côté de ça, j'arrivais pas à avoir un GPU pour entraîner un MLP pour faire de la prédiction de température à l'intérieur du moteur et éviter de lourds calculs thermo.

C'est comme ça partout. Tous les profils issus des écoles de commerce et autres formations bullshit sont des vrais parasites dans toutes les strates du tertiaire.

E5

Esperanza5

il y a 3 mois

Oui et non

C'est s'approchant du plafond de verre que tu le perces. Ça nous pousse à trouver une solution ou une nouvelle idée.

T'évoques 100 millions, mais c'est queudale vu les enjeux et les sommes que les investisseurs sont prêts à mettre.

En plus au niveau de la vidéo et de l'image, l'IA fait encore énormément de progrès.

OP
46

4654654ddffd

il y a 3 mois


Comme partout, les gens qui donnent de l'argent sont des enfants, et les gens qui remportent l'argent sont ceux qui savent le mieux se vendre, c'est-à-dire rarement des ingénieurs et scientifiques.

On finit avec des projets IA et LLM à deux balles partout. J'ai eu l'occasion de travailler sur l'amélioration d'un système de recommandation à deux balles chez Airbus qui avait coûté plusieurs centaines de milliers d'euros de mise en place. C'était un gouffre financier avec un modèle S-BERT à entraîner sur Amazon, qui apportait aucune plus-value.

À côté de ça, j'arrivais pas à avoir un GPU pour entraîner un MLP pour faire de la prédiction de température à l'intérieur du moteur et éviter de lourds calculs thermo.

C'est comme ça partout. Tous les profils issus des écoles de commerce et autres formations bullshit sont des vrais parasites dans toutes les strates du tertiaire.

Complètement. Cette déconnexion entre les fils et filles à papa issus d'écoles de commerce à qui on octroie le pouvoir décisionnel et la réalité technique du terrain est devenue un cancer pour absolument tout le monde...

partout ou je vais, les talents sont brisés par des choix marketing dictés par des objectifs superficiels, alimentant une culture du paraître qui privilégie les projets tape-à-l'œil plutôt que des solutions de bon sens.

Pour moi le fautif sont les équipes RH qui sont souvent ultra conciliants avec les profils commerciaux plutot que techniques, car ils cherchent toujours des solutions à court terme. Cette tendance va toujours dans un seul sens : les équipes techniques doivent s'adapter, jamais l'inverse.

OP
46

4654654ddffd

il y a 3 mois


Oui et non

C'est s'approchant du plafond de verre que tu le perces. Ça nous pousse à trouver une solution ou une nouvelle idée.

T'évoques 100 millions, mais c'est queudale vu les enjeux et les sommes que les investisseurs sont prêts à mettre.

En plus au niveau de la vidéo et de l'image, l'IA fait encore énormément de progrès.

ca reste des modèles de diffusion apres les llm ont plus d'avance en termes de maturité technique que les modèles de diffusion pour le moment.

AC

AssaneCF

il y a 3 mois

Ok l'OP c'est intéressant tout ça, mais nous on s'en fout, on veut simuler de la vidéo de chattes puantes sur demande
BA

Bahar

il y a 3 mois

Up car topic intéressant
T'as des sources l'op ?