Question aux spécialiste en IA du forum
24 messages
Mise à jour: il y a 2 mois
fandhentai667
il y a 2 mois
bah tant que le cerveau humain aura pas de limite pq l'ia en aurait
Douglas4055
il y a 2 mois
bah tant que le cerveau humain aura pas de limite pq l'ia en aurait
Le cerveau a l'air sacrément limite
foutre-cosmique
il y a 2 mois
Je m'adresse aux meilleurs spécialiste de la planète à travers vous , l'élite du 18-25.Est ce que la montée en puissance actuelle des ia connaîtra t-elle une fin ? Ou les modeles vont s'ameliorer pour les 1 000 ans à venir ?
Yo. Je suis dev senior, je suis le Jean IA de ma startup et celui qui dit quel modèle / IDE on utilise pour plus de productivité.
On a atteint un plafond de verre en Mai 2023 qu'on a jamais réussi à franchir depuis. Les LLM sont de plus en plus flemmardes car les modèles sont de plus en plus chers car énergivores, du coup, les propriétaires ajoutent des contextes pour les rendre plus fainéants, de prendre volontairement moins soin à prendre connaissance du contexte qu'il reçoivent car ça crame moins de tokens, donc on a un résultat plus approximatif. Cette tendance c'est généralisée, car je pense que les derniers modèles d'OpenAI ou Anthropic sont toujours derrière GPT-4 Vanilla à sa sortie, n'en déplaise aux doomers et aux cassos. De plus, 100% des réponses sont lissées à mort à part Grok qui est un peu moins consensuel, de ce fait, aucun modèle ne prend de décision sur une question qu'on lui pose, à part si on insiste, ne prend aucun parti même si cela n'a aucune conséquence, de ce fait, on a des résultats très mous, très couille molle, ce qui commence à être contreproductif dans les métiers de la tech, car on a besoin de 20 à 30 re-prompts parfois pour une demande complexe, alors que par le passé on était plutôt entre 2 à 5.
Les modèles GAN eux ont également atteint un plafond de verre depuis Midjourney 6 en Décembre 2023, on a des résultats plus esthétiques avec de moins en moins d'hallucinations, mais on reste sur du "ouais c'est de l'IA", à part si vous vous appelez Ghislaine et que vous traînez sur Facebook vous tomberez rarement dans le panneau.
Les modèles vidéo s'en sortent un peu mieux, mais on a toujours ce côté "vidéo shutterstock" qui ne disparaîtra jamais vraiment, car ces modèles ont été de base entraînés sur du shutterstock et équivalent, d'où le fait que chaque vidéo ait ce côté ralenti dégueulasse. Celles qui n'ont pas ce côté shutterstock sont juste sped-up artificiellement. Là ils ont entraînés leurs modèles en plus sur les vidéos des réseaux sociaux, donc on a ce côté candide qui arrive à ressortir, mais on crame toujours que c'est de l'IA.
En toute honnêteté, je pense qu'on est entre le smartphone et le téléviseur 3D sans lunettes en terme d'innovation, aux portes de la révolution mais également très proche du gadget pour cinquantenaire.
Douglas4055
il y a 2 mois
Merci pour cette réponse foutre-cosmique. Mais pour toi les modèles comme o1 ou Claude 3.7 ne t'impressionnent pas ?
foutre-cosmique
il y a 2 mois
Merci pour cette réponse foutre-cosmique. Mais pour toi les modèles comme o1 ou Claude 3.7 ne t'impressionnent pas ?
o1 est un gadget inutile, o3-preview et o3-mini encore pire. Ils repassent en boucle inlassablement sur la même demande, prennent jusqu'à 5-7 minutes pour un résultat sur une demande complexe, qui sera au final faux 9 fois sur 10.
Claude 3.7 de base est bien derrière Claude 3.5, ça se voit que 3.7 à été entraîné à l'arrache, en terme de tâches techniques du ou moins. Claude 3.7 thinking est un peu meilleur, c'est celui que j'utilise en ce moment, mais pareil, c'est 9 fois sur 10 à la ramasse, et faut re-prompt beaucoup pour un résultat satisfaisant.
Douglas4055
il y a 2 mois
o1 est un gadget inutile, o3-preview et o3-mini encore pire. Ils repassent en boucle inlassablement sur la même demande, prennent jusqu'à 5-7 minutes pour un résultat sur une demande complexe, qui sera au final faux 9 fois sur 10.
Claude 3.7 de base est bien derrière Claude 3.5, ça se voit que 3.7 à été entraîné à l'arrache, en terme de tâches techniques du ou moins. Claude 3.7 thinking est un peu meilleur, c'est celui que j'utilise en ce moment, mais pareil, c'est 9 fois sur 10 à la ramasse, et faut re-prompt beaucoup pour un résultat satisfaisant.
J'utilise claude 3.7 pour me dev un site Web de a à z en ce moment (de la conception au déploiement)
Et en effet souvent je suis obligé de le reprendre 7-8 fois sur une fonctionnalité spécifique car il se trompe et fait des erreur. Mais en s'acharnant il finit toujours par y arriver. Je ne me suis jamais retrouver devant un mur infranchissable pour Claude.
PauvreTarax
il y a 2 mois
o1 est un gadget inutile, o3-preview et o3-mini encore pire. Ils repassent en boucle inlassablement sur la même demande, prennent jusqu'à 5-7 minutes pour un résultat sur une demande complexe, qui sera au final faux 9 fois sur 10.
Claude 3.7 de base est bien derrière Claude 3.5, ça se voit que 3.7 à été entraîné à l'arrache, en terme de tâches techniques du ou moins. Claude 3.7 thinking est un peu meilleur, c'est celui que j'utilise en ce moment, mais pareil, c'est 9 fois sur 10 à la ramasse, et faut re-prompt beaucoup pour un résultat satisfaisant.
et 4o et 4.5 ?
PauvreTarax
il y a 2 mois
ajoutent des contextes pour les rendre plus fainéants, de prendre volontairement moins soin à prendre connaissance du contexte qu'il reçoivent car ça crame moins de tokens, donc on a un résultat plus approximatif.
Tu veux dire retirent du contexte plutôt ou le réduisent ?
foutre-cosmique
il y a 2 mois
J'utilise claude 3.7 pour me dev un site Web de a à z en ce moment (de la conception au déploiement)
Et en effet souvent je suis obligé de le reprendre 7-8 fois sur une fonctionnalité spécifique car il se trompe et fait des erreur. Mais en s'acharnant il finit toujours par y arriver. Je ne me suis jamais retrouver devant un mur infranchissable pour Claude.
Pour les sites web tu peux les faire sans problème avec l'IA, t'auras jamais de problème. Tu pourras toujours t'en sortir à peu près.
toasterr
il y a 2 mois
quid des agents ? ils vont changer la donne ?
quid des meilleurs résultats aux benchmarks de Claude etc ?
tu penses quoi de cet article https://blog.pragmaticengineer.com/software-engineer-jobs-five-year-low/ ?
Poul0Pot
il y a 2 mois
Intéressants tes posts foutrecosmique, si j'ai bien compris d'après toi l'IA actuellement est volontairement limitée mais avec une réelle volonté derrière ça pourrait être encore beaucoup plus performant ?
Tu penses qu'il y a des modèles ia qui tournent mais qui ne seront jamais accessibles au public ? Que certaines très grosses entreprises gardent en interne pour avoir un avantage technologique sur les autres ou alors ça coûte vraiment trop cher ?
foutre-cosmique
il y a 2 mois
Tu veux dire retirent du contexte plutôt ou le réduisent ?
Non non, ajoute un contexte par dessus, une sorte de règle absolue qui pousse le modèle à ne pas prendre en compte la totalité des infos que tu lui donne si elles sont longues, comme ça, le propriétaire du modèle économise en tokens, donc en électricité, donc en argent. Sur l'échelle de millions (voire milliards) de requêtes les économies sont folles.
foutre-cosmique
il y a 2 mois
Intéressants tes posts foutrecosmique, si j'ai bien compris d'après toi l'IA actuellement est volontairement limitée mais avec une réelle volonté derrière ça pourrait être encore beaucoup plus performant ?
Nan c'est mort, le modèle LLM a déjà prouvé sa limite, c'est un modèle ultra énergivore dont la pertinence de la réponse se base sur la quantité d'électricité que tu dépense.
Pour t'expliquer simplement, attraper une balle que l'on t'envoie, ne te demande quasiment aucun effort. Un modèle LLM devrait faire des calculs monstrueusement chers pour arriver à attraper la balle même si tu lui donnait la trajectoire à l'avance. Alors imagine si tu lui donne pas, mais que tu lui dis juste "Hey, attrape".
Le paradigme est faux dès le départ. Après avec énergie / électricité infinie oui, on pourrait faire quasiment tout avec, d'où l'intérêt des boîtes comme Nvidia de vendre des chips de plus en plus puissants et de moins en moins énergivores, mais la question c'est la quantité de minéraux disponibles maintenant .
Poul0Pot
il y a 2 mois
foutre-cosmique a écrit :
Nan c'est mort, le modèle LLM a déjà prouvé sa limite, c'est un modèle ultra énergivore dont la pertinence de la réponse se base sur la quantité d'électricité que tu dépense.
Pour t'expliquer simplement, attraper une balle que l'on t'envoie, ne te demande quasiment aucun effort. Un modèle LLM devrait faire des calculs monstrueusement chers pour arriver à attraper la balle même si tu lui donnait la trajectoire à l'avance. Alors imagine si tu lui donne pas, mais que tu lui dis juste "Hey, attrape".
Le paradigme est faux dès le départ. Après avec énergie / électricité infinie oui, on pourrait faire quasiment tout avec, d'où l'intérêt des boîtes comme Nvidia de vendre des chips de plus en plus puissants et de moins en moins énergivores, mais ça coûte toujours une fortune, s'use très vite, et la question de la quantité de minéraux disponibles est maintenant sur la table .
OK, ça me semble assez pessimiste quant aux possibilités futures mais j'imagine que c'est l'état actuel des choses que tu décris et oui forcément avec des avancées technologiques majeures la donne changera.
Ca reste encore réellement pertinent dans ton entreprise d'utiliser l'ia ou tu te contentes de gérer un peu le truc parce que c'est une lubie d'en haut et qu'on te le demande ?
foutre-cosmique
il y a 2 mois
OK, ça me semble assez pessimiste quant aux possibilités futures mais j'imagine que c'est l'état actuel des choses que tu décris et oui forcément avec des avancées technologiques majeures la donne changera.
Ca reste encore réellement pertinent dans ton entreprise d'utiliser l'ia ou tu te contentes de gérer un peu le truc parce que c'est une lubie d'en haut et qu'on te le demande ?
Je pense que le projet Stargate aux US c'est un bon exemple qui montre que l'IA peut avoir de l'avenir, la recherche va surtout se focus pour quitter ce paradigme énergivore j'imagine.
Oui c'est pertinent car je fais que de la review de code (et ma team aussi) on est donc plus productifs, même si on a besoin de re-prompt en boucle et en boucle, au final on est sur d'avoir produit quelque chose à la fin fin de la journée.
Par contre on nous demande dans le futur de créer notre propre modèle de segmentation sémantique, ce qui est irréalisable vu la taille de l'équipe, ça nous prendra 5 ans minimum pour avoir un truc qui sera au final moins bons que des modèles open-source de 2022. Après tant qu'on me paie je m'en bat les couilles .
toasterrr
il y a 2 mois
quid des agents ? ils vont changer la donne ?
quid des meilleurs résultats aux benchmarks de Claude etc ?tu penses quoi de cet article https://blog.pragmaticengineer.com/software-engineer-jobs-five-year-low/ ?
Poul0Pot
il y a 2 mois
foutre-cosmique a écrit :
Après tant qu'on me paie je m'en bat les couilles .
Logique
Merci pour tes réponses.
ChatChiant3
il y a 2 mois
Le futur, si on survit jusque là, ce seront les cerveaux synthétiques.
Baggito
il y a 2 mois
En ce moment il y a des milliards investi se partout
La recherche est à son max, il y a beaucoup d'argent à la clef. Ça m'étonnerait pas que de nouveaux modèles apparaissent.
En parallèle il y a les puces quantique qui font leur chemin.
2030 va être zinzin
PauvreTarax
il y a 2 mois
Non non, ajoute un contexte par dessus, une sorte de règle absolue qui pousse le modèle à ne pas prendre en compte la totalité des infos que tu lui donne si elles sont longues, comme ça, le propriétaire du modèle économise en tokens, donc en électricité, donc en argent. Sur l'échelle de millions (voire milliards) de requêtes les économies sont folles.
Pourquoi ne proposent-ils pas des options payantes permettant de prendre en compte plus de contexte ?
Je serais prêt à payer sans problème pour ça. La mémoire sur la version payante à 20 euros de chatgpt est très faible
Douglas4055
il y a 2 mois