Oh boy, les nouvelles sont folles en ce moment dans le AI World

TL;DR (résumé pour les flemmards) :

Par où commencer

Pour les grotteux, on a appris en Novembre 2023 qu'OpenAI bossait sur un projet de recherche en IA top secret nommé Q* : https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/

• Some at OpenAI believe Q* (pronounced Q-Star) could be a breakthrough in the startup's search for what's known as artificial general intelligence (AGI), one of the people told Reuters. OpenAI defines AGI as autonomous systems that surpass humans in most economically valuable tasks.

Leak confirmé par Altman par la suite (il tirait la gueule d'ailleurs https://x.com/AiBreakfastast/status/1770095889358446737 ). Y'a eu beaucoup de rumeurs autour de ça (certains pensent que ça a un lien avec le licenciement temporaire d'Altman, le départ de Sutskever pour fonder SSI - mais c'est un autre rabbithole)

En début de semaine on découvre la classification interne, et donc la roadmap, d'OpenAI pour l'IA : https://www.bloomberg.com/news/articles/2024-07-11/openai-sets-levels-to-track-progress-toward-superintelligent-ai

L'élite reconnaîtra que c'est leur version maison de l'échelle de Google DeepMind (que je préfère perso) : https://arxiv.org/pdf/2311.02462

EN GROS, OpenAI divise les progrès à venir en IA en 5 étapes, qui sont 5 niveaux d'intelligence croissante :

1. Niveau 1 - Chatbots : IA avec langage conversationnel
2. Niveau 2 - Raisonneurs : IA capable de résolution de problèmes de niveau humain (niveau doctorant sans outils)
3. Niveau 3 - Agents : IA capable de planifier et d'agir
4. Niveau 4 - Innovateurs : IA pouvant contribuer à des inventions et découvertes
5. Niveau 5 - Organisations : IA capable d'effectuer le travail de toute organisation

Évidemment on est au niveau 1, mais on apprenait dans l'article de Bloomberg qu'OpenAI considérait être sur le point de passer au niveau 2 :

• OpenAI executives told employees that the company believes it is currently on the first level, according to the spokesperson, but on the cusp of reaching the second, which it calls “Reasoners.” This refers to systems that can do basic problem-solving tasks as well as a human with a a doctorate-level education who doesn't have access to any tools.

Tout le monde a tout de suite eu Q* en tête en lisant ça et on en sait enfin davantage : https://www.reuters.com/technology/artificial-intelligence/openai-working-new-reasoning-technology-under-code-name-strawberry-2024-07-12/

L'article confirme que c'est une méthode de post-training très proche du papier STaR comme plein de gens l'avaient supposé : https://arxiv.org/pdf/2203.14465

Explication : les datasets utilisés pour entraîner les IA jusque-là sont (en partie) des bases de données massives de questions et réponses, ce qui étonnamment nous a déjà mené assez loin en soi

Mais il y a pas les raisonnements entre la question et la réponse. Bah oui, plein de questions sont tirées de manuels par exemple, et au mieux y'a un petit passage d'explication mais pas tout le raisonnement étape par étape

On manque donc de données de raisonnement pour entraîner les IA. Ça pourraît être bien pour les aider à mieux raisonner, parce-que là souvent elles doivent déduire le raisonnement derrière une réponse, et on sait pas si c'est toujours très juste

Le pari de ce papier, c'est de filer des questions/réponses à une IA, lui demander de générer des raisonnements, trier les données ainsi générées pour séparer le bon grain de l'ivraie, ré-entraîner l'IA sur ces nouvelles données de raisonnement (en fine-tuning) et rebelotte, on répète le cycle :

Et ça marche :

Je sais pas si vous réalisez le potentiel. C'est littéralement la première méthode d'une IA qui s'auto-améliore que nous voyons fonctionner sous nos yeux ébahis

Pour citer les chercheurs à l'origine du papier :

• STaR enables AI models to “bootstrap” themselves into higher intelligence levels via iteratively creating their own training data, and in theory could be used to get language models to transcend human-level intelligence, one of its creators, Stanford professor Noah Goodman, told Reuters. “I think that is both exciting and terrifying… if things keep going in that direction we have some serious things to think about as humans,” Goodman said.

Du coup on sait maintenant que GPT-4, et tous les modèles d'IA, peuvent être entraînés quasi-continuellement et que la frontière entre le training et le post-training va devenir de plus en plus floue. Quoiqu'il en soit, ils ont réussi à bien améliorer les capacités de GPT-4 avec leur méthode :

• Two sources described viewing earlier this year what OpenAI staffers told them were Q* demos, capable of answering tricky science and math questions out of reach of today's commercially-available models.

Et tout ça c'est que avec GPT-4, hâte de voir cette méthode utilisée sur GPT-5 qui est toujours en training actuellement

Bien entendu, ils ont aussi augmenté cette méthode avec des outils, ils veulent permettre à GPT-4 de parcourir directement internet, et ils comptent utiliser cette méthode pour générer des datasets de planification afin d'enfin avoir des agents :

• OpenAI specifically wants its models to use these capabilities to conduct research by browsing the web autonomously with the assistance of a “CUA,” or a computer-using agent, that can take actions based on its findings, according to the document and one of the sources.

Car même problème : on a pas de datasets qui expliquent chaque étapes d'une action du style "si je veux réserver au restaurant, d'abord je 1) vérifie qu'il est ouvert 2) je vérifie qu'il y a des places 3) ...". Donc ils vont faire pareil à ce niveau pour pouvoir entraîner les IA à devenir des agents capables de planifir puis d'agir

L'article termine sur une phrase bien choisie, et tous ceux qui suivent la scène IA comprennent la référence :

• OpenAI also plans to test its capabilities on doing the work of software and machine learning engineers.

Pour rappel, il y a quelques mois Leopold Aschenbrenner, un chercheur de la team Superalignment d'OpenAI avait été viré, et il avait sorti un looong article https://situational-awareness.ai/ (et une interview https://youtu.be/zdbVtZIn9IM - je vous recommande les deux c'est une folie) pour expliquer la roadmap interne chez OpenAI et ce vers quoi on se dirige

Il prédisait notamment l'AGI, donc une IA aussi intelligente que n'importe quel humain dans n'importe quel domaine, pour 2027. Et il expliquait qu'une fois ce stade atteint, ça ira bien plus vite d'atteindre une IA d'intelligence surhumaine

Et un de ses arguments clefs était justement cela : on a pas besoin que l'IA automatise tous les jobs, mais un seul. Une fois qu'on arrive à automatiser la recherche en IA, on va assister à une explosion d'intelligence dans une boucle de rétro-action positive : ( https://situational-awareness.ai/from-agi-to-superintelligence/ )

Bref y'aurait encore beaucoup de choses à dire mais ce post est déjà trop long. Le prochain gros défi à régler c'est les hallucinations pour rendre les IA plus factuelles, mais tous les labs doivent déjà plancher dessus et y'a eu des percées prometteuses cette année https://www.lamini.ai/blog/lamini-memory-tuning donc je m'en fais pas

ACCELERATE !

Not readyent

Trop long

Il y a un résumé au début du post

Not ready de notre grand remplacement par l'ia

Certains l'avaient imaginé, si ce que t'avances est réel (et c'est loin d'être une chance pour nous) on va droit vers notre extinction

L'IA ne pourra jamais venir me chercher à 2500m d'altitude dans mon chalet

mais dire à un humain de le faire en le payant en cryptomonnaie, oui

Conclusion : on est encore très loin de l'AGI.

Tu dis que l'IA est désormais autonome en cherchant de bons raisonnements mais c'est faux. Elle regarde dans les raisonnements qu'on lui a donné celui qui est le plus capable d'être le bon. C'est pas du tout la même chose.

Le jour où elle trouvera un raisonnement d'elle-même là ce sera un game changer. Parce que l'AGI ne sera alors plus très loin

Non on n'est pas "très loin", stop avec vos raisonnements de boomers, vous vous plantez intégralement depuis le début ça sera bon d'ici deux ans grand maximum, on y est déjà

Vite vite vite IA libère nous de la condition humaine VIIIIIIITE