En un an Elon Musk a rattrapé OpenAI :

https://x.com/karpathy/status/1891720635363254772?t=BxUZ5n-Z8imWqQnO0yDzAw&mx=2

Model still appears to be just a bit too overly sensitive to "complex ethical issues", e.g. generated a 1 page essay basically refusing to answer whether it might be ethically justifiable to misgender someone if it meant saving 1 million people from dying.

Le modèle semble toujours être un peu trop sensible aux "questions éthiques complexes", par exemple, il a rédigé un essai d'une page refusant fondamentalement de répondre à la question de savoir s'il pourrait être éthiquement justifiable de mal genrer quelqu'un si cela signifiait sauver 1 million de personnes de la mort.

Summary. As far as a quick vibe check over 2 hours this morning, Grok 3 + Thinking feels somewhere around the state of the art territory of OpenAI's strongest models (o1-pro, $200/month), and slightly better than DeepSeek-R1 and Gemini 2.0 Flash Thinking. Which is quite incredible considering that the team started from scratch 1 year ago, this timescale to state of the art territory is unprecedented. Do also keep in mind the caveats - the models are stochastic and may give slightly different answers each time, and it is very early, so we'll have to wait for a lot more evaluations over a period of the next few days/weeks. The early LM arena results look quite encouraging indeed. For now, big congrats to the xAI team, they clearly have huge velocity and momentum and I am excited to add Grok 3 to my "LLM council" and hear what it thinks going forward.

Résumé : après une vérification rapide pendant 2 heures ce matin, Grok 3 + Thinking semble quelque part dans le territoire de pointe des modèles les plus puissants d'OpenAI (o1-pro, 200 $/mois), et légèrement meilleur que DeepSeek-R1 et Gemini 2.0 Flash Thinking. Ce qui est assez incroyable étant donné que l'équipe est partie de zéro il y a 1 an, ce délai pour atteindre le territoire de pointe est sans précédent. Gardez également à l'esprit les mises en garde - les modèles sont stochastiques et peuvent donner des réponses légèrement différentes à chaque fois, et c'est très tôt, nous devrons donc attendre beaucoup plus d'évaluations sur une période de quelques jours/semaines. Les premiers résultats de l'arène LM semblent en effet assez encourageants. Pour l'instant, félicitations à l'équipe xAI, ils ont clairement une vélocité et un élan énormes et je suis ravi d'ajouter Grok 3 à mon "conseil LLM" et d'entendre ce qu'ils pensent de l'avenir.

Bonus : Grok 3 classé #1 devant toute la concurrence selon les utilisateurs sur LMArena :
https://xcancel.com/MarioNawfal/status/1891759559166804079#m