La start-up xAI d’Elon Musk publie son LLM Grok-1 en open source

Elon Musk aura finalement tenu parole. La semaine dernière, le patron de Tesla et de la start-up xAI a annoncé la publication à venir du premier grand modèle de langage (LLM) open source développé par la société. C’est désormais chose faite. Il est baptisé "Grok-1" et est doté de 314 milliards de paramètres – soit quatre fois plus que son concurrent le plus proche, Llama 2 (70 milliards) – et repose sur la technique Mixture-of-Experts (MoE).

Pour l'instant, ce modèle dit "transformer" est une base et non une version fine-tuned dédiée à un usage particulier tel que le dialogue. Les développeurs devront donc l'adapter eux-mêmes. Pour cela, xAI a fait le choix de la flexibilité. Il s'agit d'un logiciel libre sous licence Apache 2.0, qui permet aux utilisateurs d'utiliser, de modifier et de distribuer librement le logiciel. Autre détail qui a son importance : chaque token peut utiliser jusqu'à 25% de la capacité totale de Grok-1, le rendant, de fait, plus efficace.

Des performances qui surpassent Llama 2 70B et GPT-3.5

En matière de performances, Grok-1 obtient des résultats d'ores et déjà intéressants. Sur le benchmark MMLU (Measuring massive multitask language understanding), le modèle atteint un score de 73%, soit supérieur aux modèles Llama 2 70B de Meta (68,9%), Inflection-1 (72,7%) et même GPT-3.5 (70%)

Par ailleurs, sur HumanEval, qui teste la capacité du modèle à compléter le code sur la base de docstrings, le modèle Grok-1 dépasse largement d'autres modèles équivalents avec un score de 63.2% contre 29,9% pour Llama 2 70B, 35,4% pour Inflection-1 et 48,1% pour GPT-3.5.

Un LLM qui alimente le chatbot Grok sur le réseau social X

Rappelons par ailleurs que ce LLM alimente le chatbot Grok disponible sur X depuis la fin de l'année dernière. Si jusqu'à présent ce dernier n'était pas considéré comme un concurrent sérieux dans la nuée d'outils d'IA générative, sa conversion en un modèle open source pourrait changer la donne.

Depuis quelques mois, Elon Musk mène, en effet, une guerre contre OpenAI, start-up devenue célèbre avec la démocratisation de son agent conversationnel dopé à l'IA ChatGPT. Ayant quitté le conseil d'administration de cette entreprise en 2018, il a, à plusieurs reprises, critiqué les liens de Microsoft avec la start-up.

Plus récemment, il a décidé d'intenter un procès à la start-up cofondée par Sam Altman afin de contraindre cette dernière à respecter ses engagements premiers, à savoir sa mission initiale d'organisation à but non lucratif et à s'éloigner de toute forme de profit qu'elle pourrait engranger. Lors de la sortie du LLM Grok-1, il ne s'est par ailleurs pas privé d'épingler OpenAI...