La start-up française Mistral AI dévoile Mistral 7B, un grand modèle de langage open source

C'est un tweet surprenant, publié le 27 septembre à 5 heures du matin par le compte officiel de Mistral AI, qui a dans un premier temps éveillé l'attention des spécialistes de l'intelligence artificielle. Celui-ci comprenait un lien magnet, publié sans autre contexte que des suites de caractères propres à un URL. Parmi celles-ci se distinguait les lettres "mistral-7B-v0.1" : autrement dit, le nom du premier grand modèle de langage (LLM) de la start-up française, officiellement annoncé quelques heures plus tard et de façon plus traditionnelle dans une note de blog.

Mistral 7B est, comme son nom l'indique, un LLM de 7,3 milliards de paramètres. Il est open source et donc fidèle à la promesse faite par les fondateurs de Mistral AI, lesquels avaient levé en juin dernier 105 millions d'euros. Et ce quelques semaines seulement après le lancement remarqué de leur entreprise en pleine frénésie sur l'IA générative. "Résultat de trois mois de travail intense", le modèle dévoilé hier est présenté par ses créateurs comme étant plus performant que tous se concurrents open source évoluant dans sa catégorie.

Plus puissant que Llama 2

Mistral AI insiste en effet sur sa rivalité avec Meta. La firme de Mark Zuckerberg, qui a lancé en juillet dernier son grand modèle de langage open source Llama 2, se voit en effet vivement concurrencée sur le terrain de l'IA générative ouverte. D'après des calculs effectués par la start-up française, son modèle Mistral 7B est en effet plus performant, sur la totalité des standards de référence, que les versions 7B et 13B de Llama 2. Et plus performant que la version 34B de Llama 1 sur une grande partie des standards.

Arthur Mensch, CEO de Mistral AI, avait récemment qualifié la sortie de Llama 2 de"challenge intéressant" ; le voilà désormais qui peut se targuer de jouer dans la cour des grands. Les cadres de la start-up espèrent à présent que l'utilisation de leur modèle suivra leurs ambitions. Publié sous la licence libre et open source Apache 2.0 et accessible depuis les plateformes GitHub et Hugging Face, Mistral 7B peut être utilisé par quiconque sans restriction. Un serveur Discord a même été ouvert pour organiser la communication, l'entraide et les questions de support autour de cette innovation.

L'open source comme leitmotiv

La start-up annonce qu'elle entraîne d'ores et déjà "des modèles beaucoup plus grands", évoquant "de nouvelles architectures". Poursuivant son objectif de réduire progressivement l'avance accumulée par les fers de lance de l'intelligence artificielle générative comme OpenAI, Mistral AI reste également concentrée sur l'open source. "Nous sommes convaincus qu'en formant nos propres modèles, en les publiant ouvertement et en encourageant les contributions de la communauté, nous pouvons construire une alternative crédible à l'oligopole émergent de l'IA", indique l'entreprise dans une note de blog parue le 27 septembre.

Les dirigeants de Mistral AI parient sur "l'exigence d'excellence technique" qui anime le monde de l'open source et sur la flexibilité et la transparence que permet un accès libre au code. "Le développeur a un contrôle total sur le moteur qui alimente son application", il peut adapter la taille du modèle à ses besoins, en maîtriser les coûts et la latence. "Les modèles ouverts constitueront également de précieuses garanties contre l'utilisation abusive de l'IA générative, poursuit la start-up. Ils permettront aux institutions publiques et aux entreprises privées de vérifier si les systèmes génératifs présentent des failles et d'en détecter les mauvais usages."

Une offre commerciale en développement

Afin de stimuler l'utilisation concrète de son modèle dernier cri et de s'imposer auprès des entreprises sur le marché florissant de l'IA générative, Mistral AI entend bien développer une offre commerciale à l'avenir. "Nous proposerons des modèles propriétaires optimisés pour le déploiement sur site et en cloud privé, lit-on dans la note de blog. Ces modèles seront distribués sous forme de solutions "boîte blanche" en mettant à disposition à la fois leurs poids et leurs codes sources."

Mistral 7B se retrouvera, dans ce contexte, en concurrence directe avec les LLM open source de Meta mais aussi avec la formule payante ChatGPT Enterprise qui donne accès aux derniers grands modèles de langage d'OpenAI. Outre les acteurs occidentaux, Mistral AI devra aussi surveiller l'écosystème chinois de l'intelligence artificielle, où Alibaba Cloud a lancé en août plusieurs modèles open source en chinois et en anglais, dotés eux aussi de 7 milliards de paramètres.