Mistral AI fait les yeux doux à la communauté open source avec son dernier modèle Small 3

Plus petit, plus rapide, moins cher. Voici en quelques mots les caractéristiques de Mistral Small 3, un modèle de 24 milliards de paramètres optimisé pour la latence et publié sous licence Apache 2.0. Développé par les équipes de Mistral AI, il s'agit d'un modèle pré-entraîné et ajusté pour répondre aux besoins de 80% des tâches en IA générative, "celles nécessitant des capacités solides en langage et en suivi des instructions", avec une latence de 150 tokens/s, ce qui en fait le plus efficace de sa catégorie, selon les dires de la start-up.

"Nous avons conçu ce modèle pour maximiser la performance avec une taille adaptée aux déploiements locaux". Mistral Small 3 comporte ainsi beaucoup moins de couches que ses concurrents, ce qui réduit considérablement le temps d’exécution.

Small 3 rivalise avec des modèles trois fois plus grands comme Llama 3.3 70B

Dans les faits, plusieurs tests ont été réalisés afin de comparer ce modèle à d'autres similaires (Qwen2.5-32B-Instruct, Gemma-2-27B-IT et GPT-4o-mini) mais aussi par rapport à Llama-3.3-70B-Instruct, certes open source, mais trois fois plus grand. Sur le benchmarks MMLU Pro, Mistral Small 3 obtient ainsi un score égal à celui du modèle phare de Meta, tandis que sur le test GPQA, il est légèrement en-deça, mais surpasse les autres modèles, à savoir Qwen2.5-32B-Instruct, Gemma-2-27B-IT et GPT-4o-mini.

La start-up française positionne ainsi son modèle en "alternative open source aux modèles propriétaires opaques comme GPT4o-mini" et soutient qu'il constitue une très bonne base à bat coût par rapport au modèle de Meta : "Mistral Small 3 est au même niveau que Llama 3.3 70B Instruct, tout en étant plus de trois fois plus rapide sur le même matériel".

Mistral réaffirme son engagement dans l'open source face à son rival DeepSeek

Le Français publie à la fois une version pré-entraînée et une version ajustée pour les instructions sous licence Apache 2.0. A noter que Mistral Small 3 n’a pas été entraîné avec de l’apprentissage par renforcement (RL) ni des données synthétiques, et est donc à un stade plus précoce de la production par rapport à des modèles comme Deepseek R1. Néanmoins, la start-up ne se dégonfle pas face à son rival chinois, indiquant que son modèle "constitue une excellente base pour développer des capacités de raisonnement cumulatif".

Il faut donc voir Mistral Small 3 comme un complément des modèles de raisonnement open source de grande taille existants, base à partir de laquelle les développeurs peuvent donc travailler pour faire émerger d'autres versions personnalisées plus adaptées aux besoins des entreprises. "Les entreprises et développeurs ayant besoin de capacités spécialisées (vitesse accrue, connaissances spécifiques au domaine, modèles adaptés à des tâches telles que la complétion de code) pourront compter sur des modèles commerciaux supplémentaires en complément", fait savoir Mistral.

De l'analyse de sentiments aux services financiers, une myriade de cas d'usage

Plusieurs cas d'usages ont été identifiés : assistance conversationnelle avec une réponse rapide, exécution de fonctions à faible latence, spécialisation dans des domaines tels que les conseils juridiques, les diagnostics médicaux ou le support technique, ou encore l'inférence locale. Mistral AI précise qu'il peut ainsi tourner sur un RTX 4090 ou un MacBook avec 32 Go de RAM lorsque la quantification est activée. La quantification est une méthode de configuration des LLM qui consiste à sacrifier une certaine qualité de sortie pour une utilisation matérielle moindre.

La start-up a par ailleurs mis son dernier modèle entre les mains de ses clients afin qu'ils en explorent l’utilisation dans une kyrielle de secteurs : services financiers pour la détection des fraudes, fournisseurs de santé pour l’orientation des patients, robots, secteur automobile et manufacturier pour le contrôle de commandes embarquées. Des cas d’usage transversaux sont également ciblés, incluant le service client virtuel ainsi que l’analyse de sentiment.

D'autres modèles à venir

Sa feuille de route semble par ailleurs toute tracée, la start-up indiquant que "d'autres modèles Mistral, petits et grands, avec des capacités de raisonnement améliorée", verront bientôt le jour. En attendant, Small 3 est disponible sur l'ensemble des plateformes habituelles et sera bientôt disponible sur Nvidia NIM, Amazon SageMaker, Groq, Databricks et Snowflake.