Snowflake lance à son tour un modèle d'IA open source pour concurrencer Meta et Mistral AI

"L'ère de l'intelligence artificielle d'entreprise est là", affirme en préambule Sridhar Ramaswamy, nommé fin février au poste de CEO de Snowflake. Et force est de constater que le spécialiste du data cloud n'échappe pas à la tendance qui consiste à développer son propre grand modèle de langage (LLM). L'entreprise a ainsi dévoilé Arctic, un LLM open source et performant.

Reposant sur une architecture de type Transformer Dense-MoE (mélange d'experts), Arctic est optimisé pour les charges de travail complexes des entreprises mais aussi en matière de génération de code SQL et de suivi des instructions. Il s'agit d'une combinaison d'un modèle de Transformer dense de 10B avec un MLP résiduel de 128×3,66B MoE, ce qui donne 480 milliards de paramètres totaux et 17 milliards de paramètres actifs choisis. Il a été conçu avec une fenêtre contextuelle de 4000 tokens.

Une publication sous licence Apache 2.0

Le modèle d'IA générative fait partie d'une famille de modèles au nom éponyme construits par Snowflake. Preuve de son engagement envers la communauté open source, Snowflake a publié les poids ainsi que le code d'Arctic sous une licence Apache 2.0 (ce qui permet une utilisation personnelle, de recherche et commerciale sans restriction) ainsi que les détails de la recherche qui a conduit à son entraînement.

Snowflake veut déployer son LLM à grande échelle

"Il s'agit d'un moment décisif pour Snowflake, notre équipe de recherche en IA innovant à la pointe de l'IA", a déclaré Sridhar Ramaswamy, CEO de Snowflake. Ce dernier est par ailleurs très ambitieux et n'hésite pas à soutenir que des milliers de clients exploiteront bientôt le potentiel d'Arctic. "Snowflake étant la base de données de plus de 9 400 entreprises et organisations dans le monde entier, il permet à tous les utilisateurs d'exploiter leurs données avec des LLM ouverts de premier plan, tout en leur offrant la flexibilité et le choix des modèles avec lesquels ils travaillent". Parmi ses clients, citons notamment Adobe, Allianz, AXA, Capital One, KFC, Logitech, Mastercard, Micron, Rakuten, Strava, ou encore Western Union.

Pour aller plus loin, Snowflake fournit également des modèles de code, ainsi que des options flexibles d'inférence et d'entraînement afin que les utilisateurs puissent rapidement commencer à déployer et à personnaliser Arctic à l'aide de leurs frameworks préférés. Il s'agit notamment de Nvidia NIM avec TensorRT-LLM, vLLM et Hugging Face. Pour une utilisation immédiate, Arctic est disponible pour l'inférence serverless dans Snowflake Cortex, son service entièrement géré qui offre des solutions de ML et d'IA dans le Data Cloud. Arctic sera également disponible sur Amazon Web Services, aux côtés d'autres modèles et catalogues, qui incluront Hugging Face, Lamini, Microsoft Azure, le catalogue d'API de Nvidia, Perplexity et Together AI pour ne citer qu'eux.

Un LLM développé en moins de trois mois à bas coût

L'équipe de recherche en IA de Snowflake affirme avoir mis moins de trois mois et dépensé environ un huitième du coût d'entraînement de modèles similaires lors du développement d'Arctic – "moins de deux millions de dollars selon Sridhar Ramaswamy". Entraîné à l'aide d'instances P5 d'Amazon EC2, Snowflake espère ainsi établir une nouvelle référence en ce qui concerne la rapidité avec laquelle les modèles ouverts peuvent être entraînés.

Le ratio performances/coût est en effet pertinent aussi bien sur la partie entraînement que sur la partie inférence et les modèles développés par Databricks et Meta semblent loin du compte. Par comparaison avec Llama 3 70B – publié récemment – Snowflake rapporte que le facteur multiplicateur est proche de 16 en terme de puissance de calcul utilisée pour entraîner le modèle par rapport au sien.

Arctic fournit ainsi des résultats de qualité, en activant seulement 17 des 480 milliards de paramètres à la fois. En termes d'efficacité, Snowflake affirme qu'Arctic active environ 50 % de paramètres en moins que DBRX, et 75 % de moins que Llama 3 70B pendant l'inférence ou l'entraînement.

Des performances qui égalent Llama 3

Sur les principaux tests d'évaluation, le LLM de Snowflake surpasse les principaux modèles ouverts. Ainsi, Arctic obtient un score de 79% à égalité avec Llama 3 70B et Mixtral 8x22B sur la génération SQL (test Spider) et talonne les modèles de Meta et Mistral AI en matière de codage (HumanEval+, MBPP+). Des évaluations qui mettent en évidence les performances moindres du modèle open source DBRX - publié par Databricks il y a peu - d'ores et déjà à la traîne face à ses concurrents.

Sur la partie académique, Arctic offre des performances intéressantes dans l'ensemble, notamment en mathématiques (sur le test GSM8K), mais est légèrement à la traîne en matière de compréhension du langage général (MMLU) – se retrouvant derrière DBRX, Llama 3 70B, Mixtral 8x22B et Mixtral 8x7B. En plus du LLM Arctic, la famille de modèles Snowflake Arctic comprend également Arctic embed, une famille de modèles d'intégration de texte, récemment annoncée et également publiée sous licence Apache 2.0.

L'écosystème open source se consolide

Au total, la famille, qui contient cinq modèles, est disponible sur Hugging Face pour une utilisation immédiate et sera bientôt disponible dans le cadre de la fonction d'intégration de Snowflake Cortex (en private preview pour l'heure). "Ces modèles d'intégration sont optimisés pour offrir des performances de recherche de premier plan pour environ un tiers de la taille des modèles comparables", avance Snowflake.

Rappelons qu'en parallèle, le spécialiste du data cloud a opéré plusieurs rapprochements stratégiques dans le secteur de l'intelligence artificielle. Il a notamment investi dans la start-up française Mistral AI et propose les modèles de ce dernier sur sa plateforme. De même, Snowflake travaille avec la start-up américaine Perplexity et utilise même son service de recherche en interne.

Pour Aravind Srinivas, co-fondateur et CEO de Perplexity, l'annonce faite aujourd'hui par le spécialiste du data cloud est un pas en avant vers la consolidation de l'écosystème open source : "L'avancement continu - et la concurrence saine entre - les modèles d'IA open source est essentiel non seulement pour le succès de Perplexity, mais aussi pour l'avenir de la démocratisation de l'IA générative pour tous". Et d'ajouter : "Nous sommes impatients d'expérimenter Snowflake Arctic afin de l'adapter à notre produit".

Vous souhaitez être en veille sur l’actualité du secteur de l’intelligence artificielle ? Inscrivez-vous gratuitement à la newsletter IA Insider.