Databricks s'élance dans la course aux LLM open source avec son modèle DBRX

Difficile de suivre le rythme dans le monde de l'IA générative. Dans cette course effrénée, les acteurs technologiques veulent tous une part du gateau et sont prêts à mettre les bouchées doubles pour y parvenir. Databricks est l'un d'entre eux. Le spécialiste du data lakehouse dévoile aujourd'hui un grand modèle de langage (LLM) baptisé DBRX. A usage général, ce dernier "surpasse tous les modèles open source existants sur des benchmarks", se vante la firme.

Son cofondateur et CEO, Ali Ghodsi, ne cache d'ailleurs pas son enthousiasme à ce sujet : "Nous sommes enthousiasmés par DBRX pour trois raisons essentielles : premièrement, il bat les modèles open source sur des benchmarks industriels de pointe. Deuxièmement, il surpasse GPT-3.5 sur la plupart des benchmarks, ce qui devrait accélérer la tendance que nous observons chez nos clients, à savoir que les entreprises remplacent les modèles propriétaires par des modèles open source. Enfin, DBRX utilise un mélange d'architectures d'experts (MoE), ce qui rend le modèle extrêmement rapide en termes de tokens par seconde, tout en étant rentable".

132 milliards de paramètres

DBRX a été développé par Mosaic AI, anciennement connu sous le nom de Mosaic ML avant d'être racheté par Databricks en juin dernier pour la modique somme de 1,3 milliard de dollars. Le modèle a ensuite été entraîné sur Nvidia DGX Cloud, sa plateforme "AI training as a service" pour les entreprises. Databricks a par ailleurs fait le choix de développer un modèle basé sur une architecture de type mélange d'experts (MoE) avec 132B paramètres au total et 36B paramètres actifs.

"Nous utilisons 16 experts, dont 4 sont actifs pendant l'entraînement ou l'inférence", précise la firme. DBRX a été pré-entraîné pour 12T tokens de texte et possède une fenêtre contextuelle plutôt longue, à savoir de 32K tokens. Résultat : le modèle est jusqu'à deux fois plus efficaces en termes de calcul que d'autres LLM de premier plan et disponibles sur le marché.

Des performances qui surpassent celles de Llama 2-70B et Mixtral-8x7B

Sur les benchmarks les plus utilisés, tels que la compréhension du langage, la programmation, les mathématiques et la logique, DBRX surpasse les modèles open source de Meta et de Mistral AI. Par exemple, il obtient un score de 73,7% sur le test MMLU (compréhension du langage) contre 69,8% pour Llama 2-70B et 71,4% pour Mixtral-8x7B. La firme a même pris le parti de comparer son modèle à celui développé par la start-up xAI, à savoir Grok-1, qui obtient pour sa part un score de 73%.

Sur le test HumanEval qui analyse la capacité de génération de code des LLM, l'écart se creuse davantage. DBRX obtient un score de 70,1% contre 32,2% pour Llama 2-70B, 54,8% pour Mixtral-8x7B et 63,2% pour Grok-1. De même, le modèle développé par Databricks est nettement supérieur à GPT-3.5 sur ces deux tests de référence ; le modèle d'OpenAI obtient 70% sur le test MMLU et 48,1% sur le test HumanEval.

Un concurrent féroce pour l'écosystème open source

"Dans l'ensemble, DBRX établit un nouveau standard pour les LLM open source - il offre aux entreprises une plateforme pour construire des capacités de raisonnement personnalisées basées sur leurs propres données", assure Ali Ghodsi. Ce grand modèle de langage pourrait en effet devenir un concurrent de taille dans la course aux modèles open source. Selon une étude récente menée par Andreessen Horowitz, près de 60 % des leaders de l'IA pensent à augmenter l'utilisation de l'open source ou même passer à l'open source, lorsque des modèles open source "fine-tuned" égalent à peu près les performances des modèles dits fermés.

Le LLM pourrait d'ailleurs se retrouver très prochainement utilisé par le Nasdaq au sein de ses systèmes de données. "Nous sommes ravis de la sortie de DBRX. La combinaison d'un modèle performant et d'une économie de service favorable est le type d'innovation que nous recherchons pour développer notre utilisation de l'IA générative au Nasdaq", a déclaré Mike O'Rourke, responsable de l'IA et des services de données au Nasdaq.

Autre utilisateur, autre usage, Zoom qui indique utiliser les LLM pour proposer de nouvelles fonctionnalités sur sa plateforme, à l'instar d'AI Companion. "Nous avons hâte d'évaluer le potentiel de DBRX pour rendre l'entraînement et le service de modèles d'IA génératifs personnalisés plus rapides et plus rentables pour nos principaux cas d'utilisation", a déclaré Chenguang Zhu, responsable de GenAI Science chez Zoom.

La sécurité n'est pas en reste

Pour offrir aux entreprises toutes les conditions nécessaires au développement de LLM personnalisés, la firme précise avoir intégré DBRX dans sa plateforme Data Intelligence. Ainsi, les utilisateurs peuvent créer et déployer rapidement des applications d'IA générative sûres, de qualité, précises et gouvernées tout en gardant le contrôle de leurs données et de leur propriété intellectuelle.

Une disponibilité sur tous les grands fournisseurs de cloud

Pour l'heure, le modèle DBRX est disponible gratuitement sur GitHub et Hugging Face pour la recherche et l'utilisation commerciale. Les entreprises peuvent également retrouver le LLM sur la plateforme Databricks, exploiter ses capacités de contexte long dans les systèmes de génération augmentée de récupération (RAG), et construire des modèles DBRX personnalisés sur leurs propres données privées.

DBRX est également disponible sur les principaux fournisseurs de cloud, incluant AWS, Google Cloud, ainsi que directement sur Microsoft Azure via Azure Databricks. Par la suite, la firme américaine prévoit de proposer son LLM dans le catalogue d'API de Nvidia ainsi qu'une prise en charge par le microservice d'inférence Nvidia NIM.