Dragon LLM, la start-up française qui entend proposer une alternative souveraine aux Big Tech

Elle opère depuis 2011 sous le nom de Lingua Custodia. Présentée comme une fintech, la start-up parisienne - qui n'en est plus vraiment une après près de 15 ans d'existence - s'était jusqu'alors spécialisée dans le développement de solutions d'analyse pour le marché financier, s'adressant principalement aux institutions financières et aux départements financiers de grandes sociétés et ETI. Son produit phare ? Sa plateforme Verto, un outil permettant d’interroger des documents confidentiels multilingues en s'appuyant sur le Traitement automatique des langues (TAL ou NLP en anglais). Aujourd'hui, la société opère une bascule vers l'IA générative et en profite pour changer de nom.

Rebaptisée Dragon LLM, l'entreprise - comme son nom l'indique - travaille au développement de grands modèles de langage. Misant sur les modèles frugaux - des alternatives plus petites, mais jugées tout aussi efficaces face aux modèles plus grands pour une utilisation des ressources réduite -, elle a ainsi conçu en interne sa propre architecture. Elle s'est pour cela appuyée sur les supercalculateurs européens Leonardo (installé dans le centre de données Cineca à Bologne, en Italie) et Jupiter (centre Jülich, à Aix-la-Chapelle, en Allemagne), grâce au programme européen Large AI Grand Challenge, remporté par la jeune pousse en 2024.

Un premier modèle dédié à la finance

A date, Dragon LLM a d'ores et déjà publié un premier modèle fondamental de 3,7 milliards de paramètres, démonstrateur de cette nouvelle architecture. L'étape suivante consiste à fournir plusieurs déclinaisons, incluant une version 3B et 7B de DragonBase entraînée sur plus de 10 mille milliards de tokens, ainsi qu'une version chat de ces modèles et des versions spécialisées pour des secteurs d'activité spécifiques, comme la finance. Pour l'heure, le code de l’architecture Dragon et le modèle de démonstration sont accessibles sur la plateforme Hugging Face.

Parallèlement, l'entreprise a également été sélectionnée par France 2030 dans le cadre d'un appel à projets, et, avec l'aide de l'Agefi, a développé des LLM ciblant la finance française. La société prévoit en effet de publier plusieurs déclinaisons de son modèle, qui repose sans surprise sur l'architecture évoquée plus tôt, de taille différente, avec une mise sur le marché en "open source et en close source" suivant les versions. La gamme de modèles devrait être publiée début novembre.

La carte de la souveraineté

"Le respect de la loi européenne sur l'IA est essentiel, avec une attention particulière portée à la confidentialité des données et à la toxicité des contenus", assure Dragon LLM. L'entreprise mise en effet beaucoup sur le "made in Europe" (conception et entraînement sur des infrastructures européennes) tout en proposant une offre qui requiert "trois fois moins de puissance de calcul pour un niveau de performance équivalent aux leaders mondiaux".

Selon elle, son modèle 3B entraîné sur 3,5T de tokens atteint "des performances comparables à celles de smolLM-3B-Base et Qwen3-4B-Base sur ARC, HellaSwag, LAMBADA et PIQA, tout en étant entraîné sur 3 à 5 fois moins de données." Côté déploiement, la société veut s'adresser à une cible large et opte pour une mise à disposition sur serveurs standards, sans GPU massifs, offrant ainsi une porte d'entrée aux PME.