IA générative : La start-up Aleph Alpha dévoile sa famille de modèles Pharia-1-LLM

Considérée comme une rivale sérieuse d'OpenAI, la start-up Aleph Alpha lève le voile sur sa dernière famille de modèles de fondation qui comprend Pharia-1-LLM-7B-control et Pharia-1-LLM-7B-control-aligned. Ces deux versions sont disponibles sous la licence Open Aleph, qui autorise explicitement la recherche non commerciale et l'utilisation à des fins éducatives, précise la start-up. S'inscrivant dans la tendance, elle a fait le choix de modèles relativement compacts, ne comptant "que" 7 milliards de paramètres.

Pharia-1-LLM-7B-control est conçu pour fournir des réponses concises et contrôlées en longueur qui correspondent aux performances des principaux modèles open source dans la plage de paramètres 7B à 8B, explique-t-elle. "Il est culturellement et linguistiquement optimisé pour l'allemand, le français et l'espagnol grâce à l'entraînement sur un corpus de base multilingue", ce qui en fait un modèle parfaitement adapté à des usages d'entreprises européennes.

Des applications propres à chacune des versions

Le modèle est conçu pour des applications spécifiques à un domaine dans les secteurs de l'automobile et de l'ingénierie, note Aleph Alpha. Elle explique par ailleurs avoir porté son choix sur l'architecture GPT de type transformer, celle-ci possédant un léger avantage par comparaison avec l'architecture Llama 2.

D'autre part, Pharia-1-LLM-7B-control excelle dans des tâches telles que l'extraction et le résumé, où des résultats plus directs et moins verbeux sont souvent préférés. Le modèle Pharia-1-LLM-7B –control-aligned est quant à lui plus adapté aux cas d'utilisation conversationnelle. "Ses réponses le rendent idéal pour les applications interactives telles que les chatbots ou les assistants virtuels".

Des GPU Nvidia utilisés durant l'entraînement du modèle

La start-up partage par ailleurs quelques détails sur le hardware utilisé pour l'entraînement de sa famille de modèle. "256 GPU A100 ont été utilisés pour l'entraînement sur notre premier mélange de données" –  soit un ensemble de données de 4,7 mille milliards de jetons avec une longueur de séquence de 8 192 tokens, tandis que "256 GPU H100 ont été nécessaires pour l'entraînement sur le deuxième mélange de données" qui comporte 3 mille milliards de jetons supplémentaires. In fine, avec les deux phases de pré-entraînement, la base Pharia-1-LLM-7B a été entraînée pour un total de 7,7 mille milliards de tokens.

La start-up précise enfin que Pharia-1-7B-control et Pharia-1-7B-control-aligned ont été évalués par rapport à des modèles multilingues de taille similaire disponibles dans plusieurs langues, à savoir Mistral-7B-Instruct-v0.3 de Mistral AI et Llama-3.1-8b-instruct de Meta. Les résultats de ces évaluations montrent l'efficacité des modèles d'Aleph Alpha dans plusieurs langues ; ils sont par ailleurs disponibles sur Hugging Face.

La carte de la souveraineté agitée sous le nez des entreprises

Avec cette famille de modèles, Aleph Alpha fait une entrée remarquée dans le monde de l'IA générative et semble prêt à se mesurer à ses concurrents, européens comme outre-Atlantique. En parallèle de cette annonce, elle indique lancer également PhariaAI, une nouvelle solution d'IA de bout en bout, destinée aux entreprises et aux gouvernements, pour développer, déployer et distribuer une technologie d'IA générative souveraine.

Jouant la carte de la souveraineté technologique, la start-up s’adresse donc aux entreprises, mais aussi et surtout aux institutions publiques qui cherchent "à conserver leur indépendance, à sécuriser leurs données et à construire des solutions fiables", comme expliqué en novembre dernier lors de l'annonce de sa dernière levée de fonds. Elle avait notamment réussi à sécuriser 467 millions d'euros, soit un joli pactole pour une start-up européenne.