Epaulée par AMD, la start-up Aleph Alpha dévoile une architecture LLM sans tokenizer

Présente au Forum Économique Mondial à Davos, la start-up allemande Aleph Alpha a annoncé une nouvelle architecture LLM sans tokenizer baptisé Pharia T-free. "Notre architecture de modèle sans tokenizer est une solution clé pour fine-tuner et créer des modèles souverains pour divers alphabets, des langues à faibles ressources et des besoins industriels très spécifiques", promet Jonas Andrulis, fondateur et PDG d'Aleph Alpha.

Ne nécessitant pas de tokenizer, ce qui étend les capacités LLM au-delà des données d'entraînement d'origine, cette architecture a notamment été mise à l'épreuve. Et le résultat est là : Par exemple, en utilisant le finnois, cette architecture d'IA peut offrir une réduction de 70% des coûts d'entraînement et de l'empreinte carbone par rapport aux alternatives proposées à date, incluant Llama 3.1 8B et Viking-7B.

AMD et Schwarz Digits, deux renforts technologiques

Pour parvenir à développer cette architecture, la start-up s'est tournée vers AMD et ses accélérateurs Instinct MI300 Series ainsi que sa pile logicielle ouverte ROCm. La capacité mémoire importante des accélérateurs Instinct intégrée à la plateforme de calcul d'IA d'Aleph Alpha "offre à la fois des avantages en termes de performances et d'efficacité, en particulier pour les langages à faibles ressources", promet l'entreprise allemande.

Aleph Alpha s'appuie également sur l'équipe AMD SiloAI d'Helsinki – fruit d'une acquisition réalisée l'été dernier -, qui a contribué à démontrer les capacités multilingues de sa nouvelle architecture modèle. Enfin, la start-up bénéficie d'un coup de pouce de la part de Schwarz Digits qui met à disposition de cette dernière son cloud souverain Stackit. Pour mémoire, il s'agit de la division IT et numérique du groupe Schwarz, le plus grand détaillant européen avec 575 000 employés, basé en Allemagne.

A terme, Aleph Alpha compte proposer son système Pharia à des gouvernements ainsi qu'à des entreprises portés sur les questions de souveraineté et en quête de haut niveau de protection des données.