Llama 3.3 70B : Meta promet des performances égales à Llama 3.1 405B pour une fraction du coût

Meta est en roue libre, publiant des séries de modèles à un rythme effréné. Llama 3.1 est sorti en juillet dernier. Llama 3.2 fin septembre. Llama 3.3 la semaine dernière. "Le modèle Llama 3.3 70B offre des performances similaires à celles du modèle Llama 3.1 405B, permettant aux développeurs d'atteindre une meilleure qualité et performance pour les applications textuelles à une fraction du coût", promet la firme.

Cette ultime version du modèle open source phare de Meta a été pré-entraînée sur environ 15 000 milliards de tokens de données provenant de sources disponibles publiquement. Les données de fine-tuning incluent des datasets d'instructions disponibles publiquement, ainsi que plus de 25 millions d'exemples générés synthétiquement. Les chercheurs précisent que les données de pré-entraînement ont une date limite s'arrêtant à décembre 2023.

Les performances sont au rendez-vous

Llama 3.3 est un LLM auto-régressif basé sur une architecture de type Transformer. Pour parvenir à cette version, les chercheurs ont utilisé un fine-tuning supervisé (SFT) et un apprentissage par renforcement avec feedback humain (RLHF). Le modèle – comportant 70 milliards de paramètres et une fenêtre contextuelle de 128 000 tokens – est "optimisé pour les instructions textuelles, conçu pour les cas d'utilisation de dialogue multilingue et surpasse de nombreux modèles de ce type, open source ou non, disponibles sur les benchmarks industriels courants", assure Meta.

Des bibliothèques d'entraînement personnalisées, le cluster GPU personnalisé de Meta et l'infrastructure de production ont été utilisés pour le pré-entraînement. Le fine-tuning, l'annotation et l'évaluation ont également été effectués sur l'infrastructure de production, confirme la firme. Au total, l'entraînement a mobilisé 39,3 millions d'heures de GPU de calcul sur du matériel de type H100-80GB, précisent les chercheurs.

Et les résultats semblent à la hauteur à première vue. Sur le benchmark MMLU, il égale Llama 3.1 70B et Amazon Nova Pro, modèle multimodal lancé la semaine dernière par le géant du cloud. Sur les tests de génération de code et de mathématiques, il surpasse Llama 3.1 70B, Gemini Pro 1.5, GPT-4o ou encore Claude 3.5 Sonnet. Mais ce qui impressionne davantage, ce sont ses résultats comparés à ceux obtenus par Llama 3.1 405B : il offre des performances similaires pour un dixième du coût d'entrée et "avec une inférence rentable, réalisable localement sur des postes de travail courants de développeurs", assure Meta.

Llama 3.3 supporte 8 langues incluant l'Allemand, le Français ou encore le Thaï

La particularité du modèle réside dans sa capacité à supporter 7 langues en plus de l'anglais : Allemand, Espagnol, Français, Hindi, Italien, Portugais et Thaï. Llama 3.3 est destiné à un usage commercial et de recherche dans ces langues. Il peut servir en tant qu'assistant type chatbot ou pour diverses tâches de génération de texte. Le modèle Llama 3.3 supporte également la capacité à utiliser les sorties de ses modèles pour améliorer d'autres modèles, y compris la génération de données synthétiques et la distillation. La Licence Communautaire Llama 3.3 permet ces cas d'utilisation.

Si Llama est capable de produire du texte dans d'autres langues que celles qui répondent aux seuils de performance, Meta déconseille toutefois aux développeurs d'utiliser ce modèle pour converser dans des langues non supportées sans mettre en œuvre un fine-tuning et des contrôles systémiques de sécurité. Llama 3.3 a en effet été entraîné sur une collection plus large de langues que les 8 langues supportées citées plus tôt.