Transformer² : Sakana AI ouvre la voie aux LLM auto-adaptatifs

Fasciné par le concept d'adaptation, Sakana AI a voulu transposer cela dans le domaine de l'intelligence artificielle. "Imaginez un système de machine learning capable d'ajuster dynamiquement ses propres poids pour s'épanouir dans des contextes inconnus" et donc d'évoluer au fur et à mesure de son entraînement. La start-up japonaise met ainsi cette vision de l'IA auto-adaptative au cœur de son dernier article de recherche : Transformer² (prononcé "Transformer au carré").

Pour rappel, Sakana a été fondée par d'anciens chercheurs de Google qui avaient coécrits l'article séminal sur les Transformers. C'est la technologie qui a permis la vague d'IA générative actuelle (le 'T' de "GPT").

Un système auto-adaptatif

Deux étapes sont nécessaires au processus d'apprentissage adaptatif de Transformer². D'abord, le système analyse la tâche entrante pour en comprendre les exigences, puis il applique des adaptations spécifiques à la tâche pour produire des résultats optimaux. "Pendant l'entraînement, nous introduisons une méthode appelée Singular Value Finetuning (SVF), qui utilise l'apprentissage par renforcement (RL) pour renforcer ou atténuer les signaux des différentes composantes pour divers types de tâches, détaillent les chercheurs.

Pendant l'inférence, nous utilisons trois stratégies distinctes pour identifier la tâche et adapter les poids du modèle en conséquence. Les trois méthodes sont les suivantes : une adaptation basée sur le prompt, une basée sur un classificateur, et enfin, une adaptation par apprentissage en quelques exemples.

Des performances intéressantes en mathématiques, codage et raisonnement

Transformer² montre des avancées significatives dans divers domaines (mathématiques, codage, raisonnement et compréhension visuelle), surpassant les approches traditionnelles et statiques comme LoRA (low-rank adaptation) en termes d'efficacité et de performance, tout en nécessitant beaucoup moins de paramètres.

Les chercheurs de Sakana AI ont appliqué leurs méthodes à des modèles Llama3-8B-Instruct, Llama3-70B-Instruct et Mistral-7B-Instructu-V0.3 pour une large gamme de tâches, notamment les mathématiques (GSM8K, MATH), le codage (MBPP-Pro, HumanEval), le raisonnement (ARC-Easy, ARC-Challenge) et les questions visuelles (TextVQA, OKVQA). Le résultat est là : Transformer² surpasse les approches classiques comme LoRA tout en introduisant de nouvelles capacités d’adaptation, grâce à l'application des trois stratégies citées précédemment.

Ce type d'approche est une parmi d'autres qui pourrait aider les développeurs à personnaliser les LLM pour des tâches spécifiques au moment de l'inférence sans avoir besoin de les réentraîner ou de les fine-tune. "Je pense qu'à l'avenir, la frontière entre "pré-entraînement" et "post-entraînement" disparaîtra et que nos modèles et agents s'adapteront et s'amélioreront continuellement, estime David Ha, co-fondateur et CEO de Sakana AI.