Avec son supercalculateur Lumi, le consortium EuroHPC veut relever les défis de l'IA

Il représente l'équivalent de deux courts de tennis. Imposant, le supercalculateur Lumi (Large Unified Modern Infrastructure) l'est, surtout lorsqu'on le compare à la taille de la ville où il est implanté. Située à quelques 558 kilomètres de la capitale de la Finlande, Kajaani compte aujourd'hui 941 habitants au km² pour un peu plus de 29 000 habitants au total. Fondée en 1651 sur les rives du grand lac Oulujärvi à l'abri d'une forteresse destinée à protéger les frontières orientales du royaume suédois, la ville verra son château entièrement rasé par l'armée russe en 1716.

Aux 18e et 19e siècles, Kajaani est au centre d'une région qui s'enrichit avec le commerce du goudron végétal puis la pâte à papier. Elle compte alors plusieurs usines de production de papier. La ville a toutefois souffert des crises des années 1970 à 1995 et a perdu son aura dans l'industrie papetière ainsi que ses habitants.

En juin 2019, la décision a été prise d'héberger le supercalculateur dans l'une de ces anciennes usines, reprise par le CSC (IT Center for science) et transformée en data center. Possédé à 70% par l'Etat finlandais et à 30% par des universités, le CSC se présente comme une société de mission spéciale à but non lucratif.

Un supercalculateur propulsé par un consortium de pays européens

A l'origine du projet se trouvent onze pays : la Belgique, le Danemark, l'Estonie, la Finlande, l'Islande, la Norvège, les Pays-Bas, la Pologne, la République tchèque, la Suède et la Suisse regroupés sous l'EuroHPC Joint Undertaking (EuroHPC JU) et le consortium Lumi. Ces pays ont ainsi cofinancé l'initiative à hauteur de 144,5 millions d'euros. A l'aube de la pandémie mondiale de Covid-19, en novembre 2019, les équipes en charge du projet ont donc procédé à l'approvisionnement du système, et ce jusqu'en août 2020.

En mars 2021, le centre de données a été annoncé comme opérationnel avec une ouverture progressive aux clients. Des projets pilotes ont ainsi été sélectionnés pour la première exécution de la partition CPU, prévue pour septembre 2021, avec des opérations complètes incluant la partition GPU courant 2022.

Pour réussir ce projet, le consortium a fait appel à Hewlett Packard Enterprise qui gère l'approvisionnement du centre. Après avoir remporté l'appel d'offres – un contrat à un peu plus de 160 millions de dollars – ce dernier a choisi de se tourner vers AMD et ses processeurs EPYC afin de rendre possible l'installation du supercalculateur Lumi dans le centre de données de CSC.

Des performances inégalées en Europe

Lumi est décrit comme un système "pré-exascale" avec une puissance de calcul de 380 pétaflops par seconde, ce qui équivaut aux performances de 1,5 million d'ordinateurs portables combinés. Alimenté par des HPE Cray EX dotés de processeurs EPYC de dernière génération et de GPU Instinct signés AMD, le supercalculateur offre des performances sans précédent qui l'ont amené à s'imposer comme le plus puissant en Europe et le cinquième dans le Top500.

Dans le détail, Lumi est un supercalculateur de Tier-0 accéléré par des GPU offrant la convergence du calcul haute performance, de l'intelligence artificielle et de l'analyse de données haute performance. La possibilité de combiner différentes ressources au sein d'une même exécution est possible grâce à la façon dont sont compartimentés les différents processeurs au sein de Lumi.

On compte ainsi 11 900 GPU AMD Instinct MI250X, une partition interactive avec les GPU pour l'analyse et la visualisation des données, une couche de stockage Flash de 9 PB avec une bande passante de lecture de 3 TB/s et une capacité IOPS extrême grâce au système de stockage Cray ClusterStor E1000 de HPE. Sous le capot se trouvent également un système de fichiers parallèle de 80 PB, une partition CPU supplémentaire comprenant 262 000 cœurs AMD EPYC et 30 PB de stockage objet chiffré (Ceph) pour le stockage, le partage et la mise à disposition de données.

Une échelle jamais atteinte en Europe

Avec près de 12 000 GPU MI250x, une interconnexion 4x200 Gbit/s par nœud de GPU et une pointe de 4,5 exaflops, le supercalculateur apparaît comme la solution idéale pour entraîner les modèles d'IA, incluant ceux qui comportent plusieurs centaines de milliards de paramètres, en un temps raisonnable.

"L'entraînement optimal d'un modèle de langage de 100 milliards de paramètres nécessite 1024 FLOPS", rappelle Aleksi Kallio, responsable du programme de développement de l'IA chez CSC. Preuve en est également avec son titre de troisième au benchmark HPL-AI – la mesure de vitesse utilisée pour évaluer ces systèmes qui considère la capacité des systèmes à résoudre un système dense d'équations linéaires.

Des performances adaptées aux charges de travail liées à l'IA

Aleksi Kallio affirme que sur Lumi, l'apprentissage de l'IA n'est pas limité par le stockage des données ou la bande passante. Les chiffres confirment par ailleurs cela : avec un total de plus de 120 Po de stockage, le supercalculateur est capable de servir n'importe quel ensemble de données d'entraînement.

Le chercheur estime par ailleurs que Lumi constitue l'outil idéal pour s'atteler au développement de l'IA et accélérer les découvertes scientifiques à grande échelle et les cas d'usage sont nombreux : alimenter les jumeaux numériques, soutenir la recherche sur les maladies, renforcer la physique nucléaire et des particules, faciliter la recherche en physique solaire, faciliter la recherche en mécanique quantique, etc.

Un centre de données écologique

Le chercheur tient également à rappeler un point primordial dans l'écosystème des data centers : l'énergie utilisée pour faire fonctionner ce monstre. "L'entraînement de grands modèles de langage nécessite une quantité massive de ressources informatiques, et donc de l'énergie et souvent de l'eau fraîche. Le centre de données de Lumi est l'un des plus écologiques au monde et utilise 100% d'énergie hydraulique. La chaleur résiduelle est utilisée pour chauffer des centaines de foyers chaque année dans la ville de Kajaani", conclut-il.