LightOn développe une offre d’IA générative avec HPE pour faire baisser les coûts d'infrastructure

LightOn accélère. Lancée en 2016 avec pour ambition de concevoir un coprocesseur d'IA photonique, présenté en 2020, la start-up a opéré un virage à 180 degrés lorsqu'OpenAI a dévoilé GPT-3 en 2020. La société a alors réorienté ses efforts sur le développement d’un grand modèle de langage du même genre. "Il a fallu opérer une transformation totale, passant d’une start-up de hardware à celle d’éditeur de solution d’IA purement logicielle",avait alors commenté Laurent Daudet, directeur général de LightOn. Aujourd'hui, l'entreprise semble avoir passé un cap avec sa plateforme d'IA générative Paradigm commercialisée depuis mars 2023. Elle annonce en effet se rapprocher de HPE pour lancer une offre conjointe.

"L'idée, c'est de croiser nos clients et ceux de HPE qui voudraient utiliser nos solutions mais n'auraient pas encore de serveurs adaptés. Ainsi, nos utilisateurs peuvent acquérir les serveurs HPE avec l'offre Paradigm préinstallée. Il y a aussi la réciproque qui est tout à fait possible", nous confie Laurent Daudet. Pour mémoire, Paradigm permet de gérer tout le cycle de vie des LLM en entreprise et déployer ces derniers de manière industrielle et robuste, "de façon à avoir plusieurs dizaines, voire plusieurs centaines d'utilisateurs qui font des requêtes en simultané", précise le co-fondateur de LightOn.

Des serveurs dopés aux GPU Nvidia

L'offre développée avec HPE repose sur les serveurs ProLiant DL380a Gen11 accélérés par des GPU H100 NVL 94GB avec NVLink. Avec une telle installation, les deux entreprises peuvent adresser plusieurs cas d'usage, qu'il s'agisse d'un simple chatbot, de systèmes RAG (Retrieval Augmented Generation) pour pouvoir converser avec une base de documents ou de développer des agents qui sauront réaliser des tâches plus complexes sur des données hétérogènes (tableaux de chiffres, données textuelles, etc.). L'offre reste centrée sur les grands comptes en quête de solutions on premise, précise Laurent Daudet.

"Nous nous adressons principalement aux entreprises qui sont très sensibles à ce que leurs données restent privées, soit des secteurs comme la banque, l'assurance, les données de santé et le secteur public". Une offre au coût moins élevé pour ces clients : auparavant, ces derniers devaient opter pour une licence Paradigm annuelle couplée à un investissement conséquent dans des serveurs. Désormais, l'offre commercialisée élimine ces coûts : "Vous ne faites que du leasing de ces serveurs avec l'offre Paradigm dessus. Le prix est une licence par serveur et ne dépend pas de l'utilisation". Une stratégie optimale selon Laurent Daudet pour "certaines entreprises qui seraient rebutées par l'investissement nécessaire à débourser en entrée".

Pousser à l'utilisation de modèles open source plus petits

La plateforme est aujourd'hui capable de gérer tout type de LLM, même si la société propose sa propre famille de grands modèles de langage baptisée Alfred. "Nous avons nos LLM qui sont parfaitement adaptés à nos usages, notamment pour faire du RAG. Toutefois, la plateforme Paradigm est susceptible d'accueillir n'importe quel autre LLM open source. Si les clients veulent utiliser un modèle Mistral ou un modèle Llama (Meta) ou peu importe, c'est également possible", assure Laurent Daudet.

Et à la question de savoir s'il existe une limite de taille de modèle supporté, ce dernier répond par la négative, mais n'hésite pas à prêcher pour sa paroisse : "Nous avons tendance à penser que pour les cas d'usage d'entreprise, souvent, il n'y a pas besoin d'avoir les modèles les plus gros du monde. Souvent, avec 8 milliards ou 40 milliards de paramètres, ce sont déjà des modèles qui savent répondre à une grande majorité de cas d'usage". Un point que les clients entendent facilement, d'autant plus que la question du coût de l'infrastructure est intimement liée. "Mettre en place de l'infrastructure pour faire tourner des modèles à 100 milliards de paramètres coûte très cher et cela devient finalement un facteur limitant", argumente le directeur général de LightOn.

Une offre lancée en parallèle avec Orange Business

Dans le même temps, le Français accélère sur la mise en place d'une autre offre d'IA générative annoncée en mars dernier avec Orange Business. Ce service SaaS est entièrement intégré et "prêt à l'emploi", comme le précisait Aliette Mousnier-Lompré, directrice de la filiale du groupe Orange lors de l'annonce. Cette solution s'adapte à de nombreux cas d'usage, incluant la gestion documentaire, le reporting ainsi que la génération de contenus. Le rôle de la start-up consiste à fournir le moteur de type LLM et une interface métier facile à prendre en main, aussi bien par des profils techniques que métiers.

Les trois grandes forces de cette offre : un hébergement en interne sur le cloud privé virtuel baptisé "Cloud Avenue" d'Orange Business, une interface utilisateur simplifiée reposant sur du RAG (Retrieval Augmented Generation) et une maîtrise des coûts garantie. A noter que l'offre de cloud privé est hébergée dans les datacenters d'Orange à Chartres et à Val-de-Reuil, en France. Laurent Daudet ajoute que l'offre devrait être "mise en place au cours de l'été".