"La barre est plus haute pour les IA que pour les humains", Olivier Pomel, CEO de Datadog

L'Usine Digitale : Pouvez-vous faire un bref état des lieux de Datadog ?

Olivier Pomel : L'entreprise a démarré en 2010 et est passée publique en 2019. Nous sommes autour de 3,5 milliards de dollars de revenus annuels et comptons entre 6000 et 7000 employés au niveau mondial, dont un millier en France, en grande partie des ingénieurs - environ 800 -, l'ingénierie étant partagée entre l'Europe et les États-Unis.

Nous avons à peu près 30 000 clients qui vont des toutes petites entreprises jusqu'aux plus grands groupes, certaines des plus grandes banques du monde par exemple, mais aussi Canal+, la SNCF et Décathlon si l'on évoque les entreprises françaises.

Vous faites face à une évolution importante aujourd'hui, celle de la surveillance applicative classique vers l'observabilité de l'IA. Comment Datadog répond à ce défi et gère cette transformation ?

Il existe deux opportunités aujourd'hui. La première, c'est l'observabilité pour l'IA, comment est-ce qu'on adapte cela aux applications qui sont construites avec de l'IA . De ce côté-là, je dirais qu'il existe même deux sous-catégories. La première, ce sont les applications qui sont construites autour de modèles d'IA où il y a toute une nouvelle problématique d'observabilité parce que les modèles, bien qu'ils soient déjà développés et en production, restent des modèles stochastiques et imprévisibles. Une grosse partie de la validation ne se fait pas en amont, mais derrière, une fois que l'application est en production.

Nous faisons donc de l'évaluation de modèles en observabilité pour s'assurer que les modèles ne disent pas n'importe quoi, traitent les sujets qu'ils sont censés traiter et pour s'assurer de bien comprendre les évaluations de performance au fur et à mesure du temps, mais aussi à quel point les modèles facilitent ou pas les processus de business qu'ils sont censés aider. Par exemple, si un modèle est là pour que les gens achètent plus sur un site, est-ce que les gens achètent vraiment plus ou pas ?

La deuxième sous-catégorie est la question des applications qui sont construites de façon déterministe, encore en code avec des "si", des "ou", etc, mais écrites par des modèles et non plus par des ingénieurs. Plutôt que de passer six mois en conception, ils ont passé deux jours en conception, une journée à lancer des agents et puis ça part en production. Il y a une problématique très différente de validation dans le temps, de ce qui se passe une fois que l'application est en production. Nous avons des grands défis de ce côté-là. Nous-mêmes et nos clients adoptons les modèles et les agents de code très rapidement. Nous voyons de plus en plus de code arriver de plus en plus vite avec de plus en plus de besoins de validation de ce type.

Et l'autre opportunité est... ?

Il y a l'autre moitié du problème qui est l'IA pour l'observabilité, comment est-ce qu'on automatise tout ? Comment fait-on en sorte que toutes ces données et métriques que nous avons, soient traitées automatiquement pour l'utilisateur ? Pour cela aujourd'hui, nous avons sorti trois produits. Un premier est déjà commercialisé, il s'agit d'un agent qui répond aux alertes. Chaque fois qu'il en reçoit une, il va regarder, lire tout ce qu'il peut trouver non seulement sur l'alerte, mais sur les documentations qui vont avec, et il va ensuite formuler environ 150 hypothèses et toutes les tester pour savoir ce qui s'est vraiment passé, pour ensuite répondre avec des pointeurs et donner les étapes à suivre pour résoudre le problème.

Cela permet de remplacer des situations où par exemple quand il y a un problème chez un client, on réveille quelqu'un à 3 heures du matin, il y a des réunions organisées avec beaucoup de monde, du stress et cela coûte cher. L'objectif à terme, c'est, plutôt que de réveiller les gens la nuit, de leur dire le lendemain matin qu'il y a eu un problème dans la nuit, que cela a été réglé automatiquement et expliquer qu'il faudrait suivre ce qui a été fait et valider qu'il s'agit en effet du bon changement pour la suite.

Nous avons deux autres agents qui sont en preview avec nos clients en ce moment même. L'un répare le code en production, détecte les erreurs - un message d'erreur aux utilisateurs, une vulnérabilité ou une erreur dans un système de back-end - et va directement générer le code pour réparer l'erreur et proposer la réparation.

Le troisième agent, c'est un agent de sécurité qui évalue les problèmes de sécurité et qui classe ces derniers, expliquant lesquels peuvent être ignorés ou au contraire ont besoin d'être investigués. Plutôt que d'avoir à répondre à 2000 alertes par jour, les utilisateurs peuvent répondre à deux alertes qui sont jugées importantes.

En termes de sécurité, de fiabilité des données et de l'IA elle-même, comment garantissez-vous cela? Et comment communiquez-vous à ce sujet auprès de vos clients ?

Pour les produits que nous faisons nous-mêmes, l'évaluation représente 80% du travail. Quand nous construisons des agents, des modèles ou des systèmes qui font interagir les agents et des modèles, il faut d'abord comprendre comment les évaluer. Nous avons, en interne, toute une série de sets de données d'évaluation que nous utilisons, sur lesquels nous faisons tourner tous nos produits toutes les semaines pour voir quel score ils atteignent. Et c'est ainsi que nous décidons du moment où nous exposons un produit aux clients.

Avoir un système qui marche bien de temps en temps, c'est facile. Par contre, avoir un système qui marche 95%, voire 98% du temps, c'est beaucoup plus difficile. Et c'est ce qui fait la différence entre un système que je peux mettre en production ou non. Il faut noter aussi que la barre est plus haute pour les IA que pour les humains. C'est-à-dire que si nous faisons intervenir un collaborateur et qu'il a raison seulement 60% du temps, ce n'est pas forcément un problème. Si nous faisons intervenir une IA et qu'elle a raison 60% du temps, les gens vont très vite arrêter de l'utiliser parce qu'ils ne vont pas accepter de perdre leur temps à cause d'une IA, donc nous plaçons la barre beaucoup plus haute de ce côté-là.

Et quel est le seuil acceptable pour qu'une application soit publiée ?

Cela dépend des applications et des contraintes liées. Par exemple, un agent qui fait des enquêtes de sécurité doit absolument être répétable. C'est-à-dire que si je lance la même enquête deux fois, il ne faut surtout pas que l'agent me dise une fois c'est bon, une fois c'est une attaque, parce que dans ce cas-là, nous perdons complètement la confiance du client. Il peut y avoir un pourcentage d'incertitude, personne n'a toujours raison, mais il faut que ce soit stable.

Tandis qu'un agent qui enquête sur des erreurs, c'est moins important d'avoir toujours exactement le même résultat car de toute façon, personne ne va lancer la même enquête deux fois de suite car la situation aura changé au fur et à mesure du temps. Par contre là, c'est très important que l'enquête se passe très vite. Si nous répondons une demi-heure après, ça n'a plus d'intérêt. Les critères de qualité sont différents suivant les cas d'usage.

Vous ajoutez de plus en plus de modules avec l'IA, comment comptez-vous gérer la tarification ?

De façon générale, nous avons une tarification à la consommation qui est liée à la volumétrie de données ou d'infrastructure de nos clients. Nous n'avons pas le problème qu'ont la plupart des entreprises de SaaS qui ont un modèle par utilisateur.

Il n'y a pas un risque de surcharge avec une volumétrie trop importante à l'avenir ?

C'est une question de valeur. Comment les utilisateurs comprennent-ils la valeur ? Est-ce qu'ils arrivent à faire un calcul qui montre que pour chaque dollar ou chaque euro investi, cela fait trois euros d'économisés. Au final, le logiciel est toujours là, soit pour gagner plus d'argent, soit pour économiser de l'argent. Si nous n'arrivons pas à prouver ni l'un ni l'autre, c'est qu'il n'y a aucune raison pour les utilisateurs d'acheter.

L'industrie, en général, cherche toujours exactement la bonne façon de packager les agents. Il n'y a pas encore de pratiques établies et j'imagine que cela va encore pas mal changer dans les années à venir. Le fait est que nous n'avons pas cette problématique de transformation de business, nous pouvons nous permettre d'expérimenter de ce côté-là.

Vous ciblez des secteurs assez variés, voyez-vous un blocage dans l'adoption par les secteurs les plus réglementés comme la finance, le secteur public ou encore la défense ?

La finance, de façon intéressante, est l'un des secteurs les plus agressifs au niveau de l'adoption des technologies cloud d'abord et maintenant de l'IA. C'est un domaine qui bouge vite, en tout cas à l'international, principalement parce qu'il y a beaucoup de compétition avec les fintech. Beaucoup d'entreprises se modernisent, non pas par désir profond de modernisation, mais par besoins compétitifs et c'est le cas de ce secteur.

Et dans la défense et le secteur public ?

Sur la défense, c'est en général plus difficile, cela vient après. Les besoins et les financements sont élevés, mais les contraintes sur les modes de livraison sont beaucoup plus stricts. Nous commençons à nous tourner vers ces secteurs. Nous avons lancé par exemple une offre pour le gouvernement américain l'an dernier et continuons à faire monter cette offre dans les niveaux de certification plus élevés pour les agences gouvernementales, mais cela prend du temps.

Il y a un sujet qui revient en ce moment très fortement, celui de la souveraineté numérique. Comment gérez-vous les attentes des entreprises européennes sur le sujet ?

Il y a une très forte demande pour la souveraineté en ce moment qui n'est pas encore accompagnée d'une destination claire. Nous avons déjà vu cela il y a cinq ou six ans, le même type de demande qui n'avait pas débouché car il n'y a jamais vraiment eu d'alternative souveraine qui soit de si bonne qualité et/ou de rapport qualité-prix que ce que nous pouvions trouver chez des leaders mondiaux.

Et il se trouve que pour la plupart des clients, oui, c'était important d'avoir la souveraineté, mais c'était plus important encore d'avoir des solutions immédiates qui fonctionnent et qui ne soient pas trop chères. Maintenant, nous allons voir avec l'intelligence artificielle si les cartes, et le nouveau climat international, font que les choses changent. Pour moi, pour que cela marche, il faudrait une offre souveraine de qualité sensiblement équivalente à ce que nous trouvons au niveau international maintenant. Pour l'instant, c'est ce qui manque encore.

Et vous pensez qu'elle pourrait venir d'où ?

Nous allons voir. Il y a des initiatives hybrides avec des Américains qui s'associent avec des Européens. Cela peut être un modèle. Il y a aussi, j'en discutais avec Arthur [Mensch] de Mistral AI, je sais qu'il lance aussi un cloud plus focalisé sur l'IA avec une forte dimension souveraine. Nous allons voir ce qui émerge de ce côté-là. Pour ce qui est de Datadog, nous serons là où les clients sont. S'ils adoptent une solution souveraine, nous suivrons et ferons en sorte de répondre à tous leurs besoins de ce côté-là.

Il n'y a que des leaders mondiaux, pas de leaders locaux. La plupart des entreprises ne vont pas juste avoir une solution souveraine en France, elles vont avoir une partie de leurs applications dans une solution souveraine en Europe, une autre aux États-Unis, une autre peut-être en Asie. Il y aura peut-être 5, 8, 10 ou même 15 marchés séparés.

Et il va y avoir beaucoup de valeur à fournir aux entreprises pour gérer tout ce périmètre et toute la complexité qui consiste à répondre à à ces 15 zones souveraines. Nous entendons certes ce discours en France maintenant, mais il existe exactement le même au Moyen-Orient, en Asie et aux États-Unis qui se posent la question, même s'ils l'ont déjà.

Nous avons ouvert cette année un centre de données au Japon, un autre en Australie, et pour eux aussi la souveraineté, c'est une question claire et immédiate avec des besoins à court terme.

Vous avez combien de centres de données dans le monde ?

Nous en avons un peu moins de 10 maintenant.

A horizon 2 ou 3 ans, quels sont les défis que Datadog peut rencontrer ?

Il y a des gros défis en intelligence artificielle car il y a un besoin d'innovation énorme. Il y a aussi un degré d'incertitude plus élevé que sur les cinq ou six dernières années, parce que la transition est tellement rapide qu'elle est un peu incertaine. Nous voyons très bien que les choses vont se transformer, mais la destination n'est pas toujours très claire, il peut y avoir trois ou quatre alternatives sans savoir laquelle va gagner.

Nous sommes obligés d'investir dans plus de futurs hypothétiques avant de savoir lequel va vraiment se réaliser. L'autre challenge reste un défi de mise à l échelle. Comment passe-t-on de cinq marchés à 15, voire 20 marchés, ou plus ? Comment s'étend-on partout dans le monde ? Comment va-t-on servir aussi bien les entreprises que les gouvernements ?

Mais aujourd'hui, vous avez déjà une présence quasi mondiale ?

Oui, quasi mondiale. Mais il y a des endroits, par exemple en Inde, où nous n'avions personne jusqu'à jusqu'à l'année dernière. Nous sommes en train de monter à l'échelle de ce côté-là. Cette année, nous montons également des équipes aux Philippines. Et nous continuerons à investir : nous investissons environ 30% de notre revenu annuel. Ce passage à l'échelle implique également de faire grandir les équipes techniques et il faut savoir quelles régions cibler.

Par exemple l'année dernière, nous avons démarré un laboratoire d'IA. Nous avions des gens qui faisaient des sciences appliquées, des mathématiciens et cetera, mais nous n'avions pas encore de lieu de recherche dédié. La moitié de ces spécialistes est basée à New York, l'autre moitié à Paris, un peu comme le reste de l'équipe d'ingénierie d'ailleurs.

Etes-vous impacté par la décision de Trump sur les visas H-1B ?

Nous ne savons pas vraiment pour l'instant. Il y a du positif et du négatif. Le négatif c'est que le ticket d'entrée est élevé et cela a principalement un impact sur les gens que nous embauchons en début de carrière qui peuvent par ailleurs être très forts, brillants, internationaux, mais qui débutent.

C'est quelque chose qui nous est familier à mon co-fondateur et à moi-même parce que nous sommes arrivés aux États-Unis avec des visas de travail en début de carrière et nous sommes restés. Nous ne sommes pas les seuls dans ces situations, la plupart des gens que je connais qui sont étrangers et qui ont démarré des entreprises aux États-Unis sont dans une situation similaire.

Il y a un côté positif qui est que cela donne une certaine certitude : avant les visas aux États-Unis, c'était une loterie avec une chance sur cinq de gagner. Il n'était pas facile de pouvoir garantir aux gens qu'ils auraient un emploi. Il y a du pour et du contre. De façon générale, nous avons une une optique globale pour agrandir l'équipe d'ingénierie. Nous grandissons beaucoup aux Etats-Unis, mais aussi en Europe.

Il se trouve qu'en ce moment, la politique de visa en France est très favorable, nous pouvons embaucher des gens qui ont fait leurs études à l'étranger et les faire travailler en France très facilement. Cela nous permet de faire grandir le bureau. Il y a aussi une transformation sur le marché parisien qui pour moi est nouvelle, c'est qu'on peut vivre et travailler à Paris sans parler français. Il y a 15 ans, c'était impensable. Je pense que c'est aussi bien pour l'écosystème.