Cloudflare bloque par défaut l'accès des sites de ses clients aux crawlers d'IA générative

C'est une nouvelle qui pourrait bouleverser le modèle économique des entreprises d'intelligence artificielle (IA) générative. Mardi 1er juillet, l'hébergeur américain Cloudflare a annoncé qu'il empêcherait désormais par défaut les crawlers de sociétés comme OpenAI et Anthropic d'aspirer librement le contenu des sites qu'il héberge. Objectif : faire en sorte que ces petits robots d'indexation, qui parcourent constamment le web en quête de ressources capables d'entraîner des systèmes d'IA, ne puissent plus le faire sans autorisation.

Une initiative pour préserver Internet

"Les robots d'indexation d'IA collectent des contenus tels que des textes, des articles et des images pour générer des réponses, sans envoyer les visiteurs vers la source originale, ce qui prive les créateurs de contenu de revenus et de la satisfaction de savoir que quelqu'un consulte leur contenu, écrit l'entreprise dans un communiqué publié sur son site. Si l'incitation à créer un contenu original et de qualité disparaît, la société finit par être perdante et l'avenir d'Internet est menacé."

Par cette décision, Cloudflare se range du côté des organes de presse mécontents de voir leurs écrits digérés par des outils d'IA comme ChatGPT sans contrepartie. Certains, comme The Associated Press, The Atlantic ou Conde Nast, se sont d'ailleurs associés à la publication du communiqué de l'hébergeur. Ils espèrent que le poids de ce dernier, dont le réseau de serveurs gère environ 20% du trafic en ligne, suffira à faire évoluer les grands opérateurs d'IA sur la question de la propriété intellectuelle.

Une place de marché nommée Pay per Crawl

D'autant que Cloudflare ne se contente pas de barrer la route aux crawlers. L'entreprise a mis au point une solution baptisée Pay per Crawl, disponible seulement en beta privée pour le moment, qui permettra aux sites d'obtenir la contrepartie que certains réclament lorsqu'il s'agit de fournir des données d'entraînement à des grands modèles de langage. Concrètement, les propriétaires de sites web pourront en effet choisir de laisser les robots d'indexation parcourir leur site, en l'échange de micropaiements.

Depuis Cloudflare, un éditeur pourra ainsi fixer le tarif auquel il souhaite vendre un "crawl", c'est-à-dire une visite de son site, tandis qu'une entreprise d'IA pourra décider du tarif auquel elle souhaite l'acheter. Comme il l'explique dans une note de blog, l'hébergeur jouera les intermédiaires, facturant l'entreprise et reversant les gains à l'éditeur– aucune commission n'a été annoncée pour le moment. Ce dernier pourra par ailleurs bloquer certains crawlers et même savoir à quelles fins son site est exploré.