ElevenLabs lève 80 millions de dollars pour son IA vocale

Elle n'a pas encore fêté ses deux ans et vient pourtant déjà de rejoindre le cercle des licornes. La start-up américaine ElevenLabs a levé 80 millions de dollars lors d'un tour de table en série B. Fondée par Mati Staniszewski, ancien de Palantir, et Piotr Dabkowski, ex ingénieur logiciel chez Google, elle a passé sa première année à développer des modèles d'IA audio capables de créer les voix les plus polyvalentes et les plus adaptées au contexte. 

Cette nouvelle opération a été co-dirigée par Andreessen Horowitz, Nat Friedman (ancien CEO de GitHub) et Daniel Gross (fondateur de Pioneer). Elle a également attiré d'autres investisseurs, tels que Sequoia Capital, Smash Capital, SV Angel, BroadLight Capital ainsi que Credo Ventures. En juin dernier, déjà, la jeune pousse a levé 19 millions de dollars avec pour objectif de poursuivre ses recherches sur l'IA vocale et le déploiement de ses produits.

Une série de produits viennent étoffer le portefeuille

En complément de sa levée de fonds, la jeune pousse a dévoilé une série de produits, dont le studio de doublage, la bibliothèque vocale, une application de lecture mobile en preview et des modèles avec une vitesse et une couverture linguistique accrues. Tous doivent être mis en ligne au cours des prochaines semaines. Le premier d'entre eux, son workflow Dubbing Studio propose aux utilisateurs de doubler des films entiers, ainsi que de générer et d'éditer leurs transcriptions, traductions et timecodes, offrant davantage de contrôle sur la production de contenu.

Une marketplace d'accès à une bibliothèque vocale voit également le jour. ElevenLabs veut proposer aux utilisateurs une plateforme sécurisée pour que ces derniers puissent gagner de l'argent grâce à des versions IA de leurs propres voix. Le principe est le suivant : les utilisateurs créent leur réplique professionnelle de voix d'IA, la vérifient et la partagent via la bibliothèque de voix. Lorsque d'autres personnes utilisent ces voix vérifiées, les créateurs originaux reçoivent une rémunération. Les utilisateurs gardent toujours le contrôle de la disponibilité de leur voix et des conditions de rémunération. La marketplace génère déjà des revenus pour un petit groupe d'utilisateurs alpha, assure la start-up.

En complément, ElevenLabs lance en early-preview un lecteur d'applications mobiles qui permet la conversion instantanée de textes et d'URL en audio. Dans le cadre d'un essai préliminaire, l'application sera disponible gratuitement pendant les trois premiers mois et les utilisateurs pourront s'inscrire sur une liste d'attente pour bénéficier d'un accès anticipé.

Une percée dans de nombreux domaines

ElevenLabs élargit continuellement sa palette d'outils pour toucher un plus grand nombre d'utilisateurs. Parmi les produits lancés par le passé, citons Speech Synthesis pour une conversion texte-parole réaliste, avec un modèle Turbo optimisé pour la latence ; Voice Design et Voice Cloning pour la création de voix personnalisées ; Speech to Speech pour la transformation d'une voix en une autre. L'entreprise a également lancé son outil de doublage AI, capable de traduire automatiquement des fichiers audio et vidéo en 29 langues tout en préservant la voix et les émotions de l'orateur d'origine.

L'entreprise étendra bientôt les modèles Turbo et Speech to Speech, actuellement disponibles en anglais, à un plus grand nombre de langues. Elle a également étendu sa présence dans plusieurs secteurs, notamment l'édition, les jeux, les médias et ce qu'elle nomme "les verticales conversationnelles". Parmi les partenariats noués, notons The Washington Post, Rheinische Post, FlowGPT, SimpleTalk AI, VoiceDrop, Vana, Infinitus AI, Wondershare Filmora, Futuri Media, TheSoul Publishing ou encore Paradox Interactive.

41 % des entreprises du Fortune 500 parmi les utilisateurs

Depuis son lancement public, ElevenLabs affirme que ses utilisateurs ont généré plus de 100 ans d'enregistrements audio, tandis que l'entreprise est passée de 5 à 40 employés. Aujourd'hui, elle assure que sa technologie est utilisée par les employés de 41% des entreprises du Fortune 500 (le classement des 500 premières entreprises américaines selon leur chiffre d'affaires). 

"Nous développons une technologie de pointe pour rendre le contenu accessible dans toutes les langues - et toutes les voix - afin de permettre à chacun de se connecter aux informations et aux histoires qui comptent. Les progrès que nous avons accomplis jusqu'à présent témoignent de l'engagement de notre équipe et de nos investisseurs", a déclaré Mati Staniszewski, CEO d'ElevenLabs.

Des capitaux investis dans la R&D et la sécurité

Avec cette série B, ElevenLabs entend renforcer sa position dans la recherche sur l'IA vocale et le déploiement de produits. "Les capitaux seront consacrés à l'avancement de la recherche, à l'expansion de l'infrastructure, au développement de produits pour des marchés verticaux spécifiques et à l'amélioration des mesures de sécurité afin de garantir un développement responsable et éthique de la technologie de l'IA", a-t-elle indiqué. La sécurité est en effet un axe majeur pour cette start-up d'IA ; cette dernière indique mettre l'accent sur la détection pour s'assurer que tout le contenu généré par l'IA est clairement identifiable.

L'année dernière, l'entreprise a lancé un classificateur de discours d'IA, un outil capable de vérifier si un échantillon audio contient du contenu généré par ElevenLabs. Cette année, la start-up compte poursuivre ses efforts en la matière et améliorer les capacités du classificateur afin de couvrir davantage de modèles d'IA vocale.