ElevenLabs v4 klonar din röst på 10 sekunder och låter den tala 90 språk

ElevenLabs har lanserat Eleven v4, en text-till-tal-modell som läser upp skriven text med ett skratt, en suck eller en arg fransk accent – precis där skribenten vill ha det. Den omedelbara röstkloningen kräver en inspelning som är kortare än ett röstmeddelande, och den klonade rösten kan sedan tala dussintals språk med sin egen klang bevarad. Alla med ett kostnadsfritt ElevenLabs-konto kan använda tjänsten.

För den som skapar med ljud innebär det att hela arbetsdagar kan sparas in. En poddare kan dubba ett avsnitt till japanska med sin egen röst, en indiespelutvecklare kan ge varje mindre rollfigur ett eget sätt att tala utan att boka en studio, och en ljudboksuppläsare kan skriva in en paus eller ett fniss direkt i manuset. Baksidan är lika konkret: ett röstmeddelande, ett klipp från ett videosamtal eller några sekunder ur ett offentligt inlägg räcker nu som råmaterial för en övertygande kopia av någons röst.

Den största förändringen handlar om kontroll, och själva kloningen kräver bara tio sekunders ljud. Tidigare modeller från ElevenLabs läste upp text med god tydlighet, men fick själva gissa sig till stämningen. Version 4 tar emot scenanvisningar inskrivna inom hakparenteser, som [laughs] eller [said angrily in French accent], och även bakgrundsljud som [light rain] eller [phone buzzing]. Företaget säger att modellen också tolkar ton och tempo utifrån det omgivande sammanhanget, så att en replik i en spänd scen låter spänd även utan en anvisning. I scener med flera talare behåller rösterna sin konsekvens genom långa avsnitt – en svag punkt i syntetisk uppläsning, där rösterna tidigare tenderade att förändras under ett kapitel.

Språkstödet utökas från 70 språk i den föregående versionen till fler än 90. Enligt TechCrunch lyfter ElevenLabs särskilt fram japanska, brasiliansk portugisiska, mandarin och kantonesiska som de språk där kvaliteten har förbättrats mest. En klonad röst behåller sin identitet när den byter språk, så en spansktalandes klon låter fortfarande som samma person när den läser tysk text, med en accent som låter genuint tysk. En andra modell, v4 Turbo, är utvecklad för röstassistenter och kundtjänstmedarbetare i telefon. Den börjar tala efter omkring 150 millisekunder – ungefär lika lång tid som pausen mellan två personer som turas om i ett samtal – och kan börja prata innan chatboten bakom den har hunnit skriva klart sitt svar.

ElevenLabs är inte ensamt på marknaden. Google, OpenAI, Cartesia, Deepgram och Fish Audio säljer alla syntetiska röster till samma utvecklare. Inom några timmar efter lanseringen placerade det oberoende analysföretaget Artificial Analysis v4 högst på sin ranking för röster, där lyssnare betygsätter anonyma ljudprov sida vid sida. ElevenLabs uppger också att ungefär tre av fyra lyssnare föredrog v4 i blindtester mot konkurrenterna – en siffra som bygger på företagets egna tester.

Förbehållen börjar med just uppgiften om tio sekunder. ElevenLabs säger att kloning kräver samtycke från personen vars röst laddas upp. Företaget driver en offentlig klassificerare som kan flagga ljud skapat med dess verktyg och stoppar helt kloning av vissa politiska personer. Kontrollerna hindrar slentrianmässig missanvändning, men bygger på att den som laddar upp materialet talar sanning. En bedragare behöver bara ett kort röstprov från en anhörig för att iscensätta ett falskt nödsamtal. Gratisversionen är dessutom begränsad: omkring tio minuters genererat ljud per månad, enligt Unite.AI:s genomgång av abonnemangen, och betalversionerna börjar på 6 dollar i månaden.

Eleven v4 och v4 Turbo lanserades den 28 september i ElevenLabs app för kreatörer, företagets plattform för agenter och dess utvecklar-API. Det Londonbaserade företaget tog in 500 miljoner dollar från Sequoia i februari, då värderingen uppgick till 11 miljarder dollar. TechCrunch rapporterar att bolagets intäkter på årsbasis har passerat 600 miljoner dollar. Vd:n Mati Staniszewski sade till TechCrunch att företaget siktar på en börsnotering under de kommande åren, utan att ange något datum.

För kreatörer är en röst som skrattar på rätt ställe på 90 språk som en inspelningsstudio i en webbläsarflik. För alla andra är det ytterligare ett skäl att lägga på och ringa tillbaka när en bekant röst i telefonen ber om pengar.

Taggar: Pelé, Raphael, Baker Mayfield, ElevenLabs, AI-röst, Eleven v4