Googles vd har slutat räkna. När Sundar Pichai fick frågan om hur stor del av företagets kod som numera skrivs av AI svarade han att frågan inte längre är meningsfull, eftersom AI påverkar alltihop. I samma samtal tonade han ned det som stora delar av branschen bävar inför: AI som bygger bättre versioner av sig själv utan människor med i processen.

Båda påståendena kan mycket väl stämma. Problemet är vem som kontrollerar dem. Den siffra Pichai lade åt sidan var det enda mått som utomstående kunde jämföra med andra företag. Det som ersätter den, liksom underlaget för hans lugnare syn på självförbättrande AI, bygger på Googles egna mätningar av Google.

Vad Sundar Pichai sade om AI och Googles kod

Pichai intervjuades av Alex Kantrowitz i Big Technology Podcast, som spelades in vid Googles huvudkontor i Mountain View och även publicerades av Kantrowitz som en skriftlig frågestund. När Kantrowitz tog upp det tidigare påståendet att en fjärdedel av Googles kod kom från AI och frågade hur siffran ser ut i dag kallade Pichai den ”meningslös”, eftersom alla delar av koden som Google numera arbetar med ”på djupet påverkas av AI”.

I stället presenterade han siffror för Gemini 4 Argon, Googles senaste modell, som företaget har låtit sina egna ingenjörer använda. Under de fyra veckorna efter lanseringen såg Google en ökning med 30 procent av CL:er, företagets interna beteckning för kodinlämningar, och en minskning med en tredjedel av återställningarna – ändringar som måste ångras efter att de har lanserats. ”Vi följer utvecklingen med nyare mätvärden nu”, sade han.

Det gamla måttet försvann inte av sig självt. I ett blogginlägg i april angav Google att AI stod för 75 procent av den nya koden, jämfört med 25 procent 2024 och 50 procent hösten dessförinnan, enligt Semafor och ETV Bharat. Semafor noterade då att vissa av påståendena var näst intill omöjliga att faktagranska och jämförde dem med Snap, där andelen var 65 procent, och Meta, som siktade på liknande nivåer.

Varför Pichai säger att självförbättrande AI fortfarande ligger långt fram

Om rekursiv självförbättring, eller RSI, beskrev Pichai sitt svar som ett förtydligande av vad hans medgrundare menat. Sergey Brin hade kallat RSI en viktig del av Argon, sade han, men ”vi är fortfarande långt ifrån RSI:s slutstadium”. Därefter beskrev han var Google faktiskt befinner sig: ”Det rätta sättet att beskriva det är att det finns RSI-loopar tillsammans med AI-forskare inom olika delar av modellutvecklingen. Jag skulle säga att man nästan har agenter som på något automatiserat sätt hjälper AI-forskare att samarbeta kring att bygga modellerna.”

Brin hade gått längre några dagar tidigare. Vid ett rundabordssamtal om Argon som Google delade sade han att företaget ”börjar komma in på den där RSI-löpbandet” och att ”våra forskare och modellen nu arbetar hand i hand för att ta fram nästa version av modellen”, rapporterade Business Insider. En rapport från Gladstone AI som publicerades den här månaden uppgav att de flesta forskare som intervjuats vid Anthropic, OpenAI och Google DeepMind väntar sig att RSI börjar inom tre till tolv månader.

Googles säkerhetsrapport ger Pichai stöd – utifrån Googles egna tester

På papperet talar resultaten för Pichai. Google DeepMinds säkerhetsrapport för Argon slår fast att det inte finns någon ”betydande acceleration från början till slut av AI-forskning och utveckling, vare sig driven av AI eller på annat sätt” och bedömer risken som ”för närvarande låg”, rapporterade TNW. Enligt rapporten ”skriver AI-agenter merparten av produktionskoden och buggfixarna, men kodändringar granskas fortfarande av människor innan de skickas in”. Andelen helt delegerade pull requests ökade från 7,5 procent i april till 11,9 procent i september; omkring 88 procent kräver fortfarande återkommande vägledning från människor eller kod skriven av en person.

Resultaten bygger på Googles egna verktyg. Tröskeln för när AI automatiserar AI-forskning bedöms utifrån ett internt riktmärke med 74 uppgifter som ingen utanför företaget kan köra. En analys som publicerats på LessWrong pekar på en formulering i själva rapporten: av de ursprungliga uppgifter som Google granskade ”innehöll ungefär en fjärdedel buggar som hindrar alla inlämningar från att godkännas”. Eftersom många körningar nådde tidsgränsen anger rapporten ingen exakt uppskattning för Argon, som klarade ungefär hälften av de körningar som slutfördes. Google säger att slutsatsen står fast även om varje ofullständig körning skulle ha lyckats.

Mänsklig granskning är den kontrollpunkt som säkerhetsargumentet vilar på. Trettio procent fler kodinlämningar innebär trettio procent fler ändringar för dem som sköter den kontrollen, och de mått Pichai valde att lyfta fram räknar produktion och återställningar – inte hur noggrant varje ändring har granskats.

Pichais egen lösning: oberoende granskare

Pichai avfärdade inte oron. Forskningen om AI-anpassning har fortfarande ”tydliga luckor”, sade han, och ”det är rimligt att vara orolig”. Nästa steg är enligt honom branschgemensamma standarder, ”inklusive möjligheten att utvärdera med hjälp av oberoende granskare”, utformade efter redovisningsstandarder och externa revisorer, samt reglering som ”kommer att spela en roll”.

Med den måttstocken är båda veckans påståenden fortfarande ogranskade. Google räknar sina egna ändringslistor, bedömer sina egna återställningar och poängsätter sitt eget forskningsriktmärke.

Procentsiffran som han kallade meningslös var grov, men vem som helst kunde jämföra den med Snaps. De siffror som ersätter den går bara att läsa utifrån Googles perspektiv.

Taggar: Google, Gemini, Sundar Pichai, AI-programmering, Sergey Brin