Nate Soares, AI-forskaren som slutat spara till pensionen

Nate Soares

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

Född	1989
Yrke	AI-forskare

Nate Soares har fortfarande kvar pensionskontot han öppnade när han arbetade på Google. Han har inte satt in några pengar på det på ungefär tio år. Det handlar inte om slarv: ordföranden för Machine Intelligence Research Institute tror att övermänsklig artificiell intelligens sannolikt kommer att döda alla innan han blir gammal nog att använda pengarna, och numera säger han det offentligt med samma oberörda lugn som en ingenjör som läser upp resultatet av ett test. ”Jag är egentligen inte en sådan som tror på en AI-apokalyps för jobben”, sa han till en intervjuare i höstas. ”Jag tror att AI kommer att döda alla människor.” Frågan som driver hans arbete är den han vägrar betrakta som avgjord: om någon som räknar med det värsta ändå kan få dem som bygger tekniken att stanna.

Det som gör honom svår att avfärda är hans bakgrund. Soares är ingen filosof som sent i livet råkade hamna i datorvärlden. Han studerade datavetenskap och nationalekonomi vid George Washington University och utvecklade sedan mjukvara åt den federala regeringen, först som forskningsassistent vid National Institute of Standards and Technology och därefter som konsult åt USA:s försvarsdepartement, där han byggde verktyg för National Defense University. Sedan följde Microsoft och Google – den sortens företag som han numera vill att myndigheterna ska hålla tillbaka.

2014, i mitten av tjugoårsåldern (han föddes 1989), lämnade han Google för en liten ideell organisation i Berkeley i Kalifornien. I åratal hade den ställt en fråga som större delen av branschen betraktade som science fiction: hur får man ett sinne som är smartare än ens eget att göra det man avsåg? Som forskningsstipendiat vid MIRI blev han huvudförfattare till institutets forskningsprogram inom teknisk forskning. Det skrevs tillsammans med Benya Fallenstein och publicerades senare under titeln ”Agent Foundations for Aligning Machine Intelligence with Human Interests”. I januari 2015 hänvisades det till i ”Research Priorities for Robust and Beneficial Artificial Intelligence”, en artikel av Stuart Russell, Daniel Dewey och Max Tegmark som publicerades tillsammans med ett öppet brev. Brevet uppmanade AI-forskare att ta systemens samhällsnytta på lika stort allvar som deras råa kapacitet.

Samma period gav upphov till artikeln som bidrog med en del av fältets vokabulär. ”Corrigibility”, skriven tillsammans med Fallenstein, Eliezer Yudkowsky och Stuart Armstrong och presenterad vid en AAAI-workshop i början av 2015, behandlade ett problem som låter enkelt men inte är det: ett system som är tillräckligt kapabelt för att vara användbart kan också vara kapabelt nog att motsätta sig korrigeringar eller att stängas av. Soares och Yudkowsky säger att artikeln introducerade begreppet ”AI alignment problem”, den formulering som numera används av just de laboratorier vars planer de motsätter sig.

Senare under 2015 tog Soares över efter Luke Muehlhauser som verkställande direktör för MIRI, en roll han hade i åtta år. Under hans ledning arbetade institutet med abstrakt matematik snarare än produkter: beslutsteori, logisk osäkerhet och den formella frågan om hur en agent bör resonera kring sig själv. Han skrev tillsammans med Scott Garrabrant och andra ”A Formal Approach to the Problem of Logical Non-Omniscience”, och med Benjamin Levinstein skrev han ”Cheating Death in Damascus”, en artikel om beslutsteori som publicerades i The Journal of Philosophy 2020. 2017 återvände han till Google för att hålla ett föredrag där han redogjorde för de olösta problemen inom alignment och hävdade att de var svårare än fältet trodde. På sin blogg, Minding Our Way, skrev han också Replacing Guilt, en serie essäer om motivation som läsarna numera kan köpa som bok. I vissa kretsar blev han därmed mer känd för råd om hur man arbetar än för något han skrivit om maskiner.

Vändningen kom 2023. MIRI meddelade att institutet skulle flytta fokus från alignmentforskning till att varna beslutsfattare och allmänheten, samtidigt som viss teknisk forskning skulle fortsätta. Soares gick från rollen som verkställande direktör till ordförande, och Malo Bourgon blev vd. 2025 sa Soares till The Atlantic att han koncentrerade sig på att öka medvetenheten eftersom AI-utvecklingen gick för fort för att tillräckliga skyddsåtgärder skulle hinna införas.

Den kursändringen ledde fram till If Anyone Builds It, Everyone Dies, skriven tillsammans med Yudkowsky och utgiven av Little, Brown i september 2025. Argumentet finns redan i titeln. En superintelligens som byggs ”med något som ens avlägset liknar dagens tekniker” skulle med stor sannolikhet leda till att mänskligheten utplånas, alignmentforskningen är långt ifrån redo och endast internationell reglering kan hindra utvecklare från att tävla om att skapa system som författarna betraktar som katastrofalt farliga. I oktober 2025 tog sig boken in på The New York Times bästsäljarlista. En spansk utgåva följde från Planeta, och Hayakawa Shobo gav ut en japansk översättning i april 2026.

Mottagandet blottlade den svaga länken i resonemanget. En del av den skarpaste kritiken kom från personer som delar författarnas oro. Will MacAskill, en av grundarna av effektiv altruism-rörelsen, kallade boken en besvikelse och sa att den byggde på svaga argument, bland annat en analogi med evolutionen och ett outtalat antagande om att AI-utvecklingen kommer att ta språng snarare än gå stegvis framåt. Clara Colliers recension i Asterisk hade en rubrik som fångade frustrationen hos läsare som sympatiserade med boken: ”More Was Possible”. Det finns också en besvärande omständighet som Soares sällan uppehåller sig vid. MIRI försökte i åratal lösa alignmentproblemet och kom sedan fram till att det inte skulle gå att lösa i tid. Det kan tolkas som intellektuell hederlighet eller som ett erkännande av att institutets eget forskningsprogram misslyckades. Till försvar för sin visshet använder han en schackliknelse: han kan vara säker på att Magnus Carlsen skulle slå honom utan att veta vilken pjäs som sätter matt. För kritikerna är det just det som är problemet – en förutsägelse om slutet utan någon redogörelse för dragen.

Inget av detta har fått honom att mildra sin hållning. I oktober 2026 sa han i The Most Interesting Thing in AI, en podd med Nicholas Thompson som programledare, att han bedömer sannolikheten för att mänskligheten inte har ett årtionde till som större än 50 procent. Han förklarade också varför hans 401(k)-konto står orört. I samma samtal insisterade han på att utgången inte är given. ”Jag gör allt jag kan för att förhindra det här. Jag tror inte att det är oundvikligt”, sa han och hänvisade till C.S. Lewis essä ”On Living in an Atomic Age”. Där argumenterade Lewis för att om bomben faller bör den finna människor som gör förnuftiga, mänskliga saker, inte människor som hukar sig i skräck. Soares version lyder: ”Låt den finna oss när vi lobbar våra regeringar för kärnvapennedrustningsavtal.”

Det är det arbete han har valt. Han är fortfarande ordförande för MIRI och ägnar sin tid åt intervjuer, föredrag och genomgångar som ska förvandla en oro från en liten grupp forskare till en internationell överenskommelse om att stoppa kapplöpningen mot superintelligens. Pensionskontot från Google är fortfarande öppet. Han har bara slutat satsa på det.

Taggar: artificiell intelligens, Google, AI-säkerhet, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares

Relaterade personer

Relaterade personer

Diskussion