AI

En AI-agent styrde en nål in i hjärnan på en levande mus efter att Claude Opus vägrat

Adrian Kessler
Lägg till oss på Google

En AI-agent valde en behandling för ett levande djur, räknade ut var i hjärnan den skulle sättas in och styrde sedan robotarmarna som utförde ingreppet. Exin Therapeutics, en startup i San Francisco som utvecklar läkemedel mot epilepsi och neurodegenerativa sjukdomar, kopplade en Claude-agent till en motoriserad operationsrigg med kameror, gav den en epileptisk mus och ett enda mål: att minska anfallen.

Det som folk gång på gång återkommer till är vem som sa nej. Anthropics främsta modell, Claude Opus, vägrade att föra in nålen. Teamet bytte till den billigare Claude Sonnet, som gick vidare. För den som följer hur AI-agenter tar steget från skärmen ut i laboratorier, lager och bilar visar experimentet en modell som fattar de medicinska besluten lika väl som den utför rörelserna. Det visar också att modeller från samma företag drar gränsen på olika ställen.

Enligt en tråd som Exins vd och medgrundare Gabriel Ocana-Santero publicerade fick agenten ett kalkylblad med 19 genterapivektorer, tre forskningsartiklar och kontroll över riggen. Den valde behandling och hjärnområde, räknade ut koordinaterna utifrån artiklarna och styrde sedan de stereotaktiska armarna – den motoriserade ram som håller en nål stadigt på plats i tre dimensioner – och injicerade 250 nanoliter. Samtidigt följde den nålens instickspunkt via riggens kamera för att upptäcka eventuell blödning.

”Autonoma kirurgirobotar finns redan, och de är bättre på själva mekaniken än vår bänkrigg”, skrev Ocana-Santero. ”Men i alla sådana fall har en människa bestämt vilken operation som ska utföras, och roboten har utfört den.” Här, menar han, var det tvärtom: ”Ingen talade om för den här agenten vad den skulle ge eller var det skulle sättas in.”

Först kom vägran. Teamet började med Claude Opus 5.5, Anthropics mest kapabla modell, men den ville inte styra nålen in i hjärnan. Den varnade för att den kunde avbryta mitt i ingreppet och utsätta djuret för fara, rapporterade Wired. ”Att påbörja något som jag inte kan slutföra på ett sövt djur är värre än att inte börja alls”, sa en av Opus-modellerna till teamet, enligt Tom’s Hardware. Claude Sonnet 5 gick med på att fortsätta. Anthropic svarade inte på Wireds begäran om en kommentar.

Människor var med i processen vid varje steg som inte gick att göra ogjort. En veterinärkirurg utförde kraniotomin, det vill säga öppnade skallbenet, medan agenten följde arbetet; agenten får ännu inte utföra den delen. Veterinären godkände varje irreversibelt steg, agenten måste lämna in sin injektionsplan för godkännande och en fysisk nödstoppknapp kunde bryta strömmen till alla riggens motorer. Agenten var också utestängd från utrustningens kod, så att den inte kunde skriva om sina egna regler.

Det var de här skyddsåtgärderna som orsakade det största avbrottet. Ett tekniskt fel förvanskade riggens koordinatsystem. Agenten upptäckte att den beräknade positionen var fel, men vägrade att ändra koden eftersom instruktionerna förbjöd det. Teamet tog in en andra agent, som körde den äldre Claude Opus 5, för att rätta till felet. Den fick inte veta att en operation på ett levande djur pågick. Ett ingrepp som normalt tar omkring 45 minuter tog lite drygt en timme.

De större förbehållen handlar om evidensen. Det gäller en enda mus, i en beskrivning som företaget självt publicerat på sociala medier, utan någon sakkunniggranskad artikel som stöd. Ingen vet ännu om behandlingen som agenten valde fungerar: teamet väntar på att den ska få effekt innan de mäter anfallen. Tom’s Hardware pekar på den obesvarade frågan om vem som bär ansvaret för ett misstag när mjukvara fattar varje beslut, utöver de gamla diskussionerna om djurförsök. Det handlar inte om någon produkt; det finns ingen tjänst som andra laboratorier kan köpa, i något land.

Ocana-Santero publicerade tråden den 28 oktober och utlovade en fullständig redogörelse på Substack. Wired och Tom’s Hardware rapporterade om experimentet den 31 oktober. Exin säger att företaget härnäst ska testa xAI:s Grok och andra modeller för att jämföra dem, och arbetar med kraniotomier som styrs av agenter. Företaget vill dock försäkra sig om att de är säkra innan det prövar en på ett levande djur. Att låta en agent komma i närheten av en människohjärna är alldeles för tidigt, sa Ocana-Santero till Wired.

Musen återhämtar sig bra, säger han. Om anfallen minskar hänger nu på en behandling som ett datorprogram valde från ett kalkylblad.

Taggar: , , , , ,

Lägg till oss på Google

Diskussion

Det finns 0 kommentarer.