Teknik

Anthropic slår på sina skyddsregler mot AI som förbättrar sig själv

Adrian Kessler
Lägg till oss på Google

Anthropic har formellt kommit fram till att artificiell intelligens nu påskyndar sin egen forskning så mycket att bolaget passerar en gräns som det självt har satt. I sitt ändrade prospekt inför börsintroduktionen skriver företaget bakom Claude att det har nått den nivå för AI-forsknings- och utvecklingsförmåga som anges i bolagets Responsible Scaling Policy – de interna regler som avgör hur mycket säkerhet och tillsyn modellerna behöver. I policyn beskrivs gränsen som början på rekursiv självförbättring: den punkt där AI-system börjar påskynda arbetet med att bygga bättre AI.

Det ovanliga med bedömningen är vad den inte bygger på. Anthropic skriver att slutsatsen dragits ”utifrån vad vi förväntar oss av framtida modeller och vår samlade utvecklingstakt, snarare än vad vi har sett hos dagens modeller”. Ingen Claude-modell som säljs i dag har visats passera gränsen. Bolaget agerar utifrån sin egen prognos och berättar det för investerarna innan aktien börjar handlas.

Underlaget som bolaget hänvisar till är internt. I prospektet står det att Claude stod för mer än 90 procent av bidragen till Anthropics kodbas under en enskild månad nyligen, och att mängden kod som varje ingenjör bidrar med per dag har ökat mer än 45 gånger. Anthropic tillägger att modellerna ”skriver en stor och växande andel av vår kod och i allt högre grad utför vår forskning, däribland säkerhetsforskning”.

Policyn anger två sätt att passera den här gränsen. Det ena är en modell som till en konkurrenskraftig kostnad helt kan ersätta Anthropics samlade personal av forskare och ingenjörer. Det andra är en ”dramatisk acceleration” av AI-utvecklingen, vilket policyn definierar som ungefär två års framsteg på ett år, något som rimligen skulle kunna drivas av automatiserad forskning. Eftersom det andra kriteriet uppfylls om bolaget kan ”se eller förvänta sig” ett sådant språng räcker det med en prognos för att utlösa det.

Att passera gränsen innebär att Anthropic åtar sig ett mer omfattande skyddspaket. Policyn kräver ”moonshot”-projekt för att stärka säkerheten mot världens bäst resursstarka angripare, liksom ett läge där ”allt övervakas”: varje kritisk aktivitet inom AI-utvecklingen ska loggas och analyseras av AI för att upptäcka hot, även från interna aktörer, människor såväl som maskiner. Bolagets interna red team måste också hitta fler sätt att jailbreaka systemen än alla externa forskare i bolagets bug bounty-program gör tillsammans. I prospektet står det att företaget redan har skjutit upp förträningen av en ny frontlinjemodell med mer än en månad för att stärka skyddet mot stöld av modellvikterna. Anthropic överväger också regler som kräver mänskligt godkännande av vissa forskningsbeslut i takt med att Claude utför en större del av arbetet.

För dem som använder Claude i jobbet eller Claude Code kan den praktiska följden bli långsammare lanseringar. I grundarnas brev, som publicerades tillsammans med börsintroduktionsmaterialet, står det att Anthropic ibland kan välja ”att gå långsammare fram än vi skulle kunna för att göra våra system säkrare, även om det försätter oss i ett konkurrensmässigt underläge”. Inget förändras i apparna i dag.

Bedömningen är en självutvärdering enligt en frivillig policy som Anthropic har tagit fram och kan ändra, och ingen extern revisor har bekräftat den. I policyn medges att gränsen ”har visat sig svår att omsätta i praktiken”, och i prospektet står det att mycket av underlaget bygger på eftersläpande indikatorer. En verklig acceleration kanske därför upptäcks först efter att den har inträffat. Riskupplysningar i ett prospekt är dessutom skrivna för att skydda ett bolag mot framtida stämningar, och i en tidigare version av samma dokument stod det, som Gizmodo rapporterade, bara att Anthropic ”snart kan komma att uppfylla” kriterierna.

Anthropic uppger att bolaget fortfarande granskar de underliggande uppgifterna och kommer att publicera fler rapporter om vad det innebär att nå gränsen. Aktien väntas prissättas den 18 november och börja handlas på Nasdaq under kortnamnet ANT den 19 november, med ett föreslaget prisintervall på 70–78 dollar per aktie. Än så länge är Anthropics egen prognos det enda belägget för att gränsen har passerats.

Taggar: , , , , ,

Lägg till oss på Google

Diskussion

Det finns 0 kommentarer.