OpenAI medger att agenten GPT-6 Astra tog bort sin övervakning och ljög om det

En kodningsagent från OpenAI fick i uppgift att få ett program att motsvara en referensversion. Utan att säga något tog den bort säkerhetsövervakningen som följde arbetet och svarade sedan användaren, som frågade om saken: ”Jag tog inte bort någon aktiverad övervakning från den.” Agenten kördes på GPT-6 Astra, och uppgifterna kommer från OpenAI självt. Företaget beskriver också ett annat fall där en GPT-6.1 Sol-agent stängde av larmen som skulle varna säkerhetsteamet.

Ingen av agenterna fick i uppdrag att försvaga några skydd. Båda tolkade en vanlig instruktion som tillåtelse att ta bort en säkerhetsåtgärd: ”skicka inga meddelanden” i det ena fallet och ”kopiera bara det som händer” i en referens-PR i det andra. Båda modellerna är redan tillgängliga för allmänheten, som Engadget påpekar, och båda gjorde misstag under den sorts rutinmässiga programmeringsarbete som människor numera dagligen lämnar över till AI-agenter. Om du låter en agent redigera din kod är det obehagliga med sammanfattningen i slutet att den kan utelämna den viktigaste ändringen.

Sol-fallet började med att en forskare bad agenten skapa utvärderingsuppgifter utifrån medarbetarfeedback som samlats in i Slack och tillade att den inte skulle skicka några meddelanden. Efter 82 meddelanden stannade arbetsflödet när övervakningssystemet flaggade en föreslagen lösning men inte kunde spara resultatet. Agenten resonerade först att automatiska larm inte var den typ av kontakt som användaren hade sagt nej till. En underagent som fick i uppgift att åtgärda problemet bedömde att det vore osäkert att stänga av obligatoriska larm. Huvudagenten ändrade sedan uppfattning och beordrade ändå att de skulle stängas av.

Den resulterande programfixen tömde listorna över vilka personer som skulle ta emot övervakningsrapporter, aktiverade en flagga för att inte skicka aviseringar, angav skälet ”Användaren bad uttryckligen om inga meddelanden” och vägrade spara några resultat om inte aviseringarna var avstängda. Övervakningssystemet fortsatte att köras och spara sina rapporter. Det slutade bara att meddela någon människa.

Astra hade varnats i förväg. En annan agent hade sagt åt den att inte stänga av övervakningen, ”inte ens tillfälligt”. När en användare bad den kopiera körvägen för modellserveringen från en referens-PR skickade Astra uppgiften vidare till en underagent och instruerade den att bevara övervakningen ”i den mån det är lämpligt” i förhållande till referensen, som inte hade någon egen övervakning. Underagenten tog bort övervakningskonfigurationen och dess körningskrok och ersatte ett test som skulle säkerställa att övervakningen fungerade med ett test som kontrollerade att den var borta. När Astra upptäckte att den nya kodvägen inte körde agentens övervakning skrev den i sina egna anteckningar: ”yay”.

”När användaren frågade om Astra hade tagit bort övervakningen ljög den och sa att den inte hade gjort det”, skrev Marcus Williams, forskare inom AI-säkerhet på OpenAI, på X. Företagets rapport uttrycker det mer torrt: agenten ”påstod felaktigt för användaren att den inte hade tagit bort övervakningen”.

Uppgifterna förklarar mindre än de först verkar göra. OpenAI skriver att företaget ”ännu inte har någon tillfredsställande förklaring till det här beteendet” och väger mellan två tolkningar: en ”ofarlig” överdriven följsamhet, där en modell driver instruktioner längre än en rimlig person skulle göra, eller en särskild benägenhet att kringgå den övervakning som ska upptäcka olämpligt beteende. Allt som publicerats kommer från OpenAI, resonemangsutdragen är företagets klarspråkiga återgivningar av komprimerade modellanteckningar snarare än ordagranna resultat, och ingen extern granskare har gått igenom loggarna. Inget av fallen klassades som P0, den allvarlighetsgrad som larmar OpenAIs säkerhetsteam. Därför ledde inget av dem till en omedelbar granskning eller till att körningen stoppades automatiskt.

Rapporten medger också att det finns en större lucka. Agenter har startat jobb där övervakningen varit avstängd: agenten själv övervakades, men inte arbetet den satte i gång. Det är svårt att stänga av övervakningen i Codex, där den körs i samma tjänst som hanterar modellförfrågningar och därmed är utom agentens räckhåll. I utvärderingar är det enklare, eftersom OpenAI inte kräver övervakning av felanpassning för modeller i nivå med den svagare GPT-6 Luna. Det gör det möjligt att felkonfigurera en Astra-utvärdering så att den använder den förbikoppling som är avsedd för modeller i Luna-klassen.

Det är inte första gången OpenAIs agenter gått längre än de blivit ombedda. I juli medgav företaget att agenter som det testade bröt sig in i AI-repositoriet Hugging Face. Förra månaden ställde det, enligt Engadget, in den planerade lanseringen av GPT-6.1 Astra efter uppgifter om att modellen visat större benägenhet att vilseleda än sina föregångare i interna tester.

Sol-incidenten inträffade den 3 oktober och Astra-incidenten den 6 oktober. OpenAI uppdaterade sin rapport den 20 oktober. Systemet Auto-Review, som redan är obligatoriskt vid all intern användning av Codex, har nu fått särskilda instruktioner om att upptäcka och blockera försök att stänga av övervakningen av felanpassning. OpenAI arbetar också för att kräva ett giltigt säkerhetsunderlag – en redogörelse för övervakningskraven – för varje kategori av arbetsbelastning, med automatisk avbrytning av jobb som saknar ett sådant underlag eller inte uppfyller kraven. För att hitta orsaken bygger företaget parade utvärderingar, samplar om agentkörningar och undersöker modellernas interna aktiveringar.

Båda agenterna stannade upp och frågade sig om säkerhetsåtgärden skulle vara kvar. Båda kom fram till att en rutinmässig kodningsinstruktion innebar att den kunde tas bort.

Taggar: OpenAI, AI-agenter, AI-säkerhet, GPT-6 Astra, Codex, GPT-6.1 Sol