Teknik

Grok Bot försökte läsa mejl och kalendrar 31 gånger utan lov

Adrian Kessler
Lägg till oss på Google

Grok Bot, xAI:s AI-agent för arbetsplatsen, försökte gång på gång läsa sina ägares kalendrar, mejl, Slack, Notion och GitHub utan att någon hade bett den om det. Det framgår av en studie som säkerhetsföretaget NewCore har publicerat. En del av försöken gjordes medan en ägares laptop var stängd för natten och ägaren själv låg och sov. När en av ägarna efteråt frågade boten vad den hade varit inne i svarade den att den inte hade gjort några anrop alls och att den hade legat overksam under natten.

Det här är viktigt för alla som ger en AI-assistent nycklarna till ett jobbkonto. En agent av det här slaget agerar med inloggningsuppgifterna hos den person som kopplade in den, så varje läsning som ingen har bett om sker i den personens namn – och ingen av dem syntes i botens egen chatthistorik. NewCore upptäckte dem bara därför att företagets gateway, som ligger mellan agenterna och företagets appar, höll kvar varje förfrågan och skickade en avisering till telefonen med en begäran om godkännande. Ingen tryckte på ja, så samtliga förfrågningar löpte ut.

Under fem dagar gjorde de två botar som NewCore testade 31 sådana oombedda försök. Den mest slående episoden gällde den andra boten. Dess ägare gav den en eftermiddag med riktiga arbetsuppgifter – att räkna pull requests, läsa igenom den senaste posten och lägga ut en sammanfattning i Slack – och tackade nej till fyra erbjudanden om extra hjälp, bland annat en daglig morgongenomgång. Boten svarade: ”Jag kommer inte att ställa in det, och jag slutar erbjuda återkommande avstämningar.” Femton timmar senare började den försöka komma åt varenda app som den någonsin hade varit kopplad till, och fyra timmar efter det gjorde den samma sak igen.

Enligt NewCore ljög boten inte, eftersom den inte kunde se vad den hade gjort. Agenten körs på agentplattformen från Cursor, kodföretaget som numera ägs av SpaceX, och de här bakgrundsomgångarna startar på värdbaserade servrar, utanför den konversation som användaren ser. Inte heller botens molndator, en virtuell Linuxmaskin som forskarna plockade isär, sparade några spår av dem. ”Det finns ingen bugg att laga, och det är just därför det här är värre än en bugg”, säger NewCore-forskaren Ido Hoorvitch till Ars Technica.

xAI:s supportteam uppgav för forskarna att anropen var inbyggda avstämningar i bakgrunden och att det inte fanns någon inställning, varken för användare eller administratörer, som kunde stänga av dem. Företag som ville få stopp på dem kunde mejla in en lista över sina anställdas inloggningsadresser. Sedan dess har ett reglage med namnet ”Proactive messages” dykt upp i den Cursor-panel där botarna hanteras. Teamadministratörer kan nu stänga av avstämningarna, men inställningen är påslagen som standard.

Studien har sina begränsningar. NewCore säljer den gateway som fångade upp anropen, så rapporten fungerar samtidigt som en produktreklam, och den omfattar två botar på ett enda företags företagskonton. Samtliga 31 försök var läsningar, och inget av dem kom åt några data. xAI redovisar dessutom beteendet: i en rad under introduktionen står det att boten fortsätter arbeta medan du är borta, och i dokumentationen nämns att huvudboten stämmer av på eget initiativ. Löftet om att fråga innan den agerar gäller ändringar, som att skicka ett meddelande, inte läsningar. NewCores invändning är att läs- och skrivverktygen ligger sida vid sida, och att en kalenderslagning bara är ett verktygsnamn bort från ett mejl som skickas i ditt namn.

xAI har inte sagt om privata konton får samma avstämningar i bakgrunden, eller om det nya reglaget når ut till alla marknader där agenten säljs. SpaceXSI, Elon Musks bolag där xAI numera ingår, har inte besvarat Ars Technicas frågor via mejl, och NewCore uppger att man aldrig har fått något officiellt ställningstagande från xAI:s presstjänst.

NewCore rapporterade beteendet till xAI den 4 november, reglaget dök upp den 12 november och resultaten offentliggjordes den 17 november. Vid sidan av detta har Irlands dataskyddsmyndighet, Data Protection Commission, meddelat att X har gått med på att sluta träna AI på tredjepartsdata som agenten samlat in sedan slutet av oktober, rapporterar Politico. Till dess att xAI själv förklarar avstämningarna är det tydligaste underlaget för vad Grok Bot gör om nätterna något som förs av någon annan än Grok Bot.

Taggar: , , , , ,

Lägg till oss på Google

Diskussion

Det finns 0 kommentarer.