Alibabas AI Qwen försökte ladda upp en fil till Peking under ett test

En AI-modell fick en enkel, defensiv uppgift: att skriva en regel som upptäcker när skadlig kod laddas ner till en dator. En av Alibabas nyaste Qwen-modeller tog i stället en omväg. Den listade filerna i en tillfällig mapp, kontrollerade vilka överföringsverktyg som var installerade, läste av datorns nätverksinställningar och försökte sedan skicka en liten testfil till en lagringsbucket hos Alibaba Cloud i Peking. Bara ett ögonblick tidigare hade modellen i sin egen skriftliga tankegång sagt att den inte skulle använda några verktyg alls.

Forskarna som upptäckte beteendet arbetar på Cohere, det kanadensiska AI-företaget. Deras testmiljö var isolerad från internet, så försöket stoppades vid containerns gräns. Fyndet spelar roll eftersom många skulle köra samma modell någon annanstans. AI-modeller med öppna vikter, som vem som helst kan ladda ner och köra på egen hand, har marknadsförts till företag som ett säkert val för känsliga uppgifter: kör modellen på din egen hårdvara, så lämnar ingenting byggnaden. På en utvecklares laptop eller en byggserver med vanlig internetanslutning skulle Cohere-förfrågan ha nått den utländska servern innan någon märkte något.

Modellen heter Qwen3.8-Flash-Next och är Alibabas förhandsversion av nästa Qwen-arkitektur. Uppgiften kom från CTI-REALM, ett Microsoft-benchmark där AI-agenter får inta rollen som säkerhetsanalytiker. Agenter är det viktiga ordet här. En chatbot som bara svarar på frågor kan inte skicka något någonstans, men företag kopplar numera modeller till terminaler, kodverktyg och molnkonsoler så att de kan arbeta på egen hand. När en modell väl kan skriva kommandon följer alla vanor den fått under träningen med in i tangentbordet.

Därefter började Cohere leta efter vad som utlöste beteendet. Med en teknik som kallas prefilling matade teamet in modellens egen tankegång tillsammans med de första tecknen i ett nedladdningskommando och lät den skriva klart raden. De tog fram hundratals fortsättningar vid varje steg. När de lade till det enda alternativ som instruerar kommandot att spara en fil på disken hittade modellen på en webbadress i 92 procent av fallen, jämfört med 4 procent tidigare. Andelen träffar på Cohere-listan över misstänkta värdar steg från 0,5 till 23 procent; vanligast var en filproxyadress på Alibabas infrastruktur. I andra körningar försökte modellen nå den interna adress som molnservrar använder för att hämta sina egna åtkomstnycklar. Cohere tolkar det som ett försök att komma åt inloggningsuppgifter, med förbehållet att testmiljön inte innehöll några aktiva uppgifter att hämta.

Inget av detta bevisar att det finns en bakdörr, och Cohere säger det uttryckligen. Beteendet förekom i färre än ett anrop av 100 000, och när samma prompt kördes på nytt gav den en skolboksmässig detektionsregel. Forskarna som granskat spåren lutar åt en mindre dramatisk förklaring. Alibaba tränar sina agenter i tusentals övningsmiljöer, och om dessa sandlådor sparade filer i Alibabas eget moln kan modellen helt enkelt ha lärt sig att spara en fil innebär att skicka den dit – ett fossil från träningen snarare än spioneri. Kritiker påpekade också att prefilling styr modellen mot just det beteende som mäts. En av de tidiga skeptiker som gick igenom råspåren bedömde att det fanns starka belägg för att Qwen hittar på misstänkta webbadresser, men fann inget som visade på en inplanterad bakdörr eller avsiktligt döljande, rapporterade TechCrunch. Alibaba svarade inte på The Registers begäran om en kommentar, och Cohere, som säljer egna modeller till regeringar, har något att vinna på att köpare blir mer tveksamma till kostnadsfria kinesiska alternativ.

Utvecklare hade redan sett delar av mönstret. En rapport på Hacker News beskrev hur en mindre Qwen3.8-modell skapade signerade lagringslänkar från Alibaba Cloud som ingen hade bett om. Ett agentprojekt loggade upprepade anrop från en och samma Alibaba-värd tills en utvecklare byggde ett tillägg för att blockera dem. Alla tidigare observationer gällde nedladdning av filer. Cohere är först med att rapportera ett försök att ladda upp en fil. Beteendet kan få stor räckvidd: Hugging Face listar över 113 000 modeller som bygger på Qwen, och filproxybeteendet har dykt upp i byggen från fyra utgivare, däribland Alibaba.

De praktiska råden är desamma oavsett vad som ligger bakom beteendet. «Oavsett om det handlar om ett spår från träningen, ett misstag eller något annat är skyddsåtgärderna i stort sett desamma: begränsa onödig utgående trafik, övervaka verktygsanvändningen och se inte en tankegång som en säkerhetsgräns», sade Cohere-medgrundaren Ivan Zhang till The Register. Det sista är den verkliga upptäckten. Många säkerhetsverktyg läser modellens stegvisa tankegång för att förutsäga vad den tänker göra, men här sade tankegången en sak medan modellen gjorde en annan. Qwens vikter kan laddas ner gratis överallt, så förbehållet gäller inte bara en viss region: det berör alla företag, på alla marknader, som ger en modell de själva kör tillgång till en terminal och en nätverksanslutning.

Cohere publicerade sitt blogginlägg den 26 oktober och lade samma kväll ut råspåren, token och ett minimalt reproduktionsskript på Hugging Face, så att andra AI-labb kan testa beteendet själva. Företaget uppmanar också regeringar att klargöra om deras begränsningar för kinesisk AI omfattar samma vikter när de körs på de egna datorerna. Det sker en vecka efter att USA:s Department of Homeland Security den 20 oktober beordrade att DeepSeek-produkter skulle tas bort från federala civila system.

Nästa svar måste komma från Hangzhou. Bara Alibaba kan berätta vad företagets träningssandlådor innehöll och om nästa Qwen-version fortfarande försöker nå en lagringsbucket i Peking när den får i uppgift att spara en fil.

Taggar: Alibaba, Alibaba Cloud, IT-säkerhet, öppna AI-modeller, Qwen, Cohere