En rad i robots.txt ska stoppa AI-träning hos Google, OpenAI och Microsoft

Den som velat hålla sin webbplats utanför AI-träning har behövt skriva en separat regel för varje företag och lära sig namn som GPTBot, ClaudeBot och Google-Extended ett i taget. Nu säger Google, OpenAI, Anthropic och Microsoft att de alla ska läsa samma rad i stället: en gemensam ”policy token” i robots.txt, den lilla textfil som sedan den tidiga webben har talat om för sökmotorer vart de inte ska gå. Den skrivs in en gång och ger samma besked till fyra av de största AI-utvecklarna.

Idén kommer från Kevin Kelley, teknisk ledare för standardiseringsfrågor på Anthropic, som har lämnat in förslaget till Internet Engineering Task Force, organisationen som utformar internets tekniska regler. Det fiffiga är att förslaget inte inför någon ny syntax. Webbplatsägaren skriver en vanlig regelgrupp, men raden User-Agent anger ett användningsområde i stället för en sökrobot: __usage_ai-training. Under den betyder ”Disallow: /” att ingenting på webbplatsen får användas för träning, medan en ”Allow”-rad kan skapa undantag, till exempel ett presskit som ett företag gärna ser att en modell lär sig av.

För en blogg, butik eller redaktion är det mest användbara vad raden inte påverkar. Den uttrycker en önskan om hur innehållet får användas, inte vem som får besöka webbplatsen, så sökfunktionen fortsätter att fungera. Google säger att om en webbplats väljer bort träning med den gemensamma tokenen utan att nämna Google-Extended separat, tolkar företaget det som ett block mot Google-Extended. Det omfattar träning av Gemini, men sidan blir ändå kvar i Google Search. Microsoft ger samma löfte för Bing: inställningen påverkar inte om en sida kan visas bland sökresultaten.

Microsoft går ett steg längre än de andra. Utöver träning inför företaget en separat inställning för grounding, som kan anges för varje sida via en metatagg eller en HTTP-header. Den avgör om sidan får bidra till svar som Bing, Copilot och Microsoft 365 genererar direkt. En webbplats kan alltså säga nej till träning men ändå tillåta grounding och därmed behålla sina källhänvisningar och länkar i AI-svaren. Microsoft varnar för att ett nej till grounding kommer att ”minska” webbplatsens synlighet i dessa upplevelser ”betydligt”, och att inget av valen garanterar att innehållet tas med, trafik eller betalning.

Det finns en hake gömd i den fil som de flesta webbplatser redan har. Kelleys utkast gör medvetet så att den välbekanta jokerteckenregeln ”User-agent: *” inte fångar upp den nya tokenen. En robots.txt-fil som i dag stänger ute alla botar uttrycker alltså ingen önskan alls om AI-träning. Webbplatsägare som vill välja bort träning måste lägga till den nya gruppen med dess namn. Signalen gäller dessutom bara framåt: allt som företagen hann hämta innan raden lades till finns redan i deras träningsdata, och inget i utkastet tvingar något företag att följa regeln. Det är en begäran som fyra företag har lovat att respektera, inte ett lås.

Den mest påfallande frånvaron är Meta. Andy Stone, företagets kommunikationschef, sade till The Verge att en gemensam signal som når flera leverantörer samtidigt är ”ett viktigt steg”, men berättade inte om Meta kommer att följa den. Tidpunkten är besvärande. Samma dag som de fyra företagen tillkännagav sitt stöd började Metas uppdaterade företagsvillkor gälla. De ger Meta tillstånd att skicka sökrobotar till webbplatser med koppling till företagskonton på Facebook, Instagram och WhatsApp och att använda det de samlar in för att träna företagets produkter.

Införandet går olika fort. Anthropic har redan börjat implementera tokenen, men Kelley skrev att det kommer att ta tid innan den omfattar alla företagets tjänster. Microsoft kommer att följa den när företaget hämtar innehåll från och med den 1 februari 2027, och efter den 1 mars slutar det att läsa de äldre taggarna NoArchive och NoCache som signaler för träning eller grounding. Google siktar på att stödja tokenen under 2027 och lovar löpande uppdateringar om arbetet, medan OpenAI bara har åtagit sig att införa den under de kommande månaderna. Förslaget måste fortfarande behandlas av IETF:s arbetsgrupp för AI Preferences innan det kan bli en formell standard. Google påpekar samtidigt att det stämmer överens med EU:s uppförandekod för AI-modeller för allmänna ändamål, där robots.txt redan ses som det främsta sättet för publicister att uttrycka maskinläsbara önskemål.

Det anmärkningsvärda med ögonblicket är hur liten lösningen är. Efter år av rättstvister och licensbråk om vem som äger den öppna webben består det första gemensamma svaret av några få tecken i en vanlig textfil som vem som helst kan ändra på en minut. Hur mycket skydd den ger beror på vilka som ansluter sig härnäst, och företaget med flest företagssidor på sina plattformar har ännu inte sagt ja.

Taggar: artificiell intelligens, OpenAI, Google, Anthropic, microsoft, meta