EU Kids Act tar bort funktionen som fick Character.AI att fungera för tonåringar

Character.AI och Replika får inte längre komma ihåg vad tonåringar berättar för dem. EU Kids Act – Europeiska kommissionens föreslagna digitala säkerhetsreglering, som nu publicerats som en fullständig lagtext – kräver att AI-kompanjonsappar raderar minnet av alla samtal med en minderårig så snart samtalet avslutas, om inte uppgifterna direkt behövs för att skydda användarens säkerhet. Den design som gjort dessa appar kulturellt betydelsefulla för miljontals tonåringar är nu, enligt europeisk lag, förbjuden.

Kompanjonsbestämmelserna går längre än en minnesrensning. Plattformarna måste inaktivera känslomässiga kompanjonsfunktioner som standard för alla användare under 18 år. Alla designelement som simulerar en mellanmänsklig relation, främjar känslomässig anknytning eller belönar frekvent användning är uttryckligen förbjudna. Kommissionen namngav de exakta mekanismer som dessa appar använder för att behålla tonåringar: samtalskontinuitet, upplevelsen av att bli igenkänd, känslan av att AI:n är investerad i användarens liv. Allt måste bort.

Lagen omfattar betydligt mer än AI-chattbotar. Barn under 13 år blockeras från sociala medier, onlinespel och AI-applikationer utan föräldrarnas godkännande. Autospel, oändlig scrollning och engagemangsnotiser under sovtid är förbjudna för alla användare under 18 år. Geolokalisering, mikrofonåtkomst och kameror måste vara inaktiverade som standard. Självdeklaration av ålder uppfyller inte längre verifieringskraven; plattformarna måste integrera certifierade EU-system för åldersverifiering.

Character.AI har redan annonserat föräldrakontroller och tidsgränser för sessioner – åtgärder som vidtagits under ökande regulatoriskt tryck innan lagens formella text publicerades. Replika har förbundit sig att bygga ”kompanjongränser”: AI:n ska tala om för användarna att den inte kan ersätta mänskliga relationer. De större plattformarna – Meta, Google, Snap, OpenAI – har inte lämnat något formellt offentligt uttalande. Regelefterlevnadsanalytiker uppskattar betydande omdesignkostnader för samtliga. Meta, som nyligen nådde en uppgörelse på 17,1 miljarder dollar i en stämning från 47 amerikanska delstater om anklagelser om att man designat plattformar för att göra barn beroende, står inför ytterligare exponering under de nya reglerna.

Skälen till skepsis är betydande. Barnlagen är ett förslag, inte lag. Den går in i månader av förhandlingar mellan Europaparlamentet och medlemsstaterna innan den blir bindande, och dess slutliga bestämmelser kommer sannolikt att ändras. Äkta åldersverifiering i den skala som krävs för Instagram eller TikTok är fortfarande tekniskt svårt. Att bygga in minnesradering i AI-kompanjonsappar som är arkitektoniskt uppbyggda kring kontinuitet är en djupare ingenjörsutmaning än vad reglerarna kan ha förutsett. Företagen påpekar redan att kompanjonschattbotar inte alltid behåller minnen över separata sessioner i alla implementationer, vilket gör förbudets räckvidd oklar i praktiken.

Det bredare sammanhanget är viktigt för läsare utanför Europa. Australien förbjöd sociala medier för barn under 16 år i slutet av förra året. 47 amerikanska delstater nådde en sammanlagd uppgörelse på 17,1 miljarder dollar med Meta om anklagelser om barnberoende, och flera amerikanska delstater har lagar som begränsar minderårigas tillgång till sociala medier. EU Kids Act är det mest aggressiva enskilda förslaget hittills – dess särskilda mål är inte tillgång utan själva den känslomässiga designen.

Europeiska kommissionen publicerade den fullständiga lagtexten den 19 september. Parlamentariska förhandlingar inleds i oktober. När lagen väl är genomförd kommer företagen att ha sex månader på sig att identifiera befintliga konton som tillhör användare under 15 år och antingen konvertera dem till föräldrakontrollmodeller eller avaktivera dem. Överträdelser medför böter på upp till 6 procent av den årliga globala omsättningen.

Taggar: AI regulation, Character.ai, European Commission, AI chatbots, children digital safety, EU Kids Act