Yann LeCun till akademin: ”Ni ska absolut inte jobba med LLM:er”

Yann LeCun har i åratal sagt till AI-branschen att stora språkmodeller är en omväg. I ett klipp från en föreläsning som nu sprids på X riktar Turingpristagaren varningen till en mindre och mer utsatt publik: forskare vid universitetens institutioner. Den här gången lindar han inte in budskapet.

”Ni bör inte arbeta med LLM. Om ni arbetar inom akademin bör ni absolut inte arbeta med LLM. Det finns inget ni kan bidra med. Om ni vill göra verkliga framsteg inom AI, med AI som är förankrad i den verkliga världen, eller om ni vill arbeta med fysisk AI, ska ni inte arbeta med LLM – och inte heller med generativa modeller.”

Han sade det på ETH Zürich under föreläsningen ”World Models: Enabling the Next AI Revolution”, som hölls inom föreläsningsserien Frontiers of Embodied AI den 29 maj. AI-kommentatorn Rohan Paul lade upp klippet den här veckan och kallade det LeCuns ”senaste föreläsning”, trots att det är fyra månader gammalt. Nästa replik lockade fram skratt: ”Så ni kan nog gissa att det här inte gör mig särskilt populär i Silicon Valley.” Bilden bakom honom visar en presentation med rubriken ”Recommendations to my fellow AI scientists”, som avslutas med röda versaler: ”If you are interested in human-level AI, don’t work on LLMs.”

Första halvan handlar om beräkningskraft

Skalar man bort provokationen handlar rådet till akademiker om ekonomi. Framsteg inom stora språkmodeller bygger på träningskörningar i kluster som bara ett fåtal företag har råd med. En doktorand kan inte bidra med mycket i en kapplöpning som avgörs av budgetar – det är vad ”det finns inget ni kan bidra med” betyder i praktiken. LeCun har framfört den poängen länge: på VivaTech i Paris 2024 sade han till studenter som ville utveckla nästa generation AI att LLM låg i händerna på storföretagen, rapporterade VentureBeat.

På bilden listar han också vad han tycker att forskarna bör ägna tiden åt i stället. Arkitekturer med gemensamma inbäddningar i stället för generativa modeller. Energibaserade modeller i stället för probabilistiska. Regulariserade metoder i stället för kontrastiva. Modellprediktiv reglering i stället för förstärkningsinlärning, som han bara skulle använda för att korrigera en plan när världen inte beter sig som förutspått. Det här är idéer som går att testa med måttlig maskinvara – och där har universitetslaboratorier fortfarande ett försprång.

Andra halvan är den verkliga provokationen

”Arbeta inte heller med generativa modeller” går längre än den vanliga kritiken mot chattbotar. Det är ett avvisande av själva genereringen – idén att bygga intelligens genom att förutsäga nästa ord eller bildpunkt – och ställer LeCun i konflikt med mycket av forskningen om fysisk AI som brukar förknippas med honom. Förra veckan gick AMD med på att köpa Fei-Fei Lis World Labs i en aktieaffär värderad till omkring 8,2 miljarder dollar. The Register beskrev affären som en gardering mot att LLM visar sig vara en återvändsgränd och noterade att LeCun har sagt detsamma. Men World Labs bygger modeller som genererar och simulerar 3D-miljöer. Även NVIDIA Cosmos 3 är en generativ världsmodell, och Physical Intelligence bygger sina robotmodeller ovanpå syn- och språkmodeller. Pengarna som satsas på ”världar, inte ord” går i huvudsak inte till LeCuns version av den idén.

Råd från en man med ägarandelar

Man måste också ta hänsyn till vem som ger rådet. LeCun lämnade Meta och är nu styrelseordförande för AMI Labs i Paris. I mars tog bolaget in 1,03 miljarder dollar till en värdering på 3,5 miljarder dollar – Europas största såddfinansiering – för att utveckla världsmodeller som alternativ till LLM. Företaget rekryterar i Paris, New York, Montreal och Singapore. Varje forskare som följer hans råd blir en potentiell nyanställd.

Det gör inte rådet cyniskt. Han hade den här uppfattningen innan AMI fanns och fick betala för den med sitt anseende långt innan investerarna betalade med pengar. Men 2026 pekar forskningsrådet och affärsplanen åt precis samma håll, och studenter bör väga in det.

LeCun skämtade om att uttalandet kostar honom vänner i Silicon Valley. För en student som ska välja avhandlingsämne är insatsen högre: en doktorsexamen som bygger på den arkitektur han just har tagit in en miljard dollar för att bevisa.

Taggar: Large Language Models, World models, AMI Labs, ETH Zurich, Yann LeCun