I tre år har AI-samtalet handlat om vem som bygger den största modellen. Den mindre glamorösa frågan — vad det kostar att låta modellen svara miljontals gånger om dagen utan att den faller ihop — är där pengarna läcker i dag. llm-d, det öppna inferensprojekt som startades av Red Hat, IBM, Google Cloud, CoreWeave och Nvidia, har nått version 1.0, och det siktar rakt på den läckan.

Mekanismen förtjänar att sägas rakt ut. En AI-agent ställer inte en fråga och går. Den håller långa sessioner öppna, läser samma dokument om och om igen och startar parallella hjälpare som belastar hårdvaran i oförutsägbara skurar. I det mönstret kan hanteringen av kontexten kosta mer än själva svaret. Varje team som kör modeller i stor skala, säger Shadi Saba, vice vd för AI/ML-teknik på CoreWeave, stöter på ”kontext som ofta kostar mer att hantera än själva utdatan”. llm-d:s svar är routning: varje förfrågan skickas till den server som redan har dess kontext i cachen, i stället för att räkna om den från början.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

Version 1.0 handlar mindre om nya knep än om att göra de befintliga säkra att köra i månader. Projektet erbjöd redan cachemedveten routning, avlastning av KV-cachen och uppdelning av prefill- och decode-faserna på olika maskiner, ovanpå modellservrar som vLLM och SGLang. Den nya versionen lägger till prioritets- och rättviseregler så att latenskänsliga förfrågningar och agenter som arbetar i skurar kan dela en GPU-flotta utan att svälta ut varandra, en högtillgänglig router för uppdateringar utan driftstopp, ett stabilt v1-konfigurations-API och sessionsmedveten routning som håller samtal med flera turer nära sitt cachade tillstånd.

Prestandasiffrorna i tillkännagivandet kommer från deltagarnas egna demonstrationer och bör läsas som påståenden, inte granskningar. I en av dem körde forskare GLM 5.2, en modell med öppna vikter och omkring 753 miljarder parametrar, på vanligt förekommande Nvidia-GPU:er, med toppar på över 6,6 miljoner utdata-tokens per minut och upp till 3 000 samtidiga kodagenter; till dagens hyrpriser i molnet blev det enligt dem fem till tio gånger billigare per token än motsvarande kommersiella API-priser. IBM Research rapporterar 11,5 gånger lägre inferenskostnad än en helt proprietär lösning i ett projekt för chipdesign inom kvantfelkorrigering, med en cacheträffgrad på omkring 98 procent.

Mer talande är vilka som redan lutar sig mot det. JetBrains säger att llm-d hanterar en betydande del av trafiken bakom Junie Lite, den kostnadsfria nivån av företagets kodagent; DigitalOcean kör sin serverlösa inferens på det, och Mistral och Roblox beskriver hur de bygger sina driftlager på projektet. Google Cloud integrerar 1.0 i Google Kubernetes Engine över hela sitt utbud av TPU:er och Nvidia-GPU:er, medan AMD tar det till sina Instinct-acceleratorer.

llm-d grundades 2025, styrs i dag av Cloud Native Computing Foundation och har fler än 500 bidragsgivare från över 25 organisationer. Version 1.0 tillkännagavs den 20 oktober 2026 i San José och finns tillgänglig nu som öppen källkod.

Följden är en maktförskjutning. Om det dyra med AI är att driva den snarare än att träna den, kontrollerar den som styr driftlagret också notan. llm-d är ett försök att se till att det lagret förblir gemensamt och öppet, i stället för inlåst i en enda leverantörs API.

Taggar: Nvidia, AI-agenter, IBM, CoreWeave, Red Hat, stora språkmodeller