Teknik

Meta öppnar Muse Glimmer — en AI-agent på 30B parametrar för din GPU

Adrian Kessler

Meta har byggt en AI-agent på 30 miljarder parametrar som körs helt och hållet på konsumenthårdvara – och släppt källkoden gratis. Modellen, som heter Muse Glimmer, skickar inte dina uppgifter via Metas servrar. Den körs lokalt på din egen GPU, och med ett kvantiserat minnesavtryck på 18 till 20 gigabyte ryms den inom ramen för dagens högpresterande konsumentgrafikkort.

Det spelar roll eftersom den förra generationens lokala modeller – varianterna på 7 och 13 miljarder parametrar som fyllde Ollama-biblioteket de senaste två åren – visserligen var kapabla textgeneratorer men dåliga autonoma agenter. De hade svårt med flerstegsresonemang, verktygsanrop som misslyckades halvvägs och uppgifter som krävde att man kom ihåg vad som hände tre steg tillbaka. Muse Glimmer är specifikt designad för sådana arbetsflöden: kodning, funktionsanrop, schemaläggning, filhantering och flerstegsuppgifter som automatiskt återhämtar sig när ett verktygsanrop går sönder.

Den underliggande arkitekturen är en destillation av Muse Spark, den kommersiella modell som Meta började sälja API-åtkomst till förra månaden. Genom logitdestillation och förstärkningsinlärning har företaget komprimerat sitt stängda flaggskepp till en form som får plats på ett 24-gigabytes GPU – RTX 5090, Apples M5 Max eller M4 Max. Spekulativ avkodning ökar genomströmningen ytterligare: RTX 5090 kör modellen 3,1 gånger snabbare än utan, M5 Max 1,8 gånger och M4 Max 1,5 gånger. I praktiken är den skillnaden gränsen mellan en agent som känns responsiv och en som kräver tålamod.

Modellen bearbetar sammanflätad text och bilder – skärmdumpar, dokument, blandat innehåll – och arbetar på över 100 språk. Den ansluter inbyggt till de ramverk som lokala AI-användare redan kör: Ollama, LM Studio, llama.cpp, MLX. Om du redan hämtar modeller från Hugging Face och kör dem på din hårdvara, faller Muse Glimmer in i det arbetsflödet utan extra verktyg.

Licensen är Apache 2.0, vilket innebär att det inte finns några kommersiella begränsningar. Privatpersoner, företag och forskare kan använda den utan att betala Meta. Det placerar den i en annan kategori än OpenAIs och Anthropics modeller, som kräver betalning per token även för utvecklingsarbete. Mot Googles Gemma4-31B och Alibabas Qwen3.6-27B – dess närmaste konkurrenter med öppen vikt i samma skala – positionerar Meta Muse Glimmer som stark för sin storlek på agentiska och allmänna språkmodellprestanda, utan att göra mer specifika anspråk på vilka uppgifter den vinner.

Hårdvarutröskeln förblir selektiv. Att få plats med 18 gigabyte modellvikter på ett GPU låter tillgängligt tills du räknar ut vilket GPU som krävs. Ett RTX 5090 kostar idag över två tusen dollar. Apples M5 Max-maskiner börjar på nära tre tusen. Detta är lokal AI för en specifik inkomstgrupp, inte en ersättning för molnet för de flesta användare. Den kvantiserade versionen är också ett syskon med reducerad trohet till Muse Spark: den ärver träningssignalen från den kommersiella modellen, men den är inte den kommersiella modellen. Meta fortsätter att sälja tillgång till versionen med högre kapacitet.

Vad som förändras med denna release är nivån på kapabla agenter bland lokala modeller. Att köra en modell på 30 miljarder parametrar tränad för autonom uppgiftshantering är något annat än att köra en chatmodell med samma parameterantal. Skillnaden ligger i hur modellen hanterar verktygsfel och flerstegssekvenser – inte i hur väl den slutför en enskild mening.

Vikterna finns tillgängliga på Hugging Face från och med den 10 augusti, under Apache 2.0. Meta har bekräftat optimeringspartnerskap på enhetsnivå med AMD, Arm, Dell, Intel och Nvidia, med ytterligare anpassade byggen för specifika hårdvarukonfigurationer att följa. Den lokala AI-gemenskapen kommer att stresstesta modellen inom några dagar, vilket den gör med varje betydande release – den gemenskapens riktmärken kommer att ge en tydligare bild av var Muse Glimmer faktiskt står inom två veckor från idag.

Taggar: , , , , ,

Diskussion

Det finns 0 kommentarer.