Teknik

Elon Musk: Grok 4.8 försenades när xAI skrev om all kod från grunden i C/C++

Den nya Grok är försenad eftersom xAI kastade ut de öppen källkodstjänster som de tränade och serverade modeller med. Musk kallar resultatet "inte än otroligt" och satsar på att omskrivningen lönar sig i Grok 5.
Adrian Kessler
Lägg till oss på Google

Det intressanta i Elon Musks senaste uppdatering om Grok är inte programmeringsspråket. Det är medgivandet som ryms däri: nästa modell är försenad eftersom teamet bakom den kastade bort den öppna källkodsmjukvara som det använde för att träna och köra modeller – och skrev en egen.

Som lanseringsretning är inlägget optimistiskt: träningen är klar, utvärderingarna går uppåt och en försiktig utrullning väntas före veckans slut. Läser man det som en berättelse om systemen säger det något större. xAI, som nu ingår i SpaceX, har beslutat att gemensamma ramverk höll företaget tillbaka och satsar med den här modellen – och nästa – på att äga varje lager mjukvara mellan forskarna och företagets GPU:er.

”Vi har dumpat JAX/SGLang och skrivit om hela RL- och inferensstacken från grunden i C/C++, vilket tog lite extra tid”, skrev Musk på X som svar till en användare som frågade när Grok 4.8 kunde väntas. JAX är det Pythonbaserade numeriska bibliotek som xAI hade tränat modellen med; SGLang är ett ramverk med öppen källkod för att köra stora språkmodeller. Förträningen är klar, sade han, efter att ”det krävdes en hel del upprensning i SFT-datan”, alltså datamängden för övervakad finjustering. ”Nu är 4.8 i RL-fasen och utvärderingsresultaten börjar klättra.”

Det uttalandet förklarar ett glapp som Musk själv skapade. I mitten av september presenterade han modellen som ”en modell på 2,5 biljoner parametrar, tränad med vår nya C++-stack” som skulle ”träna klart den här veckan och börja med RL”. Ungefär samtidigt kallade han, enligt Analytics India Magazine, förstärkningsinlärningsdelen ”fortfarande något av en gammal röra med många olika tredjepartssystem”, som skulle åtgärdas ”när tiden var inne”. I slutet av oktober skrev han: ”Jag vet att det har tagit längre tid än väntat, men Grok 4.8 kommer inte att göra någon besviken.” Lösningen visade sig vara det som orsakade förseningen. Koden för förträningen var redan ny; delen som lär modellen att bete sig och delen som besvarar användarnas frågor behövde byggas om innan modellen kunde gå vidare.

”C++-omskrivningen” i rubrikerna handlar mest om C. På frågan om språket svarade Musk: ”C med lite C++, men inte särskilt mycket.” Han säger att stacken bygger vidare på mjukvaran som SpaceX-ingenjörer skrev för Starlink (”På SpaceX skriver vi våra egna headers och beräknar vår egen tid”, tillade han). I september sade han att förträningskoden skrevs av Starlink-teamet och ”inte skrevs av AI”, eftersom ”AI ännu inte är tillräckligt bra på mjukvara med extremt hög prestanda (men det kommer den att bli)”.

Motiveringen har varit offentlig sedan i våras. I slutet av maj sade Musk att SpaceX nästan hade färdigställt en egen C-baserad träningsstack som ”exaktmappas” mot ett kluster med 220 000 Nvidia GB300-chip, och uppskattade att den kunde ge ”mer än en storleksordning” högre hastighet än JAX vid stora träningskörningar. I slutet av juni utlovade han ”verkligt enorma förbättringar” inom ungefär tre månader, när hela tränings- och inferensstacken hade skrivits om och ”de flesta mjukvarulager skulle tas bort helt”. Sett till den tidsplanen blev omskrivningen ungefär sex veckor försenad. Ingen av hastighetsuppgifterna har verifierats utanför företaget.

Att äga stacken är en fördel som har en baksida. När xAI slopar JAX och SGLang slipper företaget andras abstraktioner och lanseringsplaner, och ingenjörerna kan anpassa mjukvaran direkt till en specifik hårdvara. Priset är att varje bugg i träningsloopen och i systemet som hanterar användarnas frågor nu blir helt och hållet xAI:s ansvar – i kod som ingen utomstående gemenskap har hunnit använda innan den når användarna.

Musk sänker också förväntningarna rejält. ”Grok 4.8 kommer inte att likna 4.7 på något sätt (tack och lov)”, skrev han och sågade offentligt modellen som xAI lanserade den 21 september. ”Den är ännu inte fantastisk, men den här gången är grunden rätt byggd, så jag räknar med att den utvecklas till något speciellt.” Mindre än en timme senare fick han frågan hur 4.8 skulle stå sig mot Anthropics Opus 5.5. Hans svar: ”Inte lika bra. Opus 5.5 är ett mästerverk.” Det verkliga löftet ligger längre fram: ”Grok 5 borde överträffa Opus 5.5, och kanske händer det om två eller tre månader.”

Allt annat saknas fortfarande. xAI:s nyhetssida och utvecklardokumentation har inga uppgifter om modellen, enligt tjänster som bevakar dem; det finns inget modellkort, inget riktmärke, inget pris och ingen API-listning. Uppgiften om 2,5 biljoner parametrar kommer enbart från Musk, liksom utvärderingsresultaten som han säger är på väg upp. Den försiktiga utrullningen når Grok Bot-användare ”senare den här veckan”, utan att någon dag anges, och i oktober sade Musk att de flesta av förfrågningarna skulle hanteras av ”en blixtsnabb version av Grok 4.8”.

Därför blir veckans utrullning mer ett test av infrastrukturen än av modellen. Om modellen håller måttet under verklig trafik från Grok Bot blir omskrivningen den plattform som Grok 5 tränas på. Om den går bet finns det inget externt ramverk kvar att skylla på.

Taggar: , , , ,

Lägg till oss på Google

Diskussion

Det finns 0 kommentarer.