Nvidia PAIR samlar hemmets GPU:er för att köra AI-agenter dubbelt så snabbt

Ett nytt gratisverktyg från Nvidia, kallat PAIR – Personal AI Router – dirigerar AI-agentuppgifter över flera datorer i ditt hemnätverk och behandlar din samling av speldatorer, arbetsstationer och till och med Macar som ett enhetligt inferenskluster. Idén är enkel nog: de flesta AI-tunga datorer står overksamma större delen av tiden, och lokala AI-arbetsflöden byggs allt oftare kring agenter som genererar dussintals oberoende deluppgifter samtidigt. PAIR kopplar ihop de lediga cyklerna.

Programvaran fungerar som en transparent proxy ovanpå Ollama och LM Studio, de två mest populära lokala inferensverktygen, så befintliga installationer kräver inga kodändringar. När den väl är installerad på varje maskin använder PAIR mDNS – samma protokoll som din skrivare använder för att synas i nätverket – för att automatiskt upptäcka kompatibla enheter. En ledande agent skickar sitt arbete som vanligt, och PAIR avgör vilken maskin som hanterar vilken deluppgift baserat på vilka modeller varje maskin har tillgängliga. Ingen identisk uppsättning krävs över maskinerna: en speldator som kör Llama 3.3 och en bärbar dator med Mistral kan samarbeta på samma jobb.

Det riktmärke Nvidia publicerat gör skillnaden konkret: en uppgift med fem underagenter som tog 18 minuter på en enda RTX Spark-bärbar dator slutfördes på 8 minuter och 48 sekunder över ett kluster med tre enheter. Det är ungefär en fördubbling av hastigheten utan att röra en rad kod eller betala för molnberäkning. Vinsten skalar med antalet maskiner och arbetsbelastningens karaktär – uppgifter som delas upp i många parallella bitar gynnas mest.

Integritet är den andra försäljningspunkten, och den är den mer bestående. Varje prompt, fil och agentkontext stannar kvar på ditt hemnätverk. Ingenting skickas till en molnbaserad inferenstjänst; det finns ingen API-nyckel, ingen användningsmätning och inget företag som tar emot dina frågor. För den som kör agenter på känsliga dokument – juridiska utkast, medicinska anteckningar, personlig korrespondens – väger den skillnaden tyngre än riktmärkessiffror.

Förbehållen är verkliga. PAIR erbjuder ingen garanterad tjänstekvalitet: om maskinen du räknade med vaknar till liv med sin GPU för ett spel eller videoexport, omfördelar PAIR arbetsbelastningen till vad som annars finns tillgängligt. Verktyget är öppet utformat för långvariga uppgifter där deadline är flexibel, inte för applikationer där latens måste vara förutsägbar. Det är också betaprogramvara. Nvidia riktar sig till entusiaster med minst en kompatibel maskin – ett GeForce RTX 20-serie-kort eller nyare, eller Apple M4-serie-kisel – och förväntningen att de redan kan sin väg runt Ollama.

PAIR är gratis, med öppen källkod och tillgängligt i beta nu för Windows, macOS och Linux. Nvidia har inte presenterat en färdplan för QoS-garantier eller ett datum för en stabil version. Den praktiska tröskeln för att dra nytta av det är två maskiner med kapabel hårdvara, vilket utesluter de flesta enkeldatorsinstallationer. För användare som redan kör Ollama på mer än en enhet hemma är inträdesbarriären tillräckligt låg för att motivera experimentet.

Taggar: Nvidia, AI-agenter, lokal AI, öppen källkod, Ollama, PAIR