Model Meta Muse Spark Open je optimalizovaný pre pracovné postupy agentického kódovania na NVIDIA GB300 NVL72

Muse Spark Open, nový kódovane optimalizovaný model vyvinutý spoločnosťou Meta, bol optimalizovaný na efektívny chod na platforme NVIDIA GB300 NVL72. Tento model 816B zmesi expertov (MoE) sa môže pochváliť pôsobivými 42 miliardami aktívnych parametrov a obrovským kontextovým oknom 1 milión tokenov, čo mu umožňuje uchovávať celé projekty s komplexnými závislosťami v pamäti bez rozdeľovania úloh na menšie časti.

Architektúra modelu je špeciálne navrhnutá pre agentické kódovacie pracovné postupy, ktoré vyžadujú trvalú viackrokovú prácu. Na rozdiel od všeobecných kódovacích modelov, ktoré vynikajú pri jednorazových dokončeniach, ako je generovanie funkcií alebo písanie jednotkových testov, Muse Spark Open dokáže plánovať, konať, pozorovať a samoopravovať počas dlhotrvajúcich relácií. Podporuje viacstupňové vykonávanie úloh s použitím nástrojov, hodnotením výstupov a iteratívnym zdokonaľovaním.

Muse Kontextové okno Spark Open s kapacitou 1 milión tokenov umožňuje spracovávať zložité projekty s tisíckami súborov bez rozdelenia úloh na menšie časti. To je obzvlášť užitočné pri plánovaní viacnásobných refaktoringov alebo pri orientácii vo veľkých kódových základniach. Model využíva podmieňovanie cieľov na udržanie smeru a kompaktíciu kontextu, aby si zachoval vedomosti potrebné na udržanie pokroku počas dlhodobých relácií.

Percepčný enkodér modelu má obrovský počet parametrov 1,8 miliardy, čo mu umožňuje natívne spracovávať prekladaný text, obrázky, video snímky a zvuk bez samostatných pipeline na každý modálny režim. To umožňuje vývojárom uvažovať o tom, čo vidia, počujú a čítajú, v jednom jednotnom prechode, čo ho robí ideálnym pre pracovné postupy zahŕňajúce screenshoty, diagramy, chybové záznamy a video návody.

Muse Riedke smerovanie MoE v Spark Open aktivuje len 42 miliárd z celkových 816 miliárd parametrov na token, čím poskytuje agentickú schopnosť frontier za zlomok nákladov na obsluhu hustých modelov v rovnakom rozsahu. To je obzvlášť užitočné pri veľkorozmerných výrobných nasadeniach, kde sú výpočtové zdroje obmedzené.

Platforma NVIDIA GB300 NVL72 má rackovú architektúru, ktorá integruje 72 Blackwell Ultra GPU do jednej platformy. Jej obrovská šírka pásma 130 TB/s umožňuje efektívnu komunikáciu medzi expertnou prevádzkou, čím eliminuje úzke miesta, ktoré sa objavujú pri tradičných bežných sieťach.

Optimalizovaný výkon Muse Spark Open na NVIDIA GB300 NVL72 bol preukázaný, že poskytuje až 50K tokenov za sekundu na GPU a až 600 tokenov za sekundu na používateľa. To umožňuje AI fabrikám spúšťať veľké parametrové modely v produkcii s vysokou priepustnosťou a nízkou latenciou, čo z neho robí atraktívne riešenie pre vývojárov, ktorí chcú nasadiť agentické kódovacie workflowy.

Muse Spark Open môže byť nasadený pomocou viacerých inferenčných zásobníkov podporovaných NVIDIA, vrátane SGLang, vLLM a TensorRT LLM. Tieto zásobníky poskytujú priamu kontrolu nad konfiguráciou servisu, paralelizáciou a dávkovaním na platforme NVIDIA pre akcelerované výpočty, čo umožňuje vývojárom doladiť nasadenia pre optimálny výkon.

Vývojári môžu posttrénovať Muse Spark Open pomocou NVIDIA NeMo AutoModel, natívnej školiacej knižnice PyTorch, ktorá podporuje plné finé doladenie SFT a LoRA hneď po vysadení. To umožňuje rýchle experimentovanie v širokej škále prípadov špecifických pre odvetvie bez potreby konverzie modelu alebo pretrénovania od nuly.

Na začiatok s GPU-akcelerovaným Muse Spark Open si vývojári môžu stiahnuť váhy NVFP4 z Hugging Face alebo vyskúšať stiahnuteľný NVIDIA NIM pre produkčné nasadenia. NIM redukuje nastavenie na jeden príkaz a automaticky vyberá najlepšie servisné backend a presnosť pre detekovaný hardvér.