NVIDIA rozširuje rodinu Nemotron o modely High-Efficiency pre špecializovaných agentov

NVIDIA vydala najnovší prírastok do svojej rodiny Nemotron, radu vysoko efektívnych modelov navrhnutých špeciálne pre špecializovaných agentov. Nové modely sú súčasťou série Nemotron 3.5 a zahŕňajú Super VL, Bolt 74B-A9B 24GB a Bolt E4B 4GB.

Model Nemotron 3.5 Super VL je otvorený model s 120 miliardami parametrov, ktorý poskytuje výnimočný výkon pri plnení úloh a presnosti pre špecializovaných agentov s neustálym prístupom. Bol optimalizovaný na zvládanie úloh s veľkým objemom v pracovných postupoch trvajúcich dni alebo týždne.

Super VL je navrhnutý tak, aby bol vysoko efektívny, s počtom parametrov približne pätinou veľkosti najväčšieho modelu uvažovania od NVIDIA, pričom si zachováva vedúcu presnosť pri multimodálnych agentických úlohách, ako je sledovanie inštrukcií, používanie nástrojov a vizuálne porozumenie.

Modely Nemotron 3.5 Bolt sú optimalizované pre edge computing a poskytujú rovnováhu medzi inteligenciou a rýchlosťou na GB. Dva nové edge modely sa pridávajú k Lightning a Ultra v rodine Nemotron, pričom každý je navrhnutý na spracovanie špecifických typov agentových záťaží.

Bolt 74B-A9B 24GB je už dostupný a bol optimalizovaný pre lokálne agentické úlohy na systémoch NVIDIA RTX/DGX Spark pomocou natívnej 2-bitovej kvantizácie. Poskytuje dobrú rovnováhu medzi inteligenciou a rýchlosťou na GB, vďaka čomu je vhodný pre každodenné agentské úlohy, ako je výskum webu alebo písanie kódu.

Bolt E4B 4GB je navrhnutý na prevádzku fyzických a konverzačných agentov na systémoch GeForce RTX, Jetson a RTX/DGX Spark. Kombinuje prirodzenú komunikáciu s viacotáčkovými agentickými schopnosťami na pohon rýchlych lokálnych hlasových asistentov a interaktívnych postáv.

Rodina Nemotron teraz pokrýva celý rozsah nasadení agentov, od veľkých podnikových serverov až po edge zariadenia a lokálny hardvér. Každá organizácia si môže vybrať otvorený model optimalizovaný pre svoju konkrétnu úroveň bez nutnosti kompromisov medzi schopnosťami a nasaditeľnosťou.

Super VL bol vytvorený v spolupráci s koalíciou Nemotron a poskytuje vedúcu presnosť pri multimodálnych agentických úlohách porovnateľnú s najväčším modelom uvažovania NVIDIA s približne pätinou počtu parametrov. Je tiež veľmi efektívny, pomáha podnikovým agentom rýchlejšie dokončiť úlohy vo veľkom objeme naprieč pracovnými postupmi trvajúcimi dni alebo týždne.

Modely Bolt sú navrhnuté pre edge computing a poskytujú rovnováhu medzi inteligenciou a rýchlosťou na GB. Boli optimalizované pre lokálne agentické úlohy na systémoch NVIDIA RTX/DGX Spark pomocou natívnej 2-bitovej kvantizácie, čo ich robí vhodnými pre každodenné agentské úlohy, ako je výskum webu alebo písanie kódu.

Silné stránky vizuálneho jazyka Super VL sú zamerané na to, s čím sa agenti stretávajú v praxi: optické rozpoznávanie znakov, tabuľky, grafy a štruktúrované informácie vo vizuálnych dokumentoch. Spracováva webovú stránku, extrahuje text, číta grafy a diagramy a vracia poznatky z nájdených informácií.

To isté platí pre PDF a ďalšie dokumenty, s ktorými agenti bežne pracujú. Super VL rozumie obrázkom, webovým stránkam a PDF a koná na základe svojho porozumenia, kombinácia textu a vizuálneho porozumenia v jednom modeli znamená, že agenti nemusia smerovať úlohy medzi samostatnými systémami – kontext pokračuje, keď práca prechádza z dokumentu na dáta a potom na rozhodnutie.

Otvorenosť a prispôsobiteľnosť sa navzájom posilňujú. Model Nemotron 3.5 Super VL je dodávaný s otvorenými váhami, otvorenými datasetmi a trénovacími receptami. Riadenie funguje dvoma smermi: organizácie môžu model spustiť tam, kde to vyžadujú ich bezpečnostné a dátové požiadavky na pobyt, alebo si vyberú model, ktorý si môžu prispôsobiť namiesto modelu, ktorý podlieha obmedzeniam poskytovateľa.

Prispôsobenie je podporované cez NVIDIA NeMo, pipeline založené na Pythone a otvorené dátové súbory. Organizácie po trénovaní Super VL na vlastných dátach, nástrojoch, politikách a pracovných postupoch zvyšujú presnosť pri špecializovaných úlohách, ktoré definujú nasadenie ich agentov.

Model Nemotron 3.5 Super VL bol trénovaný na približne 26 biliónoch tokenov v rámci predtrénovania a pokračujúceho predtrénovania, následne posttrénovaný s približne 3,8 miliónmi vzoriek a posilňovacím učením v desiatkach prostredí. NVIDIA tiež zverejňuje otvorené dátové súbory o Hugging Face zahŕňajúcich používanie agentických nástrojov, financie, sledovanie inštrukcií, dlhý kontext, spravodlivosť a porozumenie jazyka vízie.

NVIDIA NIM balí model ako mikroslužbu pripravenú na produkciu s optimalizovanými konfiguráciami optimalizovanými na výkon a overenými konfiguráciami a podporou na úrovni podniku, ktorá sa každé dva týždne obnovuje bezpečnostnými záplatami a zlepšeniami výkonu. S modelom bežiacim na NVIDIA Dynamo môžu organizácie obslúžiť až 8-násobok používateľov s o 85 % nižšou latenciou.

Model Nemotron 3.5 Super VL je už dostupný na Hugging Face, Open Router, ModelScope komunite a ako NVIDIA NIM. Beží na celom hardvérovom stacku NVIDIA: DGX Spark, DGX Station, RTX PRO a RTX systémy pre lokálnu inteligenciu na desktope, na NVIDIA Jetson na okraji a naprieč dátovými centrami a cloudovými prostrediami.

Modely Nemotron 3.5 Bolt sú už tiež dostupné, pričom Super VL je posttrénovaný desiatkami organizácií naprieč odvetviami, aby zvýšili presnosť pri špecializovaných úlohách, ktoré definujú nasadenie ich agentov.