Čipy a infraštruktúra pre AI

Spôsob vývoja softvéru prešiel v posledných rokoch významnou transformáciou vďaka vzniku agentov umelej inteligencie (AI). Tieto inteligentné nástroje prevzali väčšinu programovacích úloh od vývojárov, ktorí sa teraz sústreďujú na ich usmerňovanie namiesto písania každého riadku kódu ručne.

V dôsledku toho je súčasný pracovný postup vývoja AI často rozdelený medzi viaceré platformy, vrátane notebookov, cloudových modelových API a cloudových virtuálnych strojov (VM). NVIDIA však predstavila RTX Spark, systém navrhnutý na zjednodušenie tohto procesu tým, že vývojárom umožňuje spúšťať lokálne kódovacie agenty, pristupovať k AI frameworkom a kódovať, testovať a nasadzovať na jednom stroji.

RTX Spark je postavený na systéme NVIDIA GB10 na čipe a má veľkú jednotnú pamäť. Táto architektúra umožňuje vývojárom efektívne pracovať s vybranými operačnými systémami (OS), vrátane Windows alebo Linuxu, bez nutnosti migrovať kód medzi rôznymi prostrediami.

Jednou z hlavných výhod RTX Spark je jeho schopnosť podporovať lokálnych kódovacích agentov priamo na zariadení. Vývojári si môžu vybrať z radu najlepších vývojových frameworkov predinštalovaných vo Windows Developer Config, vyvinutom v spolupráci s Microsoftom, ktorý zahŕňa nástroje ako GitHub Copilot a Pi.

Zariadenia RTX Spark sú dostupné ako notebooky alebo kompaktné stolné počítače, čo vývojárom uľahčuje dokončiť všetky pracovné úlohy na jednom stroji. Tým sa eliminuje potreba prepínania medzi rôznymi platformami, čím sa skracuje čas vývoja a zvyšuje produktivita.

Výkon systému je tiež pozoruhodný vďaka schopnostiam NVIDIA GPU. S až 128GB jednotnej pamäte a 1 petaflopom FP4 AI výpočtov môžu vývojári spúšťať kódovacie modely lokálne bez závislosti na cloudových zdrojoch. To znižuje spotrebu tokenov cloudových kódovacích agentov a umožňuje rýchlejšie vývojové cykly.

Posun smerom k záťažiam viazaným na GPU bol v posledných rokoch významný. Dnešní vývojári AI potrebujú výkonný hardvér na podporu inferencie, doladenia a kompilácie. RTX Spark spĺňa tieto požiadavky kombináciou NVIDIA Grace CPU a Blackwell GPU, pričom poskytuje 4,6x výkon na kódovacích agentoch, 2,7x výkon pri jemnom dolaďovaní a 1,8x výkon pri kompilácii kódu v porovnaní s Intel Panther Lake 12Xe.

NVIDIA úzko spolupracovala s Microsoftom na rozvoji vývojárskeho prostredia Windows on Arm. Partnerstvo viedlo k vydaniu viacerých nových nástrojov pre RTX Spark, vrátane prvej svojho druhu zostavy PyTorch-CUDA a natívnej podpory Pythonu cez Python 3.15. Pre vývojárov je tiež dostupných viac ako 2 000 pripravených balíčkov Conda.

Vývoj na hardvéri NVIDIA prináša niekoľko výhod, najmä pokiaľ ide o prístup k najväčšiemu ekosystému vývojárskych nástrojov. To zahŕňa AI modely, frameworky a programovacie agenty, ktoré je možné používať priamo so zariadeniami RTX Spark. V dôsledku toho nové nástroje a frameworky zvyčajne fungujú na NVIDIA bez problémov od prvého dňa, čím sa znižuje čas a úsilie pri vývoji.

NVIDIA poskytuje vývojárom rozsiahle zdroje na tvorbu aplikácií akcelerovaných GPU bez nutnosti hlbokej znalosti CUDA. Repozitár NVIDIA Skills spoločnosti učí agentov, ako používať knižnice CUDA-X, čo im umožňuje čo najlepšie využiť možnosti RTX Spark.

Zariadenia RTX Spark sú ideálne pre lokálnych kódovacích agentov vďaka svojmu výkonnému hardvéru a optimalizovanému softvérovému stacku. Niekoľko špičkových agentov bolo vylepšených a zjednodušených na používanie na týchto systémoch, vrátane GitHub Copilot, Pi, Hermes a OpenClaw.

Vylepšenia zahŕňajú bezproblémové nasadenie lokálnych modelov s optimalizovanými receptami, zvýšenú bezpečnosť prostredníctvom NVIDIA OpenShell alebo Microsoft Execution Containers a hybridné prompt routery medzi lokálnymi a cloudovými modelmi. To umožňuje vývojárom pracovať efektívne bez obáv o spotrebu tokenov alebo výkon modelu.

Microsoft GitHub CoPilot teraz podporuje bezproblémový lokálny vývoj AI na Windows ML, ktorý je podporovaný modelom llama.cpp ako backend. Router promptov HydraFusion bol tiež vylepšený na podporu lokálnych modelov. Okrem toho môže MAI 1.1 Coding Flash bežať lokálne na zariadeniach RTX Spark.

Taiwan údajne plánuje investovať miliardy dolárov do rozvoja priemyselných parkov v USA, so zameraním na vybudovanie komplexného dodávateľského reťazca pre veľkých hráčov ako Nvidia Corp. a ďalších výrobcov hardvéru umelej inteligencie. Iniciatíva začína komplexom v Texase, ktorého výstavba by podľa taiwanského Minister of Economic Affairs Kung Ming-hsin stála približne 4 miliardy dolárov.

Očakáva sa, že tieto zariadenia pomôžu menším dodávateľom, ktorí sú nevyhnutní pre prevádzku hlavného výrobného partnera Nvidie, Taiwan Semiconductor Manufacturing Co., a AI serverových assemblerov ako Foxconn Technology Group. Tieto spoločnosti budú môcť vďaka novej infraštruktúre zriaďovať svoje pobočky v USA. Tento krok je vnímaný ako strategický krok k posilneniu vzťahov medzi Taiwanom a USA.

Taiwan tiež sprísňuje vývozné kontroly čipov umelej inteligencie, aby vyhovoval americkým obmedzeniam. Krajina plánuje pridať AI servery a špičkové polovodiče na svoj zoznam kontrolovaných položiek podľa zákona o zahraničnom obchode. Preprava obmedzeného AI hardvéru do Číny sa po nadobudnutí účinnosti opatrení stane trestným činom, uviedol minister Kung. Tento krok je súčasťou snah Taiwanu dodržiavať Dohodu o recipročnom obchode podpísanú s USA tento rok.

Vývoj prichádza v čase, keď niekoľko taiwanských spoločností nedávno získalo schválenie na významné investície v USA. Quanta Computer dostala schválenie na investíciu 973 miliónov dolárov na podporu montáže serverov a periférneho vybavenia v Tennessee, zatiaľ čo Wistron dostal zelenú na investíciu 150 miliónov dolárov do americkej dcérskej spoločnosti, ktorá montuje dosky plošných spojov. Spoločnosť tiež plánuje minúť ďalších 146 miliónov dolárov na renováciu závodu v Texase.

Plánovaná investícia TSMC vo výške viac ako 265 miliárd dolárov v USA je oddelená od oznámenia ministra hospodárstva Taiwanu minulý mesiac, že taiwanské spoločnosti plánujú ďalšie investície vo výške 20 miliárd dolárov v krajine, poháňané silným dopytom po aplikáciách a polovodičových produktoch. Nvidia sa vo veľkej miere spolieha na dodávateľov ako TSMC, SK hynix, Samsung Electronics a Micron Technology pri výrobe čipov a pamäti, zatiaľ čo jej hlavnými zákazníkmi sú Microsoft, Amazon a Meta Platforms.

HP uviedla na trh mobilnú pracovnú stanicu, ktorá spochybňuje predstavu, že seriózne AI modely môžu bežať iba v cloudových prostrediach. HP Zbook Ultra G3a je postavený na procesore AMD Ryzen AI Max Pro a obsahuje až 192 GB jednotnej pamäte, pričom významná časť – 160 GB – je pridelená GPU.

Posun k lokálnemu spúšťaniu veľkých AI modelov na notebookoch alebo stolných počítačoch by mohol mať ďalekosiahle dôsledky pre dizajnérske tímy. Mohli by pracovať efektívnejšie bez toho, aby sa úplne spoliehali na cloudové riešenia. Diskusia o AI v architektúre, inžinierstve a stavebníctve sa už dlho sústreďuje na cloudové možnosti.

David McAfee z AMD hovoril s HP o novej pracovnej stanici počas jej uvedenia na trh. Jednou z kľúčových tém bolo, ako by lokálny model AI konkuroval iným aplikáciám náročným na zdroje, ktoré bežia súčasne. McAfee poznamenal, že výkon môže byť ovplyvnený, keď viaceré úlohy bojujú o zdroje, no uistil nás, že to nie je neprekonateľné.

Zbook Ultra G3a efektívne využíva LPDDR pamäť, ale neskôr ju nie je možné upgradovať, čo môže byť problém, keďže požiadavky na AI sa neustále menia. Firmy musia starostlivo zvážiť svoje hardvérové potreby pri plánovaní budúcnosti a očakávať, že sa tieto potreby časom zmenia. Táto mobilná pracovná stanica je testovacím poliskom pre to, ako firmy pristúpia k obstarávaniu hardvéru.

Rozhovor McAfee s HP sa týkal aj práce AMD na profesionálnych ovládačoch pre Radeon GPU a kódovaní s pomocou AI. Spoločnosť vyvíja ovládače, ktoré dokážu využiť jej platformu ROCM, čo uľahčuje portovanie aplikácií vytvorených pre Nvidia CUDA, na architektúru AMD. To by mohlo byť prelomové pre firmy, ktoré chcú zaviesť AI nástroje.

AMD si predstavuje budúcnosť, v ktorej budú mať používatelia viacero možností výpočtu podľa svojich konkrétnych potrieb a pracovných postupov. Skúmajú všetko od špičkových desktopov až po cloudové riešenia, pričom hp zbook ultra g3a je niekde medzi nimi. Spoločnosť to vníma ako príležitosť poskytnúť zákazníkom väčšiu flexibilitu a výber.

Diskusia o zavedení AI priamo na zariadenie sa dotkla aj nástrojov na analýzu dát a toho, ako ich môžu využívať firmy, ktoré nepotrebujú plnohodnotný lokálny model bežiaci neustále. Modely LLM by mohli slúžiť najmä ako sudcovia alebo rozhodovatelia v rámci väčších pracovných tokov, čo firmám umožňuje získavať poznatky bez nutnosti nastavovať zložité cloudové riešenia.