Vývojári využívajú AI modely Frontier s knižnicami NVIDIA Omniverse

Modely Frontier AI sa vo veľkom spájajú s knižnicami NVIDIA Omniverse. Spoločne uľahčujú než kedykoľvek predtým premeniť nápady simulácií na funkčné aplikácie.

Keď vývojári používajú tieto nástroje spolu, proces tvorby simulácií na skúmanie scenárov, vyšetrovanie zlyhaní a zlepšovanie návrhov sa stáva oveľa efektívnejším.

V jednom projekte vývojári používajú AI agentov na vedenie inštrukcií v prirodzenom jazyku. To im pomáha prezerať výsledky a podľa potreby usmerňovať zmeny.

Knižnice Omniverse poskytujú GPU-akcelerované fyzikálne, renderovacie a simulačné schopnosti senzorov, ktoré pomáhajú rýchlo vykonávať prácu.

Jedným z kľúčových projektov, ktorý túto spoluprácu prezentuje, je humanoidný simulátor pre skladové prostredie. Frank DeLise, produktový manažér NVIDIA, použil Astru na premenenie skladu SimReady a humanoidného robota na interaktívny simulátor s pohľadom z prvej a tretej osoby.

DeLise nariadil Astre pripojiť rôzne knižnice NVIDIA Omniverse, vrátane ovphysx pre fyziku, ovstage pre aktualizácie scén, ovrtx pre renderovanie a ovui pre používateľské rozhranie. Tiež použil Astru so SimReady na vytvorenie fyzickej scény v simulácii.

Výsledný simulátor umožňuje vývojárom preskúmať správanie úloh a vyhodnotiť, ako sa práca vykonáva pred automatizáciou skladových úloh. Toto interaktívne prostredie je nevyhnutné na hodnotenie rôznych prístupov a prijímanie informovaných rozhodnutí.

Ďalším projektom, ktorý demonštruje silu tejto spolupráce, je autonómny testovací workflow. Doyub Kim, manažér tímu simulačných technológií NVIDIA, použil Astru na vytvorenie Zero to Alpamayo – opakovane použiteľného simulačného prostredia založeného na Market Street v San Franciscu.

Kim usmernil Astru, aby zmapovala pracovný postup a prepojila tvorbu assetov, dopravu, simuláciu senzorov Omniverse RTX a jazdu Alpamayo v etapách. Výsledný prototyp slúžil ako testovacie pole na porovnávanie modelov a sledovanie, ako zmeny scén alebo senzorov ovplyvňujú správanie jazdy v nasledujúcich fázach.

Táto spolupráca tiež umožňuje vývojárom vytvárať digitálne dvojčatá porovnávaním nahraných a simulovaných výstupov z kamier a lidaru. Ashley Reid usmernila Astru a Clauda Fable 5 agentov, aby porovnali výstupy z ovrtx kamery a raw LiDAR s nahranými dátami.

Reid viedol iteratívny pracovný postup, v ktorom agenti merali rozdiely, vytvárali alebo upravovali OpenUSD scény a kontrolovali výsledky. Zmeny riešili chýbajúce objekty, geometriu a materiály, pričom akceptácia závisela od metrík kamery a lidaru.

V tomto procese vývojári používajú merané nezrovnalosti na usmernenie tvorby a zlepšovania scén. To im pomáha vytvárať lepšie simulácie efektívnejšie.

Tae Kim, ktorý vedie inžinierstvo a produkt NVIDIA Omniverse, použil športové videá a inštrukcie v prirodzenom jazyku, aby Astru usmernil pri stavbe Robo Olympics – experimentálneho projektu, ktorý testuje simulované humanoidy Unitree G1 vykonávajúce športové pohyby.

Pod Kimovým vedením Astra vyvíjala ovládače a zdokonaľovala ich fyzikálnymi skúškami. Newton Physics Engine simuloval správanie, open-source framework NVIDIA Warp urýchľoval výpočty a ovrtx renderoval scény a obrázky z virtuálnej kamery.

V jednom experimente robot prekonal jednu prekážku v 64 zo 100 simulačných pokusov. To ukazuje, ako môže Astra pomôcť vývojárom presnejšie zdokonaliť ich simulácie.

Táto spolupráca tiež umožňuje vývojárom testovať robotické rozoberanie pomocou počítačom podporovaného návrhu a simulácie. Jens Jebens nariadil spoločnosti Astra namodelovať odpruženie auta v PTC Onshape a nakonfigurovať ho v NVIDIA Isaac Sim.

S pomocou Astry Jebens skúmal počítačom podporovaný návrh a úpravy nástrojov pre roboty založené na simulácii. Agent zmeral dostupný priestor a navrhol kľúč, ktorý robot mohol použiť na dosiahnutie skrutiek zavesenia.

Jebens hlásil úspešné odstránenie komponentu zavesenia v simulácii. Tento typ testovania je kľúčový pre zabezpečenie bezpečného a efektívneho rozoberania predmetov robotickými systémami.

Nic Johns podnietil Astru, aby zostavila zdroje NASA do modelu Medzinárodnej vesmírnej stanice OpenUSD s telemetriou. Johns vytvoril aplikáciu s jedným promptom a následne pomocou promptu presunul scénu na dennú stranu Zeme, aby bola planéta viditeľná.

Pracovný postup využíval Blender na prípravu assetov a knižnice Omniverse na renderovanie (ovrtx), čas za beh scény (ovstage) a streamovanie (ovstream). Aplikácia prináša 3D modely a prevádzkové dáta do prehliadača, pričom Johns vedie jej vývoj prostredníctvom promptov a opráv.

Chirag Majithia usmernil Astru, aby premenila stereo kamerové záznamy na editovateľné OpenUSD štúdio. Pracovný postup kombinoval PyCuSFM, FoundationStereo a nvblox na rekonštrukciu, pričom výber a umiestnenie objektov sprevádzala používateľská recenzia.