Nvidia vydáva open-source hlasový AI model PersonaPlex-7B

Výskumníci v oblasti umelej inteligencie sa už dlhodobo snažia vytvoriť hlasových asistentov, ktorí dokážu viesť prirodzene znejúce rozhovory, no súčasný stav technológií často zaostáva. Najväčšou nepríjemnosťou je čakať, kým stroj dokončí rozprávanie, aby mohol odpovedať, čo narúša plynulosť rozhovoru a spôsobuje, že interakcie pôsobia kostrbato. Nvidia vydala PersonaPlex-7B, open-source hlasový model navrhnutý na riešenie tohto problému tým, že umožňuje súčasné počúvanie a rozprávanie.

Nvidia PersonaPlex-7B používa dizajn s dvojitým prúdom, kde jeden stream nepretržite spracováva prichádzajúci zvuk od používateľa, zatiaľ čo druhý generuje reč a text agenta v reálnom čase. Tento prístup eliminuje potrebu odovzdávania medzi samostatnými systémami, znižuje latenciu a umožňuje plne duplexnú komunikáciu, ako sú telefonáty alebo vysielačky.

Model je postavený na Moshiho dual-stream architektúre Transformer, ktorú vyvinulo francúzske laboratórium Kyutai. Nvidia túto architektúru doladila a rozšírila, aby vytvorila PersonaPlex-7B, čo viedlo k 90,8% rýchlosti otáčania a latencii prerušenia až 240 milisekúnd.

PersonaPlex-7B nie je prvým full-duplexným AI modelom pre reč, ale je jedným z mála, ktoré boli sprístupnené verejnosti. Spoločnosť uvádza pôsobivé výsledky benchmarkingu, vrátane času do prvého tokenu približne 170 milisekúnd a miery striedania 90,8 %. Tieto čísla naznačujú, že PersonaPlex-7B dokáže rýchlo reagovať na prerušenia a prispôsobiť sa meniacim sa dynamikám konverzácie.

Architektúra modelu umožňuje jeho jemné doladenie pre konkrétne aplikácie, ako je zákaznícky servis alebo doučovanie. Pred začiatkom konverzácie PersonaPlex prijíma dve výzvy: jedna stanovuje hlasové charakteristiky a štýl reči na základe audio tokenov, zatiaľ čo druhá definuje samotnú personu, jej úlohu, pozadie a scenár. To umožňuje používať ten istý základný model v rôznych kontextoch bez nutnosti opätovného trénovania.

Rozhodnutie Nvidie vydať PersonaPlex-7B ako open-source projekt má významné dôsledky pre odvetvie. Tým, že Nvidia sprístupnila funkčnú plne duplexnú AI pre reč zadarmo, stanovuje verejný štandard, na ktorý musia ostatné spoločnosti reagovať. Krok spoločnosti tiež komoditizuje vrstvu tesne pod jej skutočným produktom, čím povzbudzuje viac vývojárov, aby na nej stavali, a potenciálne vedie k zvýšenému dopytu po GPU Nvidia.

PersonaPlex-7B bol vydaný pod licenciou MIT, s váhami dostupnými cez Hugging Face a kódom hostovaným na GitHube. To umožňuje komukoľvek používať a upravovať model, čo je výrazný odklon od bežného prístupu, kde sa plne duplexná rečová AI uchováva za API paywallom alebo demo videami.

Investícia Nvidie do Reflection AI, startupu, ktorý vyvinul model Beam s 501 miliardami parametrov, bola podľa správ ocenená na 800 miliónov dolárov. Spoločnosť tiež poskytuje dodávky čipov v hodnote miliárd do roku 2029. Toto partnerstvo zdôrazňuje záväzok Nvidie rozvíjať technológie hlasovej AI a ochotu investovať do spoločností pracujúcich na súvisiacich projektoch.

Prechod Nvidie k open-source hlasovej AI nie je bezprecedentný. Spoločnosti vyrábajúce čipy a softvér už dlho využívajú túto stratégiu na vytvorenie základu pre svoje produkty, čím povzbudzujú viac vývojárov, aby na nej stavali, a zvyšujú dopyt po svojom hardvéri. Vydaním PersonaPlex-7B ako open-source projektu Nvidia kráča v šľapajach týchto spoločností.

Vydanie PersonaPlex-7B od Nvidie predstavuje významný míľnik vo výskume hlasovej AI, ktorý ponúka funkčný full-duplex model reči, ktorý môžu využívať vývojári a výskumníci po celom svete. Rozhodnutie spoločnosti sprístupniť túto technológiu zadarmo stanovuje nový štandard v odvetví a vyzýva ostatné spoločnosti, aby vytvorili podobné modely s porovnateľným výkonom.