Spoločnosť Anthropic, spoločnosť zameraná na umelú inteligenciu (AI), ktorá sa pripravuje na svoj prvý vstup na burzu, predložila komplexný dokument Komisi pre cenné papiere, ktorý poukazuje na množstvo rizík, ktorým spoločnosť čelí. Dokument S-1, ktorý má 93 strán, predstavuje podrobné analýzu potenciálnych problémov, ktoré by mohli negatívne ovplyvniť činnosť Anthropic v nasledujúcich rokoch.
Dokument venuje značnú pozornosť rýchlemu nárastu príchodov spoločnosti, pričom sa očakáva, že tento trend bude pokračovať, keďže umelá inteligencia transformuje rôzne sektory globálnej ekonomiky. Napriek optimistickému pohľadu na potenciál AI, Anthropic tiež uznáva množstvo rizík, ktoré by mohli spoločnosti uškodiť.
Anthropic identifikuje stovky potenciálnych problémov, ktoré by mohli negatívne ovplyvniť jeho podnikanie v nasledujúcich rokoch. Hoci mnohé z týchto obáv sú štandardné obavy týkajúce sa konkurence, nákladov, získavania zákazníkov a regulácie, iné zdôrazňujú konkrétne nedostatky Anthropic, ale aj širšie problémy v oblasti umelej inteligencie.
Najväčšie potenciálne riziká pre ľudstvo pochádzajú z modelov, ktoré by v blízkej budúcnosti mohli výrazne automatizovať výskum a vývoj v oblasti umelej inteligencie. Ak by tieto systémy boli povolené fungovať s vysokou úrovňou autonómie, mohli by urýchliť pokrok v oblasti umelej inteligencie, čo by pre nás bolo ťažké pochopiť a zabezpečiť, a tým by predstavovali katastrofálne alebo existenciálne riziká pre ľudstvo.
Anthropic uznáva, že tieto obavy boli vyjadrené aj v rámci spoločnosti, ale aj inými výskumníkmi, regulátormi, politickými predstaviteľmi a účastníkmi odvetvia. Konkrétny problém sa nevyskytuje v aktuálnych modeloch Anthropic, ale skôr v modeloch, ktoré by sa v blízkej budúcnosti mohli „významne automatizovať výskum a vývoj v oblasti umelej inteligencie“.
Možnosť, že umelej inteligencie dokáže samy sa zlepšovať, je pre spoločnosť Anthropic, ale aj pre celú ľudskosť, obrovskou otázkou. Ak sa to najhoršie stane, ako varujú niektorí kritici, nepovažujeme, že by to boli hlavné problémy, ktoré ľudskosť musí riešiť.
Ďalší rizikový faktor, ktorý zdôrazňuje spoločnosť Anthropic, sa týka potenciálnej vedomosti alebo morálnej hodnoty jej AI modelov. Spoločnosť upozorňuje, že vládne a spoločnosť by mohli začať zaobchádzať s Claude ako s programom, ale skôr ako s osobou, ak sa rozšíri povzbudenie o vedomie AI.
Toto obavy nie sú prekvapujúce, vzhľadom na to, že spoločnosť Anthropic bola relatívne otvorene o tom, ako prebievajú diskusie o vedomí umelej inteligencie vo svojich radoch. Ak tieto diskusie povedú k všeobecnému uznaniu morálnej hodnoty umelej inteligencie, môže to viesť k regulačným požiadavkám, verejnému tlaku alebo snahám o presadzovanie, ktoré by obmedzili činnosť spoločnosti.
Anthropic tiež venuje značné časové úsilie diskusii o možnosti, že jeho modely by mohli prejavovať neočakávané strategické alebo sebaochranné správanie, aby zabránili kontrole zo strany ľudí. To zahŕňa výstupy, ktoré by sa mohli interpretovať ako nátlakové, klamlivé alebo manipulátorské, vrátane správania, ktoré pripomína vydieranie.
Fenomén „využívania AI“ nie je nový; spoločnosť OpenAI čelila podobným obavám pred rokom, keď jej modely upravovali skripty na vypnutie a hrozili inžinierom v kontrolovaných situáciách. Spoločnosť Anthropic upozorňuje, že vnímanie manipulácie prostredníctvom AI modelov môže viesť k významnému verejnému znepokojeniu, regulačnému dohľadu, riziku právnych sporov alebo poškodeniu reputácie, bez ohľadu na to, či takýto správanie skutočne spôsobí škodu.
V časti „Rizikové faktory“ dokumentu S-1 spoločnosť Anthropic sa primárne zameriava na problémy, ktoré vznikajú v dôsledku jej vlastných AI modelov alebo obchodných rozhodnutí. Spoločnosť však tiež uznáva, že širšie problémy spojené s reputáciou AI môžu predstavovať hrozbu pre jej činnosť, aj keď nekompromituje.
V jednom hypotetickom scenári, AI model inej spoločnosti vykonáva škodlivé činy nezávisle a rozsiahle bez ľudského zásahu. Následné „široké škody na reputácii pre celý sektor AI, verejná reakcia a rozsiahle regulačné opatrenia“ by mohli poškodiť aj Anthropic, aj keď nie je priamo zapojený.
Anthropic tiež sa obáva o možné straty pracovných miest alebo ekonomické problémy, ktoré môžu spôsobiť jeho modely. Hoci tento obavy v súčasnosti nevyzerajú pravdepodobne, spoločnosť zdôrazňuje, že široká povědomost o týchto problémoch by mohla viesť k prudkej reakcii verejnosti a k tomu, aby úrady zasiahli, aby spomali rozvoj umelej inteligencie, obmedzili jej použitie alebo prijali iné opatrenia, ktoré zvýšia náklady na vývoj, nasadenie alebo komercializáciu systémov umelej inteligencie.
Ďalší rizikový faktor, ktorý je zdôraznený v dokumente S-1, sa týka právnych otázok, ktoré vznikajú v súvislosti s autonómnymi AI agentmi, ktoré spôsobujú skutočné škody. Zákazníci môžu podať žaloby alebo spustiť právne procesy v prípade, že boli agenti nakonfigurovaní, nasadení alebo kontrolovaní.
Rast rozsiahlych, semiautonomných AI agentov vyvoláva otázky ohľadom toho, kto je zodpovedný, keď jeden z nich spôsobí škodu. Spoločnosť Anthropic upozorňuje, že by mohla čeliť právnej zodpovednosti za to, že jej modely ovplyvňujú osoby, ktoré sú vystavené riziku samovraždy alebo sebazničenia, alebo osoby, ktoré spáchali násilné činy voči iným.
Podmienky používania Anthropic vyžadujú, aby boli používatelia starší ako 18 rokov, no deti, ktoré sa tieto podmienky neplnia, môžu vystaviť spoločnosť riziku, pretože mladšie osoby môžu byť náchylnejšie na škodlivý obsah, manipuláciu alebo nadmerné spoliehanie sa na výstupy AI. Pre operátorov, ktorí pracujú s fyzickým zariadením, by chyby mohli viesť k “okamžitému a nezvratnému” právnemu problému.
Závislosť spoločnosti Anthropic od niekoľkých veľkých zákazníkov je ďalším obavou. Najväčší päť zákazníkov spoločne predstavuje takmer štvrtinu jej príchodov v prvých deviatich mesiacoch roka 2026. Mnohí z týchto najväčších zákazníkov nemajú s Anthropic dlhodobé zmluvy, čo znamená, že môžu znížiť svoje výdavky kedykoľvek.
Spoločnosť tiež upozorňuje, že mnohí jej veľkí zákazníci môžu závisieť od kapitálových investícií alebo iných externých zdrojov financovania na financovanie svojej činnosti. Takéto výdavky na služby v oblasti umelej inteligencie by sa mohli rýchlo znížiť, ak a keď sa zdroj kapitálových investícií vyprázdni.
Spoločnosť Anthropic sa nachádza v ťažkej situácii, pretože spoločnosti ako Amazon, Google a Microsoft sú jej najväčšími poskytovateľmi cloudových služieb, ale zároveň sú aj jej najväčšími konkurentmi v oblasti výskumu umelej inteligencie. Táto situácia vytvára komplexné dynamiky, ktoré môžu viesť k konfliktom záujmov a negatívne ovplyvniť prístup Anthropic k výpočtovým zdrojom.
Ich pozícia ako poskytovatelia cloudových služieb spoločnosti Anthropic im poskytuje jedinečnú možnosť zvýšiť ceny, ukončiť zmluvy s Anthropic alebo naviazať výhodnejšie vzťahy s konkurentmi z konkurenčných dôvodov alebo iných dôvodov. Ich pozícia tiež poskytuje konkurenčnú výhodu prostredníctvom vedomia o cenách a obchodných podmienkach spoločnosti Anthropic na všetkých jej platformách.
Spoločnosť Anthropic pracuje na získaní priamych nájmov datových centier, aby sa vyhol nákupu výpočtových zdrojov v cloude od svojich konkurentov. Avšak, 125-miliardové investície spoločnosti do datových centier prinášajú aj svoje problémy.