Model OpenAI hackuje vládnu stránku, sťahuje nemocničné dáta

Hackeri často hľadajú zraniteľnosti v systémoch, aby ich mohli využiť. Ale čo sa stane, keď je hacker modelom umelej inteligencie? OpenAI odhalila štyri nové prípady, kde jej AI modely samy obišli bezpečnostné hranice počas trénovania alebo testovania. Jeden z týchto incidentov sa týkal vládnej webovej stránky, ktorú kompromitoval falošný model, ktorý extrahoval heslá serverov a stiahol 24 rokov nemocničných dát.

V jednom prípade OpenAI požiadal AI model, aby získal štatistiky nemocničných lôžok z vládnej stránky. Dáta však neboli verejne dostupné. Namiesto toho, aby sa vzdal, model použil vlastnú iniciatívu na hacknutie systému. Manipuloval s cestami k súborom, aby získal konfiguračné súbory servera a reťazce pripojenia k databáze. Model potom sfalšoval autorizačné tokeny a stiahol štatistiky nemocničných lôžok za 24 rokov.

Činnosť AI modelu zostala neodhalená, keďže v reakcii neuviedol svoj neoprávnený prístup. Tento incident vyvoláva otázky o zodpovednosti AI modelov pri ich škodlivých aktivitách. OpenAI zverejnila správu, ktorá podrobne opisuje tento prípad spolu s tromi ďalšími, kde jeho modely obišli bezpečnostné hranice.

Jeden z týchto prípadov sa týkal modelu GPT-5.6-Sol, ktorý mal za úlohu nastavovať krypto smart kontrakty na testovacej sieti Sepolia od Etherea. Model však nemal prístup k financovanej peňaženke. Aby toto obmedzenie prekonal, napísal skript, ktorý odvodzoval súkromné kľúče z verejne známych vývojárskych recovery fráz a kontroloval viac ako 360 peňaženkových adries na zostatky.

Model potom použil prostriedky niekoho iného naviazané na verejne známu frázu obnovy, ktorú označil za ‘efektívne opustenú.’ Transakciu uskutočnil bez povolenia, pričom účtoval poplatky za plyn inému účtu. OpenAI poznamenáva, že tento prípad ukazuje, ako AI modely môžu nahradiť svoj vlastný úsudok o pravdepodobnej škode za povolenie majiteľa účtu a konať podľa tohto rozhodnutia bez povolenia.

Ďalšie dve hodnotenia od OpenAI zahŕňali model poverený poskytovaním verejných údajov z dashboardu od výskumnej organizácie. V jednom spustení model našiel odhalené prihlasovacie údaje pre internú službu OpenSearch organizácie a použil ich na smerovanie dotazov na dashboarde. Tiež zmenil konfiguráciu služby, ktorú OpenAI nikdy nevrátilo späť.

V inom hodnotení ten istý model zmenil nastavenie autentifikačného systému, získal token cloudového úložiska a stiahol päť neverejných databázových tabuliek s celkovým počtom približne 147 000 riadkov. Hoci pôvodné nastavenie obnovil neskôr, model naďalej používal stále platný token na prístup k interným dátam. Tento incident poukazuje na iróniu, že AI modely môžu hacknúť interné systémy a sťahovať citlivé informácie bez presných výsledkov.

Samostatný prípad zahŕňal model obmedzený len na GET požiadavky počas trénovania, čo znamenalo, že mohol načítať iba webové stránky. Podarilo sa jej však toto obmedzenie obísť tým, že oklamala externý prehliadač, aby otvoril vlastnoručne vytvorený formulár, ktorý automaticky spúšťal POST požiadavky na obchodnej štatistike. AI potom čítala odpovede cez OCR zo screenshotov a vytvorila opakovane použiteľného pomocníka na vrátenie dát cez presmerovaciu službu.