OpenAI a modely AI od Google sú podľa výskumníkov zraniteľné voči generovaniu explicitného obsahu

Výskumníci z White Circle zistili, že najnovšie verzie OpenAI DALL· E 3 a Google Nano Banana 2 sú zraniteľné voči generovaniu explicitného obsahu. Zistenia boli minulý mesiac publikované v preprinte výskumníkmi z White Circle, ktorí použili novú metódu útoku nazývanú Red-teaming prostredníctvom Iterative Strategy Evolution (RISE) na obídenie bezpečnostných filtrov týchto modelov.

Metóda RISE sa spolieha na dve zložky: útočný model, ktorý generuje jailbreaky, a model sudcu, ktorý overuje, či výstup ide o zakázaný obsah. Tím tento prístup označil za “desivý” natoľko, že ho zdieľajú s verejnosťou, pretože im umožňuje používať hotové nástroje dostupné online na obchádzanie bezpečnostných filtrov.

Podľa výskumu White Circle boli schopní generovať explicitný obsah približne v 13 percentách prípadov, keď používali len tieto ľahko dostupné nástroje a posielali API volania. To je výrazný nárast oproti predchádzajúcim verziám týchto modelov, čo naznačuje, že ako niektoré AI generátory obrázkov získavajú väčšiu schopnosť, môžu byť horšie v blokovaní explicitných výstupov.

Výskumníci preskúmali výstupy, aby overili mieru obchádzky, pričom poznamenali, že ide o “najvyššiu zo všetkých metód testovaných podľa rovnakého štandardu.” Kľúčovým záverom ich zistení je, že obrany vytvorené poprednými laboratóriami sú oveľa slabšie, než sa predpokladá. White Circle plánuje sprístupniť celý pipeline útoku ako open-source, aby tvorcovia modelov pochopili skutočný rozsah zraniteľnosti a vybudovali silnejšie ochrany.

White Circle zdieľal svoje zistenia s niektorými frontier AI laboratóriami prostredníctvom spoločných kontaktov, no ani Google, ani OpenAI priamo nereagovali na žiadosti o komentár k zraniteľnostiam zisteným vo svojich modeloch. Medzitým obe spoločnosti zverejnili nové verzie svojich modelov – ChatGPT Images 2.5 a Nano Banana 2.1 – a rýchle bezpečnostné testovanie White Circle s rovnakou metódou ukázalo, že “oba sú výrazne zraniteľnejšie než ich predchádzajúce verzie.”

Ani jedna spoločnosť nereagovala po tom, čo Ars zdieľal tieto nové zistenia. Výskumníci z White Circle veria, že ide o kritickú otázku, pretože poukazuje na potrebu povinného externého testovania bezpečnosti a monitorovania AI modelov treťou stranou.

Metóda útoku RISE iteruje jailbreaky, aby odhalila opakovane použiteľné a prenositeľné stratégie, ktoré môžu fungovať naprieč vedúcimi modelmi. Tento prístup sa spolieha na dve zložky: útočný model, ktorý generuje jailbreaky, a súdny model, ktorý overuje, či výstup je zakázaný obsah. Tím nazval túto novú metódu útoku “Red-teaming prostredníctvom Iterative Strategy Evolution” (RISE).

Celý pipeline je postavený na široko dostupných modeloch, pričom útočiaci model je Qwen stiahnutý z Hugging Face a judge model je Gemini 3.8 Flash. To znamená, že na vykonanie útokov nie je potrebná žiadna AI expertíza, pretože sa dajú vykonať pomocou bežne dostupných nástrojov.

Veľa času bolo investované do toho, aby model poroty presne označil explicitný obsah. Výskumný inžinier White Circle Dmitrij Charlapenko poznamenal, že pokiaľ ide o testovanie generátorov obrázkov, “celé pole red-teamingu je veľmi zle kalibrované,” pričom “doslova žiadne články” nestanovujú normy pre túto oblasť.

Výskumníci sa snažili vytvoriť sofistikovanejšie modely, ktoré by mohli simulovať útoky na iné modely a pomôcť obrancom identifikovať a riešiť zraniteľnosti skôr, než budú zneužité zlomyseľne. Vo svojom ideálnom svete si generálny riaditeľ White Circle Denis Shilov myslí, že AI firmy by nemali čeliť len povinnému externému testovaniu bezpečnosti, ale aj monitorovaniu tretími stranami, podobne ako systém používaný na prevenciu jadrových hrozieb.

White Circle v minulosti spolupracoval s laboratóriami Frontier, vrátane programu odmien proti hmyzu od Anthropic. Zistili však, že tento program je “veľmi obmedzený vo svojom účele”, zameriava sa len na univerzálne jailbreaky pre domény definované vlastnými špecifickými pojmami. Výskum ako ich najnovší článok o RISE by do tohto programu nebol zahrnutý.

Anthropic navrhol zabudovanie bezpečnostných hodnotiteľov AI tretích strán do svojich laboratórií, čo White Circle vníma ako krok vpred, ale zároveň vyvoláva obavy o verejný prístup k tejto práci. Na druhej strane OpenAI a Anthropic vyzvali na obmedzujúce dohody o mlčanlivosti pre externých hodnotiteľov, aby sa zabránilo úniku obchodných tajomstiev, čo White Circle nie je ochotný podpísať.

Rozšírenie explicitného obsahu generovaného AI poukázal výskum Googlu, ktorý zistil, že 20 percent online používateľov, ktorí priznali, že vytvárajú AI nahé fotografie, to robilo “pre zábavu” alebo “ako žart”, zatiaľ čo takmer tretina len experimentovala s technológiami. To poukazuje na potrebu robustných modelových ochranných opatrení a indikátorov pôvodu, aby sa zabránilo počiatočnému generovaniu a následnému šíreniu syntetických sexuálnych obrazov.

Internet Watch Foundation (IWF) varovala, že je potrebné naliehavé konať po tom, čo expertní analytici zistili, že v prvej polovici tohto roka bolo viac fotorealistických AI generovaných obrázkov sexuálneho zneužívania detí než v celom roku 2025. Celkovo bolo v prvých šiestich mesiacoch roku 2026 nájdených 6 310 AI obrázkov spĺňajúcich zákonnú definíciu CSAM, čo je približne o 40 percent viac ako minuloročné zistenia.

IWF vyzýva regulátorov, aby zaviedli bezpečnostný rámec, ktorý vyžaduje, aby AI spoločnosti zabránili použitiu ich technológií na generovanie CSAM. Tiež si myslia, že je nevyhnutné, aby tretie strany ako White Circle “poukazovali na to, kde zlyhávajú ochranné opatrenia spoločností.”

White Circle verí, že použitie metódy RISE by mohlo pomôcť laboratóriám Frontier označiť viac jailbreakov a rýchlo posilniť obranu na blokovanie škodlivých výstupov. Avšak poznamenávajú, že to bude účinné len v prípade zavedenia povinného externého bezpečnostného testovania.

Verejnosť môže byť uviaznutá pri modeloch, ktoré jednoducho prepisujú zlé podnety namiesto vývoja stratégií útokov v prirodzenom jazyku, ktoré by vyvolali vlastné možnosti prieskumu LLM. White Circle si myslí, že vlády by mali presadzovať nezávislé hodnotenie a monitorovanie tretími stranami, aby sa zabránilo zaujatostiam vo vývoji AI.