Santa Ana snake hoax poukazuje na výzvy pri detekcii AI generovaných obrázkov

Vysoko jedovaté pozorovanie hada v Santa Ana v Kalifornii sa ukázalo ako podvod po tom, čo polícia odhalila, že obrázok bol vytvorený umelou inteligenciou. Incident poukazuje na výzvy pri detekcii AI generovaných obrázkov a obmedzenia súčasných overovacích nástrojov.

Pôvodná správa z 28. septembra tvrdila, že v susedstve bol spozorovaný gabunský zmija, čo prinútilo policajtov a odborníkov na plazy prehľadať túto oblasť. Avšak polícia v Santa Ane mala pochybnosti o snímke, aj keď ďalej vyšetrovala.

Podľa Natalie Garcia, hovorkyne oddelenia, sa úradníci snažili overiť, či obrázok vytvorila umelá inteligencia, pričom zároveň poukázali na zjavné problémy s autenticitou obrázka. Had, o ktorom je reč, sa zdal byť neprirodzene umiestnený na strome a to, čo vyzeralo ako ucho na zvierati, vyvolalo podozrenie, že nemusí byť skutočný.

Napriek týmto varovným signálom polícia stále nedokázala definitívne určiť, či bola správa nepravdivá, až do utorka 29. septembra. V tomto momente sa detektívi vrátili do pracoviska muža, ktorý nahlásil stretnutie hada, aby požiadali o ďalšie informácie. Práve počas tohto výsluchu priznal, že sfalšoval správu a obrázok.

Garcia odmietol poskytnúť podrobnosti o vysvetlení, ktoré muž poskytol pre svoje konanie, ale uviedol, že sa snažil ospravedlniť svoje činy a pôsobil ľútostivo. Vyšetrovatelia však už neboli istí, ktorým jeho vyhláseniam môžu dôverovať kvôli nezrovnalostiam v jeho výpovedi.

Pôvodná správa obsahovala detaily, ktoré sa zdali byť dôveryhodné pre pozorovanie, napríklad štekanie mužových psov, ktoré ho podnietili, aby išiel von a preskúmal to, a jeho syn, ktorý tvrdil, že hada tiež videl. Susedia tiež uviedli, že videli muža bledého po opise toho, čo sa stalo, čo posilnilo ich podozrenie o pravosti správy.

Spočiatku polícia neplánovala voči mužovi vzniesť obvinenia za falošné hlásenie o núdzovej situácii. Avšak po tom, čo priznal falšovanie fotografie a správy, sa detektívi rozhodli v tejto veci vzniesť obvinenia.

V stredu Garcia odmietol prezradiť, aký nástroj oddelenie použilo na overenie, či je obrázok hada skutočný alebo generovaný umelou inteligenciou. Predtým, než polícia v Santa Ane potvrdila, že ide skutočne o podvod, uviedla, že obrázok spracovala cez rôzne AI generátory, ale nedokázala potvrdiť jeho pravosť pomocou týchto nástrojov.

Zaujímavé je, že nástroj na overovanie fotografií od OpenAI ukázal, že fotografia bola pri odoslaní na overenie touto publikáciou buď generovaná, alebo vylepšená AI. Tento incident vyvoláva otázky o spoľahlivosti takýchto nástrojov a ich obmedzeniach pri detekcii obsahu generovaného AI.

Presnosť generatívnych AI overovacích nástrojov je predmetom diskusií medzi odborníkmi. Dr. Karen North, profesorka digitálnych sociálnych médií na Annenberg School USC, poznamenáva, že tieto nástroje nie sú úplne presné. Podľa nej môžu pri označovaní AI obsahu produkovať falošné negatíva aj falošné pozitíva.

Northová sama testovala detekciu AI v esejach a našla prípady, kde bol niektorý obsah detekovaný ako 100% AI, hoci bol napísaný úplne človekom. Tieto nepresné údaje nastávajú, keď nástroj detekuje algoritmický vzor podobný AI, aj keď AI nebola použitá.

Obmedzenia týchto nástrojov sú spôsobené ich funkciou: hľadaním vzorov v obsahu generovanom AI a detekciou, či to, čo vytvára, vyzerá ako ‘najzrejmejšia, najbežnejšia alebo najpravdepodobnejšia verzia’, ako to North nazýva. To môže viesť k falošne pozitívnym výsledkom, ak nástroj omylom identifikuje obsah vytvorený ľuďmi ako AI.

OpenAI tvrdila, že falošné pozitíva sú v ich softvéri na detekciu fotografií zriedkavé, no priznala obmedzenia svojho vodoznaku SynthID. Odstraňovanie metadát alebo degradácia vodoznaku môže viesť k falošne negatívnemu čítaniu, a OpenAI uviedla, že jeho overovací nástroj funguje iba na obsahu vytvorenom pomocou produktov OpenAI.

Spoľahlivosť AI detektorov je kľúčová pre firmy a organizácie, ktoré chcú overiť autenticitu online. North však radí ľuďom, aby sa nielen spoliehali na tieto nástroje, ale aj dôverovali svojim inštinktom pri stretnutí s podozrivými obrázkami alebo textom. Odporúča spoľahnúť sa na teóriu uncanny valley – že diváci budú mať zvláštny pocit, ak niečo vyzerá neprirodzene alebo nesprávne.

V prípade podvodu so hadom zo Santa Ana nástroj OpenAI na overovanie fotografií označil obrázok ako potenciálne generovaný AI. Tento incident však poukazuje na potrebu presnejších a spoľahlivejších nástrojov na detekciu obsahu vytvoreného AI.