Anthropic posilňuje obranu proti útokom modelovej destilácie

Spoločnosť zaoberajúca sa výskumom umelej inteligencie Anthropic podnikla významné kroky na ochranu svojich Claude modelov pred nelegálnymi útokmi založenými na destilácii modelov. Tieto útoky zahŕňajú extrahovanie schopností jedného modelu a ich replikáciu v inom modeli bez povolenia, často pomocou sietí podvodných účtov.

Podľa blogového príspevku Anthropic takéto praktiky predstavujú vážne riziká pre biologickú bezpečnosť, kybernetickú bezpečnosť a národnú bezpečnosť. Destilované varianty môžu vstúpiť do obehu bez proporcionálnych bezpečnostných zábran, čo umožňuje zlým aktérom ich zneužiť na škodlivé účely. Napríklad čínske laboratórium Zhipu získalo kybernetické schopnosti z popredných amerických modelov na vývoj GLM-5.3, modelu hodnoteného ako najkybernetickejšie schopný model otvorených váh doteraz.

V inom prípade Anthropic poznamenal, že dotazy na modely Kimi od Moonshot boli smerované na Claudea, vrátane vyšetrovania spojeného s Čínskou ľudovou oslobodzovacou armádou, ktorá sa snažila analyzovať sledovanie uzavretého televízneho okruhu. Aby Anthropic čelil týmto snahám, zameriava svoje technické obrany predovšetkým na ochranu Claudeových interných prepisov uvažovania, ktoré destiléri uprednostňujú pred konečnými textovými výstupmi.

Spoločnosť vysvetlila, že destiléri sa snažia generovať milióny odpovedí z väčšieho a schopnejšieho modelu (v tomto prípade Claude) a potom tieto odpovede použiť na učenie menšieho modelu, ktorý napodobňuje správanie schopnejšieho modelu. Najcennejším druhom údajov na tento účel sú prepisy Claudeovho uvažovania – myšlienkového procesu, ktorý Claude napíše pred odpoveďou.

Obranný rámec Anthropicu funguje na troch kľúčových frontoch: kontrola pohybu údajov o uvažovaní medzi účtami, nasadenie špecializovaného dvojstupňového klasifikátora na blokovanie pokusov o extrakciu a obmedzovanie pretrvávajúcich zneužívateľov prostredníctvom zákazov účtov, limitov používania a fakturácie za zablokované dotazy. Klasifikátor funguje s hlásenou mierou falošne pozitívnych výsledkov pod 0,1 percenta, čo zodpovedá prísnosti aplikovanej na obranu proti biologickým zbraniam.