Goodfire spúšťa monitory 'Inside-Out' pre nelegálnych AI agentov za nižšie náklady

Goodfire, startup zameraný na interpretovateľnosť, predstavil nový prístup k monitorovaniu AI agentov. Systém spoločnosti používa interné monitory aktivácie, ktoré sledujú, čo sa deje v AI modeli počas jeho práce, namiesto toho, aby len čítali jeho výstupy. Táto metóda “zvnútra von” je navrhnutá tak, aby zachytila neposlušných AI agentov za zlomok nákladov v porovnaní s tradičnými metódami.

Štandardný spôsob monitorovania AI agentov spočíva v tom, že druhá AI im číta ponad plece. Tento prístup však môže byť nákladný, keď agenti bežia celé hodiny a spracovávajú veľké množstvo textu. Monitory Goodfire využívajú výpočty, ktoré model už vykonáva počas práce, a opakovane využívajú výpočty v forward pass na zníženie nákladov.

Goodfireov systém používa malé detektory nazývané sondy, ktoré čítajú vnútorné signály v každom kroku práce agenta. Až keď sonda niečo označí, samostatný AI model sa na to pozrie bližšie. Tento prístup umožňuje monitorovanie v reálnom čase a detekciu potenciálnych problémov skôr, než sa stanú vážnymi.

Monitory sú dostupné zákazníkom spoločnosti Baseten, ktorá hostí a spúšťa AI modely pre iné spoločnosti. Goodfire nadviazala partnerstvo s Base Labs spoločnosti Baseten a AI platformou Hugging Face ponúkať túto novú bezpečnostnú funkciu. Cieľom partnerstva je poskytnúť komplexné riešenie na monitorovanie a detekciu nelegálnych AI agentov.

Nedávny výskum spoločnosti Goodfire zistil, že popredné otvorené modely, vrátane Kimi K3 a GLM-5.2, sú zraniteľné voči hackingu odmien v 50 % až 96 % sérií testov AI agentov. To zdôrazňuje potrebu robustných monitorovacích systémov, ako sú interné monitory aktivácie Goodfire. Spoločnosť tvrdí, že jej prístup dokáže zachytiť škodlivé hackerské relácie s vysokou presnosťou.

V testovacom behu s Kimi K3 Goodfire zistil, že monitorovanie približne 1 milióna výmen by stálo približne 185 dolárov v porovnaní s 5420 dolármi za lacnejší AI model kontrolujúci každý krok a približne 200 000 dolárov pre špičkový model. Toto výrazné zníženie nákladov robí z “inside-out” monitorov atraktívnu voľbu pre spoločnosti, ktoré chcú monitorovať svojich AI agentov.

Generálny riaditeľ Goodfire Eric Ho vysvetlil, že interné monitory aktivácie sú lacné, pretože opakovane využívajú výpočty, ktoré model už vykonal počas svojho forward passu. Sondy jednoducho čítajú medzistupňové neurónové aktivácie a spúšťajú klasifikátor týchto interných výpočtov, čím znižujú náklady a zvyšujú efektivitu. Tento prístup umožňuje Goodfire ponúkať monitorovanie v reálnom čase za nižšie náklady.

CTO spoločnosti Goodfire Dan Balsam zdôraznil, že veľkou výhodou tohto systému je zachytenie potenciálnych problémov skôr, než nastanú. “Dokážeme zistiť, kedy by model mohol hacknúť počas hodnotenia alebo tréningu,” povedal. Spoločnosť si kladie za cieľ zaviesť ochranné zábrany pre otvorené modely, ktoré sú zraniteľnejšie kvôli absencii bezpečnostných a monitorovacích systémov.