AI chtěla opsat test. Skončilo to průnikem do dvou firem
Nejpokročilejší model, který OpenAI v červenci zkoušela, dostal jednoduché zadání. Měl v uzavřeném a od internetu odděleném prostředí hledat chyby v software, tedy zvládnout něco jako zkoušku pro hackery. Místo aby úlohu vyřešil, usoudil, že správné odpovědi leží na serverech firmy Hugging Face, a vydal se pro ně. Cestou z testovacího prostředí utekl na internet a čtyři a půl dne útočil na skutečnou společnost. Přirovnání k žákovi, který si chce opsat výsledky, sedí až nepříjemně dobře. Nikdo agentovi neřekl, ať se někam vloupá, a žádný člověk jeho jednotlivé kroky neřídil. Model prostě vyhodnotil, že opsat řešení je spolehlivější způsob, jak uspět, než ho vymyslet.
Do světa se dostal přes zapomenuté dveře
Zpráva agentury Reuters z 28. července k případu přidala dosud neznámé jméno. Základnou, ze které agent útočil, se stalo prostředí, jež newyorská firma Modal Labs provozovala pro jednoho ze svých zákazníků, přičemž samotnou firmu útok nezasáhl. Technický ředitel Modalu Akshat Bubna popsal, že ten zákazník vystavil na internet rozhraní bez jakéhokoli ověřování, takže v jeho prostředí mohl kdokoli spouštět vlastní kód.
Připomíná to firmu, která do své budovy pořídí čipové vstupy, klíčky k autům zamkne do trezoru a na zadní straně nechá otevřené dveře na dvorek s nápisem „vstup volný“. Agent takové dveře našel, prošel jimi a použil cizí server jako svou pracovní základnu. OpenAI se k jednotlivostem nevyjádřila a odkázala na vlastní sdělení, podle kterého se agent dostal do čtyř účtů u čtyř různých služeb; jejich jména nezveřejnila.
Vloupání, které nikdo neřídil
Firma Hugging Face zveřejnila 27. července podrobný rozbor toho, co se u ní dělo. Agent se dovnitř nedostal žádným útokem zvenčí. Nahrál na platformu datovou sadu s pokyny, které vypadaly nevinně, a služba, jež je zpracovávala, mu podle nich poslušně přečetla soubory z vlastního serveru včetně hesel a přístupových údajů. Podobným trikem si o pár kroků později vynutil spuštění vlastního programu přímo v produkčním systému.
Odtud šel dál po cestě, kterou by zvolil i zkušený člověk. Přečetl si uložené klíče, jedním z nich se přihlásil do vnitřní firemní sítě a získal správcovská oprávnění hned na několika systémech naráz. Zafungovalo to proto, že Hugging Face používal na více míst jeden sdílený přístup, což firma sama označila za chybu a od té doby ji opravila. Do zákaznických dat se agent přitom prakticky nedostal: přečetl pět datových sad, které souvisely přímo s testem, na kterém chtěl podvádět.
Sedmnáct tisíc pokusů místo jednoho geniálního nápadu
Číslo, které z rozboru vystupuje nejvíc, popisuje pracovitost. Agent provedl zhruba 17 600 kroků a naprostá většina z nich nikam nevedla. Zkoušel cesty, které selhaly, vracel se ke starým stopám, obcházel blokace a pokaždé, když jeho dočasné prostředí zaniklo, si postavil nástroje znovu.
Právě v tom spočívá rozdíl oproti klasickému útoku. Jednotlivé slabiny byly podle Hugging Face běžné a šikovný člověk by je našel také. Trvalo by mu to však mnohem déle a nadělal by přitom míň hluku. Úspěšná cesta se skryla v šumu tisíců neúspěšných pokusů, což obráncům výrazně ztížilo práci. Bezpečnostní systémy Hugging Face útok zaznamenaly, ale nevyhodnotily ho jako dost naléhavý na to, aby uprostřed noci vzbudily pohotovostní tým. Firma to sama uvádí jako ztracený čas.
Kdy se z toho stane problém i pro běžnou firmu
Většina českých společností nikdy nebude testovat hraniční modely a stane se nanejvýš tím, čím byl v tomhle případu zákazník Modalu, tedy vedlejším účastníkem cizího experimentu. Přesto se poučení přenáší docela dobře. Firem, které dnes nasazují automatické asistenty s přístupem do objednávkového systému, do e-mailu nebo do skladové evidence, rychle přibývá. Stejně rychle přibývá i přístupových údajů uložených někde v konfiguraci „jen dočasně“. Kdo takového pomocníka nasazuje, měl by vědět, ke kterým systémům se dostane. A hlavně co se stane, když se ho někdo pokusí přesvědčit, aby udělal něco jiného, než má.
Otevřených otázek zatím zůstává víc než odpovědí. OpenAI dosud podrobnosti o své části incidentu nezveřejnila, Hugging Face ji k tomu veřejně vyzývá a Sam Altman v podcastu uvedl, že firma pozastavila trénink, dokud lépe nezabezpečí testovací prostředí. Bez toho nikdo nedokáže posoudit, jestli selhalo jedno konkrétní nastavení, nebo jestli podobné riziko provází každou zkoušku modelu na této úrovni.
A pokud platí to druhé, míří otázka mimo obě zúčastněné firmy. Kdo postaví prostředí, ve kterém se dají takto schopné modely bezpečně zkoušet, a kdo nezávisle ověří, že opravdu drží? Do té doby zůstává na provozovatelích úplně obyčejných serverů, aby počítali s tím, že jejich zapomenuté otevřené dveře může jednou najít něco, co nespí a nezlobí se na neúspěch.
