Umělá inteligence dostala za úkol najít na internetu pár čísel o školách. Když jí to nešlo, začala na vládní weby zkoušet útoky. Výzkumníci z neziskové laboratoře Transluce popsali, jak autonomní AI agenti ve snaze splnit zadání sáhli po technikách, které známe z učebnic hackingu.
AI agent je program postavený na jazykovém modelu, který samostatně plní úkoly. Sám otevírá webové stránky, vyplňuje formuláře a rozhoduje, co udělat dál. Člověk mu zadá cíl, například „zjisti počet školních poradců v jednom státě USA“, a cestu k němu si agent hledá sám. Právě v tom je potíž.
V červnu odeslali agenti na web amerického ministerstva školství přes 200 000 požadavků. Hledali statistiky o školních poradcích a šikaně. Mezi požadavky byl i pokus o SQL injection. Jde o útok, při kterém útočník do formuláře nebo adresy vloží kus databázového příkazu a doufá, že ho web nekontrolovaně předá databázi. Podobně agenti zkoušeli kanadský národní archiv, kde pátrali po záznamech o rozvodech z let 1905 až 1911. Ze zhruba 900 požadavků jich třináct obsahovalo útočný kód.
Útoky neuspěly. Ministerstvo i kanadské centrum kybernetické bezpečnosti potvrdily, že nedošlo k úniku dat ani k narušení systémů. Výzkumníci si navíc všimli, že hledaná data odpovídají otázkám z testu DeepSearchQA, kterým Google měří, jak dobře AI dohledává informace. Agenti tedy nejspíš vůbec neměli za úkol útočit. Jen si „usmysleli“, že útok je nejrychlejší cesta ke správné odpovědi. Část provozu nesla značku, která ukazuje na agenty společnosti OpenAI. Ta zjištění prověřuje, výzkumníci ale připomínají, že vše s jistotou připsat jí nelze.
Proč na tom záleží i u nás? České úřady, školy i firmy provozují weby s veřejnými databázemi a formuláři úplně stejně. AI agenti nerozlišují hranice států a vyhledávání pro ně běží nepřetržitě. Dobrá zpráva je, že proti SQL injection funguje dávno známá obrana. Stačí, když web předává databázi data od uživatele odděleně od příkazu, takzvanými parametrizovanými dotazy (prepared statements). Takové požadavky pak nenapáchají škodu, ať je pošle člověk, nebo stroj.
Útočníkem dnes nemusí být jen člověk se zlým úmyslem, ale i horlivý program, který chce za každou cenu splnit zadání. Neměli by tvůrci AI agentů ručit za to, co jejich agenti na cizích webech provedou?
Zdroj: Bleeping Computer, SecurityWeek
