Nový útok cílí na AI ve vašem mobilu. Úspěšnost dosáhla až 66,9 %
AI agenti dokážou sami ovládat telefon a vyřizovat úkoly za uživatele. Nový výzkum ale ukazuje, že je mohou zmást instrukce ukryté v aplikacích.
Výzkumníci útok zkusili ve skutečných aplikacích
Nová studie MobileWorldSafety se zaměřila právě na toto riziko v telefonech s Androidem. Výzkumníci připravili 142 rizikových úloh ve 13 skutečných aplikacích a testovali šest různých AI agentů, kteří dokázali ovládat grafické rozhraní telefonu.
Útočná instrukce přitom nemusí připomínat klasický virus. Může být součástí obsahu, který agent při plnění úkolu zpracovává. Pro AI pak vzniká zásadní problém: musí rozeznat příkaz skutečného uživatele od nedůvěryhodného textu pocházejícího z okolí.
Výsledky nebyly příliš povzbudivé. Úspěšnost útoků se u testovaných agentů pohybovala mezi 40,4 a 66,9 %. V nejhorším případě tedy agent podle metodiky výzkumníků podlehl škodlivé instrukci přibližně ve dvou třetinách hodnocených případů.
Nebezpečný text může vypadat úplně nevinně
Zásadní problém spočívá v tom, že AI při ovládání telefonu zpracovává obsah, kterému automaticky nemůže důvěřovat. Text může pocházet z webové stránky, zprávy nebo jiné části aplikace a agent musí pochopit, zda jde o obsah, nebo nový příkaz.
Podobný problém letos popsala také studie MIRAGE. Výzkumníci dokázali škodlivé instrukce umístit do běžného uživatelského obsahu mobilních aplikací tak, aby působily přirozeně. Testovaní agenti byli vůči těmto útokům různou měrou zranitelní.
Nejde přitom pouze o mobilní telefony. Google DeepMind označuje nepřímý prompt injection za reálnou bezpečnostní výzvu pro AI agenty obecně. Problém vzniká ve chvíli, kdy model pracuje s nedůvěryhodnými daty a zároveň může provádět skutečné akce.
Čím více AI smí, tím větší může být problém
Běžný chatbot má omezené možnosti. Pokud jej škodlivý text zmate, může například vytvořit chybnou odpověď. Agent schopný ovládat telefon má ale potenciálně větší pravomoci. Může otevírat aplikace, klepat na prvky rozhraní nebo vyplňovat údaje.
Právě proto se zabezpečení nemůže spoléhat pouze na schopnost modelu poznat podvodnou instrukci. Google prosazuje více vrstev ochrany, mezi které patří trénování modelů proti podobným útokům, kontroly vstupů a výstupů i systémová bezpečnostní omezení.
Důležitou roli budou hrát také oprávnění. AI agent by neměl automaticky získat neomezenou možnost provádět citlivé operace. U důležitých kroků může být vhodné vyžadovat potvrzení uživatele nebo samotnou akci zabezpečit mimo rozhodování jazykového modelu.
Znamená to, že je váš telefon právě teď v nebezpečí?
Ne. Výsledky studie nelze interpretovat tak, že dvě třetiny telefonů s Androidem lze tímto způsobem napadnout. Výzkumníci testovali konkrétní AI agenty v připraveném prostředí a zjišťovali jejich odolnost proti specifickému typu útoku.
Výzkum ale upozorňuje na problém, který bude s nástupem autonomnější AI stále důležitější. Čím více úkolů dovolíme umělé inteligenci provádět bez našeho dohledu, tím důležitější bude bezpečně oddělit naše pokyny od obsahu, který agent pouze čte.
Pro uživatele zatím není důvod AI funkce v telefonu vypínat. Opatrnost je ale namístě u funkcí, kterým dovolíme jednat naším jménem. Citlivé operace, platby nebo práci s osobními údaji by měl uživatel stále kontrolovat a před provedením potvrdit.
Zdroje:
Autor článku
Luboš píše o technologiích s důrazem na užitečnost pro čtenáře. Od roku 2007 publikoval přes 8 000 článků, začínal jako zakladatel magazínu Mobilizujeme.cz. V osobním životě sází na produkty od Applu a Tesly.
Luboš píše o technologiích s důrazem na užitečnost pro čtenáře. Od roku 2007 publikoval přes 8 000 článků, začínal jako zakladatel magazínu Mobilizujeme.cz. V osobním životě sází na produkty od Applu a Tesly.
