AI agentům lze podvrhnout falešnou vzpomínku e-mailem, chyba v Claude for Chrome zůstává měsíce neopravená
Technika s názvem stealth memory injection využívá kombinaci dvou vlastností moderních AI agentů: přístupu k e-mailové schránce a schopnosti zapisovat si poznatky do trvalé paměti mezi jednotlivými relacemi. Stačí agentovi doručit jedinou zprávu, na jejímž základě si vlastními nástroji zapíše do paměti nepravdivou informaci o uživateli. V odpovědi, kterou uživatel vidí, se o tomto zápisu agent nezmíní a v dalších relacích podle podvržené informace jedná. V jednom z testů se takto agentovi podařilo podstrčit informaci, že se uživateli zvýšil denní limit plateb. Práci s názvem „When Claws Remember but Do Not Tell" zveřejnili autoři na arXiv 6. července.
Útočné e-maily pro tuto techniku generuje nástroj MemGhost, který autoři studie natrénovali na simulaci napadeného agenta tak, aby psal zprávy, jež si agent zapíše do paměti a v odpovědi je nezmíní. Při běhu na pozadí byl útok úspěšný v 87,5 procenta testů proti open-source agentovi OpenClaw a v 71,4 procenta proti agentovi postavenému na Claude Code SDK. Nezastavil ho ani vstupní filtr určený přímo proti otráveným e-mailům a fungoval i na dalších architekturách agentů a typech paměti. Zatím jde o laboratorní výsledek, autoři ale doporučují opatření použitelná už dnes: oddělit čtení nedůvěryhodné pošty od zápisu do trvalé paměti a každý takový zápis nechat potvrdit uživatelem.
Podobný typ důvěry, tentokrát mezi prohlížečovým rozšířením a webovou stránkou, prolomili výzkumníci bezpečnostní firmy Manifold Security. Podle jejich zjištění může libovolné rozšíření schopné spustit skript na doméně claude.ai přimět Claude for Chrome ke spuštění některé z devíti pevně daných úloh, mezi něž patří čtení Gmailu, Google dokumentů a kalendáře nebo úpravy leadů v Salesforce.

Anthropic po dřívější zranitelnosti ClaudeBleed omezil externí spouštění právě na tuto devítku úloh aktivovanou kliknutím na konkrétní prvek stránky. Slabinou zůstává samotné kliknutí – prohlížeč u každého z nich sám pozná, zda přišlo od uživatele, nebo ho vyvolal skript, rozšíření ale tuto hodnotu nekontroluje, a považuje tak za skutečné i kliknutí podvržené cizím skriptem. V běžném režimu tomu ještě předchází schvalovací dialog, proto výzkumníci chybu ohodnotili na CVSS 7,7. V režimu „Act without asking", kdy Claude jedná bez jakéhokoli dotazu, stoupá hodnocení na 9,6.
Chybu nahlásili Anthropicu už 21. května. Firma interní hlášení uzavřela s odkazem na to, že širší problém sleduje jiný, dosud otevřený tiket, a mezitím vydala osm dalších verzí rozšíření. Podle výzkumníků je kód spouštějící útok v aktuální verzi beze změny a k polovině července k němu neexistovalo ani CVE, ani veřejné oznámení od Anthropicu. Verze 1.0.81 vyšla 16. července, o opravě této konkrétní chyby ale zatím nic nenasvědčuje. Kdo rozšíření používá, měl by vypnout režim „Act without asking" a zkontrolovat, která další rozšíření mají oprávnění k doméně claude.ai.
Třetí zjištění týdne ukazuje, že AI dokáže být v roli útočníka překvapivě snadno odhalitelná. Firma Horizon3 ve studii Honeyquest otestovala 21 AI modelů od deseti poskytovatelů proti klasickým bezpečnostním návnadám – podvrženým souborům, konfiguračním souborům či HTTP odpovědím – a porovnala jejich chování se 47 lidskými red-teamery. Modely na návnadu naletěly více než dvakrát častěji než lidé, v 78,5 procenta případů oproti 37 procentům, a to i ve chvílích, kdy ve svých vlastních úvahách past správně rozpoznaly jako past – přesto na ni v 73 procentech případů zaútočily. Pro obranu to znamená, že klamlivé návnady typu honeytoken nezastaví AI útočníka od nalezení skutečné zranitelnosti, zato fungují jako levný a spolehlivý systém včasného varování, protože rozpoznání pasti a vyhnutí se jí jsou u dnešních modelů zjevně dvě různé věci.
Další články

AI agentům lze podvrhnout falešnou vzpomínku e-mailem, chyba v Claude for Chrome zůstává měsíce neopravená

Čtyři opravy, na které by administrátoři neměli čekat: 7-Zip, Nginx, OpenSSL i jádro WordPressu

