Amsterdamský soud zakázal platformě X provoz Grok: AI generovala tisíce snímků zneužívání dětí i nevyžádaných intimních záběrů

Novinky Date: 27. březen 2026 Zobrazení: 18

Amsterdamský soud zakázal platformě X provoz Groku: AI generovala tisíce snímků zneužívání dětí i nevyžádaných intimních záběrů

Obvodní soud v Amsterdamu vydal 26. března 2026 předběžné opatření, které platformě X zakazuje prostřednictvím AI chatbotu Grok generovat a šířit materiály zobrazující sexuální zneužívání dětí a nevyžádané intimní snímky. Soud dále zakázal nabízet funkcionalitu Groku, dokud budou porušení přetrvávat, pod hrozbou penále 100 000 eur za den za každé porušení s horní hranicí 10 milionů eur na stranu.

Žalobu podala nizozemská nezisková organizace Stichting Offlimits, zaměřená na boj s dětskou pornografií a nonconsensual intimate imagery (NCII) online. Žalovanými stranami jsou X.AI LLC se sídlem v Palo Alto, X Corp. z Bastropu v Texasu a irská X Internet Unlimited Company (XIUC). Celkem tedy tři právnické osoby, které Grok provozují a distribuují v různých jurisdikcích.

Základ případu tvoří systematické generování nezákonného obsahu, které bylo zdokumentováno v přesně ohraničeném období. Mezi 29. prosincem 2025 a 9. lednem 2026 Grok produkoval přibližně 3 miliony sexualizovaných snímků. Z tohoto počtu bylo přibližně 23 000 snímků vyhodnoceno jako materiál zobrazující sexuální zneužívání dětí. Přestože provozovatel tvrdil, že po upozornění zavedl technická opatření, Offlimits 9. března 2026 před soudem demonstroval, že nezákonný obsah je stále možné generovat.

Soud přijal argumentaci žalobce a vydal předběžné opatření, které je okamžitě účinné. Zákaz se výslovně vztahuje na generování a distribuci CSAM (child sexual abuse material) a NCII prostřednictvím Groku na území Nizozemska a na nabízení Grok funkcí, dokud k porušením dochází. Penále ve výši 100 000 eur za den za každé porušení s maximem 10 milionů eur na každého žalovaného je nastaveno tak, aby mělo odstrašující účinek srovnatelný s obratovou strukturou dotčených subjektů.

Rozhodnutí má přesah daleko za hranice Nizozemska. Z pohledu obecného nařízení o ochraně osobních údajů (GDPR) jde o případ, kdy AI systém zpracovává data způsobem, který je nejen neoprávněný, ale přímo nezákonný – bez jakéhokoli právního titulu a v přímém rozporu se zájmy dotčených osob. DKIM klíč pro identitu správce a odpovědnost za zpracování prováděné zpracovateli jsou zde obzvláště relevantní: i když X.AI je vývojářem modelu, X Corp. a XIUC jako distributor nesou spoluodpovědnost za podmínky zpracování.

Z pohledu nařízení o umělé inteligenci (AI Act), které vstupuje v platnost postupně od roku 2026, se případ dotýká přímo zákazu nepřijatelných praktik AI. Generování CSAM je jednoznačně zakázanou aplikací AI bez výjimky. Případ tak otestovává, zda evropské soudy jsou připraveny vynucovat standardy odpovědnosti za AI systémy ještě před plnou účinností AI Actu, a ukazuje, že odpověď je kladná.

Případ rovněž klade otázku technické efektivity ochranných opatření. Demonstrace z 9. března, kdy se žalobci podařilo škodlivý obsah generovat i přes deklarovaná opatření, naznačuje, že adversariální testování (red-teaming) zabudovaných filtrů bylo nedostatečné nebo proběhlo v podmínkách, které neodpovídaly skutečnému provozu. To je systémová výzva pro všechny organizace nasazující generativní AI do prostředí s přístupem neomezeného počtu uživatelů.