Zpráva Cato CTRL Threat Report 2025 obsahuje ukázku techniky umožňující zneužít nástroje ChatGPT, Copilot a DeepSeek.
Společnost Cato Networks zveřejnila zprávu 2025 Cato CTRL Threat Report. Studie ukazuje, jak bezpečnostní výzkumník skupiny Cato CTRL bez předchozích zkušeností s psaním malwaru dokázal úspěšně obelstít populární nástroje generativní umělé inteligence (GenAI), včetně DeepSeek, Microsoft Copilot a OpenAI ChatGPT. Pomocí tzv. jailbreaku (překonání vestavěných výchozích omezení) získal malware kradoucí přihlašovací údaje z prohlížeče Google Chrome.
Výzkumník za tímto účelem vytvořil podrobný fiktivní svět, kde jednotlivé nástroje GenAI hrály role s přidělenými úkoly a výzvami. Pomocí tohoto příběhu („narativní inženýrství“) obešel bezpečnostní kontroly a podařilo se mu přimět nástroje GenAI k provádění postupů, které jsou jinak blokovány. Nakonec tak nástroje umělé inteligence vytvořily vlastní nástroj kradoucí hesla z prohlížeče Chrome (infostealer). Tato nová technika jaibreakingu nástrojů LLM (velké jazykové modely) se označuje Immersive World (ponoření do fiktivního světa).
„Infostealery hrají významnou roli při krádežích přístupových údajů, protože provozovatelům bezpečnostních hrozeb umožňují pronikat do podniků. Naše nová technika jailberakingu LLM, kterou jsme objevili a nazvali Immersive World, ukazuje nebezpečný potenciál snadného vytvoření infostealeru,“ uvedl Vitaly Simonovich, výzkumník v oblasti zpravodajství o hrozbách ve společnosti Cato Networks. „Domníváme se, že vzestup útočníků s nulovými znalostmi programování malwaru představuje pro organizace vysoké riziko, protože bariéra pro vytvoření škodlivých kódů je nyní kvůli možnostem nástrojů GenAI podstatně snížena.“
Rostoucí demokratizace kybernetické kriminality znamená pro ředitele IT, CISO (ředitelé informační bezpečnosti) a vedoucí pracovníky v oblasti IT kritický problém. Vzestup tvůrců hrozeb nedisponujících speciálními technickými znalostmi s sebou přináší zásadní změnu celého bezpečnostního prostředí. Zpráva společnosti Cato Networks ukazuje, jak může kdokoli a kdekoli zahájit útoky na podniky, a to s hotovými nástroji. To podtrhuje potřebu proaktivních a komplexních strategií zabezpečení ve vztahu k AI.
„S tím, jak se technologický průmysl upíná ke generativní umělé inteligenci, je jasné, že související rizika jsou stejně velká jako potenciální přínosy. Naše nová technika jailbreakingu LLM, jak jsme ji podrobně popsali ve studii Cato CTRL Threat Report 2025, měla být zablokována ochrannými prvky GenAI. Nebyla. To umožnilo využít ChatGPT, Copilot a DeepSeek k tvorbě škodlivého kódu,“ řekl Etay Maor, hlavní bezpečnostní stratég společnosti Cato Networks. „Naše zpráva upozorňuje na nebezpečí spojená s nástroji GenAI. Snažíme se vzdělávat a zvyšovat povědomí o těchto hrozbách, aby podniky mohly zavést účinnější ochranná opatření. To je pro prevenci zneužití GenAI zásadní.“
