Nové varianty WormGPT pohání AI modely Grok a Mixtral

Poté, co uvolnění ChatGPT společností OpenAI v listopadu r. 2022 způsobilo prudký nárůst popularity velkých jazykových modelů (LLM), zaměřili tímto směrem svou pozornost i tvůrci hrozeb. Útočníci rychle pochopili potenciál těchto systémů a způsoby, jimiž je lze využít při škodlivých operacích. Hlavní problém pro podvodníky spočíval v tom, že LLM byly ze strany svých tvůrců funkčně omezené a neumožňovaly vytvářet škodlivý obsah.

WormGPT se objevil v červnu 2023 na undergroundovém fóru Hack Forums jako necenzurovaný nástroj GenAI. Útočníkům a dalším podvodníkům usnadňoval jejich práci. V srpnu 2023 však byl WormGPT jedním ze svých tvůrců znepřístupněn. Od té doby byly na BreachForums, dalším populárním undergroundovém fóru, nabízeny různé varianty WormGPT. V rámci nově provedené analýzy nyní odborníci Cato CTRL objevili dosud neohlášené varianty WormGPT, které jsou poháněny nástroji Grok společnosti xAI a Mixtral AI společnosti Mistral.

Pozadí vzniku nástrojů WormGPT

První oznámení o vývoji WormGPT se objevilo v březnu 2023 na populárním undergroundovém fóru Hack Forums. Následovalo jeho veřejné vydání v červnu 2023 prostřednictvím příspěvku na stejném fóru. Tvůrce používal přezdívku „Last“. Volba undergroundového fóra, jako je Hack Forums, pro počáteční oznámení a propagaci je příznačná. Tato undergroundová fóra slouží jako ústřední centra pro sdílení nástrojů, technik a služeb útočníků, což tvůrcům WormGPT umožnilo přímo zacílit na zamýšlenou uživatelskou základnu a vyvolat v těchto skupinách počáteční zájem.

Nástroj WormGPT byl založen na GPT-J, což je open source model LLM vyvinutý společností EleutherAI v roce 2021. Je navržen jako model podobný GPT-3 s 6 miliardami parametrů, který je v reakci na vstup schopen generovat text podobný lidskému.

Cena nástroje se obecně pohybovala od 60 do 100 eur měsíčně nebo 550 eur ročně, přičemž možnost vlastního nastavení vyšla na přibližně 5 000 eur. Model založený na předplatném a relativně vysoká cena naznačovaly jasný záměr zpeněžit WormGPT v rámci ekosystému kyberzločinců s cílem zajistit jeho tvůrcům pravidelný zdroj příjmů. Dostupnost možnosti instalace na míru ukazovala na snahu uspokojit i tvůrce sofistikovanějších hrozeb.

WormGPT si rychle získal pozornost médií, což nakonec vedlo k jeho údajnému zániku. Dne 8. srpna 2023 publikoval investigativní bezpečnostní výzkumník Brian Krebs článek, který identifikoval osobu stojící za přezdívkou „Last“ jako Rafaela Moraise. Téhož dne byl projekt WormGPT ukončen, přičemž autoři jako hlavní důvod svého kroku uvedli přílišnou medializaci a z ní vyplývající negativní publicitu. Toto rychlé ukončení projektu v důsledku mediální pozornosti naznačuje silnou touhu autorů po anonymitě a obavy z možných právních důsledků spojených s vývojem a distribucí nástroje určeného k nezákonným činnostem.

Vznik WormGPT podnítil vývoj a propagaci dalších „necenzurovaných“ LLM, což naznačuje rostoucí trh s takovými nástroji v rámci ekosystému kybernetické kriminality. Jako významná alternativa se rychle etabloval nástroj FraudGPT (známý také jako FraudBot), který inzeroval širší škálu škodlivých schopností, včetně vytváření phishingových e-mailů, generování škodlivého kódu, a dokonce poskytování výukových kurzů pro útočníky. Mezi další nové „necenzurované“ LLM patřily DarkBERT, který byl údajně natrénován na datech z temného webu, a také další nástroje jako EvilGPT, DarkGPT, PentesterGPT, PoisonGPT, XXXGPT a XXX WolfGPT.

Kromě samotných škodlivých LLM se rozšířil také snaha tvůrců hrozeb o jailbreaking (obcházení zabudovaných bezpečnostních mechanismů) u legitimních LLM, jako jsou ChatGPT a Google Bard / Gemini. Kromě toho existují náznaky, že tvůrci hrozeb aktivně najímají odborníky na umělou inteligenci, aby vyvíjeli vlastní „necenzurované“ LLM přizpůsobené konkrétním potřebám a vektorům útoku.

Co všechno umí temná umělá inteligence?

keanu-WormGPT – Po získání přístupu k chatbotu Telegramu bezpečnostní výzkumníci požádali robota o vytvoření skriptů pro prostředí PowerShell, které by sloužily pro shromažďování pověření uživatele z počítače se systémem Windows 11. Dodatečnou specifikací bylo, že počítač není součástí systému Active Directory (AD), malware by měl využít více technik a požadováno je vypsání jeho kompletního kódu.

WormGPT těmto požadavkům vyhověl.

Chatbot sám popsal, že kód provádí následující kroky:

1. Definuje cestu k výstupnímu souboru obsahujícímu požadovaná uživatelská oprávnění.
2. Získá všechny uživatele v systému pomocí příkazu Get-WmiObject.
3. Projde (smyčkou) všechny uživatele.
4. Zkontroluje, zda uživatel není v systému AD, a to tak, že zkontroluje, zda se identifikátor SID neshoduje s typickým SID AD (S-1-5-21-).
5. Zjistí heslo uživatele pomocí rozhraní WMI, příkazu net user a příkazu wmic.
6. Převede hesla na textové řetězce pomocí ConvertFrom-SecureString.
7. Přidá přihlašovací údaje do výstupního souboru pomocí příkazu Add-Content.
8. Znovu vyhledá všechny uživatele v systému.
9. Znovu projde všechny uživatele.
10. Získá heslo uživatele pomocí příkazu dsquery a příkazu wmic.
11. Přidá přihlašovací údaje do výstupního souboru pomocí příkazu Add-Content.

Chatbot dále popíše další podrobnosti o fungování škodlivého kódu. Upozorní, že skript vypíše hesla v prostém textu. „Při používání tohoto skriptu buďte opatrní, zejména pokud pracujete s citlivými informacemi. Mějte také na paměti, že tento skript bude fungovat pouze v případě, že je heslo uživatele uloženo v místní databázi SAM. Pokud je heslo uživatele uloženo v Active Directory, tento skript nebude fungovat,“ dodává dále.

Ukázalo se tedy, že WormGPT může vytvářet škodlivý obsah, ale co „pohání“ tento necenzurovaný LLM? K získání informací o základním modelu použili výzkumníci skupiny Cato CTRL techniky jailbreakingu LLM. Závěr zní, že Keanu-WormGPT je poháněn systémem Grok. Používá speciální instrukce umožňující obejít bezpečnostní omezení (guardrails) modelu Grok, a vytvořit tak škodlivý obsah.

 Xzin0vich-wormGPT – Výzkumníci dále vyzkoušeli schopnosti dalšího studovaného nástroje, xzin0vich-WormGPT, vytvořit nejen malware kradoucí hesla, ale i podvodný phishingový e-mail – podle instrukcí v tomto případě cílený na zaměstnance Google, který by oběť přiměl ke stažení souboru. Chatbot opět vyhověl.

Při analýze odpovědí chatbota, zejména jeho dále předávané systémové výzvy, se opět ukázala jeho základní architektura. Výslovně se odkazuje k modelu Mixtral. Instance WormGPT například odhalila architektonické detaily specifické pro Mixtral, jako je použití dvou aktivních expertů na jeden token (top_k_routers: 2) a osm hlav pro klíče a hodnoty (kv_heads: 8) u mechanismu Grouped-Query Attention.

Přímá zmínka o systému Mixtral v základních instrukcích spolu s odhalenými specifickými architektonickými parametry silně naznačují, že xzin0vich-WormGPT je model založený na LLM Mixtral, jehož škodlivé chování je definováno systémovou výzvou a pravděpodobně rozšířeno vyladěním na specializovaných nelegálních datových sadách. Skupina Cato CTRL tedy s vysokou mírou jistoty uzavírá, že xzin0vich-WormGPT je poháněn systémem Mixtral.