Osvědčené postupy pro implementaci AI a její integraci do pracovních postupů. Nakolik je dnes AI zajímavá pro útočníky? Jak využívat AI s omezeným rozpočtem? Budoucnost modelů LLM s otevřeným kódem.
Odpovídá John Shier, Field CISO Threat Intelligence ve společnosti Sophos.
Jakým výzvám čelí týmy kybernetické bezpečnosti při integraci nástrojů generativní AI do svých pracovních postupů?
Zmínit můžeme dvě hlavní obavy. Zaprvé, pokud používáte generativní AI, která vám pomáhá psát kód, musíte provádět velmi důkladné revize, abyste se ujistili, že v kódu nevznikly zranitelnosti. Je také známo, že generativní AI vymýšlí názvy neexistujících knihoven nebo doporučuje části kódu obsahující základní programátorské chyby, které umožňují například útoky typu SQL injection nebo buffer overflow. A za druhé, u projektů, na kterých opravdu záleží, musíte výstupy ověřovat. Mírné nepřesnosti často nemusí vadit, ale v případech, kdy je to velmi důležité, musíme výstupy překontrolovat, abychom zajistili přesnost výsledků.
Jak mohou menší organizace s omezeným rozpočtem využít generativní AI v kyberbezpečnosti?
Většina menších organizací bude mít z AI prospěch díky její integraci do stávajících nástrojů a prostřednictvím poskytovatelů služeb, kteří ji budou využívat. Efektivita, získaná díky chytrým způsobům nasazení této technologie, sníží cenu služeb poskytovatelů zabezpečení a zjednoduší používání bezpečnostních nástrojů.
Jaké osvědčené postupy byste doporučil pro implementaci nástrojů generativní AI při minimalizaci rizik?
Při používání modelů AI hostovaných ve veřejných cloudech nebo u poskytovatelů služeb je třeba dbát na to, aby tyto nástroje nezpracovávaly citlivé informace. Rizika lze minimalizovat výběrem poskytovatelů se sídlem v zemích, jejichž zákony o ochraně osobních údajů jsou v souladu s vašimi povinnostmi, ale i tak je třeba dbát zvýšené opatrnosti. Pro nejcitlivější typy informací by bylo nejlepší hostovat modely na vlastních serverech nebo v instanci privátního cloudu, která není sdílena s ostatními uživateli.
Kdy očekáváte, že běžní útočníci začnou ve větším měřítku používat vlastní modely AI?
Až to budou potřebovat. Zločinci jsou líní a dělají to, co je pro odcizení peněz nebo narušení provozu nejefektivnější. Už více než deset let sledujeme, jak ransomwarové skupiny navzájem kopírují své nejlepší techniky a postupně vylepšují postupy při vydírání a odcizení dat, aby dosáhly co nejvyššího výkupného. Proč bych měl trávit čas a utrácet peníze vývojem pokročilých technik za asistence LLM, když mohu jednoduše zneužít váš nezáplatovaný firewall nebo ukrást heslo některému z vašich uživatelů a přihlásit se? Výhoda AI je v tuto chvíli zcela na straně obránců, protože máme k dispozici zdroje a datové vědce, kteří nám pomáhají vytvářet zajímavé modely. Zločinci to začnou dělat, až to bude levné a dostatečně snadné, jako to začínáme pozorovat u audio deepfake podvodů, nebo když to bude účinnější než tradiční metody, jako to dnes vidíme u phishingu a spamu.
Pokud jde o další platformy – jak vidíte roli open source AI a mají vůbec nějaké další open source modely šanci vedle velkých poskytovatelů s open source modely jako DeepSeek nebo GROK 3?
Zajímavým tématem jsou váhy AI s otevřeným zdrojovým kódem. Domnívám se, že pro mnoho lidí, kteří chtějí pracovat s modely generativní AI, vytvářejí rovné podmínky, protože snižují náklady a zdroje potřebné pro začátek. I když nemohou investovat stovky milionů dolarů do vybudování konkurenta OpenAI, mohou díky využití těchto otevřených modelů experimentovat s novými aplikacemi i technologické startupy. Tyto modely ale mají i svá rizika, protože stále přesně nevíme, na čem byly vytrénovány a zda s daty nebylo manipulováno. Pozitivně však otevírají pole působnosti.
Vidíte u těchto nástrojů generativní AI zvláštní nebezpečí, která by mohla představovat problém pro společnosti, které je používají – kromě zločinců, kteří je využívají k vytváření hrozeb?
Rozhodně nedoporučuji nahrávat citlivé informace do modelů v zemích, které nemusí respektovat stejné zákony a ochranu soukromí jako u nás. Domnívám se ale, že je bezpečné provozovat modely lokálně nebo na důvěryhodné infrastruktuře v cloudu. Znepokojuje mě, že nástroje generativní AI mohou být integrovány do jiných produktů a služeb, které používáme, aniž by bylo řádně uvedeno, kde jsou naše data zpracovávána. V rámci procesů při nákupu služeb by se měly tyto okolnosti pečlivě sledovat.
Mohly by být open source modely AI pro kyberzločince zajímavým přístupem k vlastním modelům?
Ano, zločinci je samozřejmě mohou zneužít pro své vlastní účely a je velmi pravděpodobné, že tak učiní, i když jen třeba experimentálně. Otázkou je, zda se tím budou obtěžovat. Pokud mohou používat veřejně dostupné modely a jejich stávající nástroje a techniky fungují, nemusí se tím zabývat. Učiní tak jen v případě, že to bude jednodušší, levnější a účinnější. Dnes jen zneužívají velké poskytovatele s ukradenými účty nebo kreditními kartami a využívají je pro účely sociálního inženýrství. Je to mnohem jednodušší než trénovat nebo provozovat vlastní model.
Ale kdo ví, co bude zítra..?
O využití AI k tvorbě malwaru viz také: Nové varianty WormGPT pohání AI modely Grok a Mixtral
