Jak zmást rozpoznávání obrázků – psychedelickými barvami

V Googlu vytvořili speciální samolepky s extrémně výraznými barevnými motivy. Jsou určeny k matení systémů pro rozpoznávání obrazu. Stačí samolepku umístit vedle banánu a neuronová síť náhle objekt neklasifikuje jako banán – a to i když se samotná samolepka mnohem menší než kus ovoce.
Umělá inteligence prý v tomto případě fungovala podobně jako lidé, nechala se rozptýlit, respektive se až zahltila výrazně zbarvenými obrazci. Ty v rámci experimentu měly tvar toustovače a obraz jako celek byl pak klasifikován jako toustovač.

Při výzkumu byla takto oklamána neuronová síť VGG16 (technologie vyvinutá skupinou Visual Geometry Group z Oxford University – odtud název). Autoři článku publikovaného na arXiv (Tom Brown, Dandelion Mané, Aurko Roy, Martín Abadi and Justin Gilmer) uvádějí, že tento problém zakládá možný specifický typ útoků na příslušné systémy. Narušitel nijak nemusí manipulovat se scénou jako celkem (osvětlení, úhel snímání apod.) ani se samotným předmětem, který chce zamaskovat, stačí mu do scény přidat nový prvek, navíc relativně malý, klidně jen 10 % velikosti původního předmětu. Daly by se takto mást např. detektory na letištích nebo ve věznicích, které by nezaznamenaly příslušný kontraband.

Problém údajně spočívá mj. Ve způsobu učení systému. Neuronová síť se při tom musí rozhodnout, co je vlastně obrázek znázorňuje. Za správné jsou považovány odpovědi, které přiřadí snímku jediný (cca převládající) „štítek“. Video na Youtube dále ukazuje, že obrázek samotného toustovače síť nezmátl, ale stačilo ho obarvit…

Zdroj: TechXplore.com, The Register

Exit mobile version