Rozpoznávání obrazu lze ošálit

Rozpoznávání obrazu, ať už s pomocí metod strojového učení/umělé inteligence nebo jinak, je v poslední době stále rozšířenější aplikací. Rozhraní Google Cloud Vision API nyní umožňuje příslušnou funkcionalitu začlenit i do služeb třetích stran. Trocha šumu však stačí, aby rozpoznávání obrázků přestalo fungovat, jak má.
Viz také: Rozpoznávání obrazu – nenápadný příchod nové killer aplikace?

Práce bezpečnostních expertů z University of Washington ale nyní ukázala, že příslušnou službu lze snadno zmást. Stačí, když je v obrázcích trocha šumu. Autoři výzkumu (Hossein Hosseini, Baicen Xiao a Radha Poovendran, publikováno na Arxiv) demonstrují několik případů, kdy přidání 10-15 % šumu způsobuje, že systém již obrázek zařadí špatně, a to i když původní rozeznat dokázal. Platí to stejně pro čajovou konvičku, budovu i letadlo.

Autoři výzkumu se primárně zabývají zabezpečením a naznačují, že přidávání šumu by mohlo fungovat i jako vektor útoku. Tímto způsobem by třeba šlo oslepit dron nebo bezpečnostní kameru. Navíc rozpoznávání typu předmětů se používá třeba i v obchodech, při kontrole na regálech, při vážení. Chyby v rozpoznávání umožňují distribuovat obsah, který by byl jinak automaticky označen za nevhodný. U všech těchto metod útoků se samozřejmě nabízejí i námitky – má-li někdo např. přístup k záznamům bezpečnostních kamer, může s nimi dělat už cokoliv, nejen přidávat šum; a chce-li někdo distribuovat nějak problematický obsah a dosáhne toho, že bude jinak „otagován“, stane se tak současně problematicky dohledatelný i pro zamýšlené příjemce.

Autoři výzkumu v této souvislosti dodávají, že pro člověka zůstávají „zašuměné“ obrázky stále dobře rozpoznatelné, takže lidé by např. nějaké porušení databáze nemuseli vůbec zaznamenat.
Google přitom mimochodem experimentuje speciálně s opačným postupem, tedy přidáváním informace, která v obrázku původně vůbec přítomná není: Neuronová síť Googlu rekonstruuje tváře

Zdroj: The Register a další

Exit mobile version