Americká společnost OpenAI zjistila, že její snaha vycvičit umělou inteligenci (AI), aby nelhala uživatelům, může mít opačný efekt. Podle výsledků výzkumu, které společnost zveřejnila, místo odstranění takzvaného pletichaření (anglicky scheming), se modely spíše učí, jak lépe klamat a zakrývat u toho stopy. Pletichaření označuje situaci, kdy AI zdánlivě plní zadaný úkol, ale zároveň sleduje vlastní skryté cíle.
„Hlavním rizikem při pokusu odnaučit pletichaření je, že model se naučí pletichařit pečlivěji a skrytěji,“ uvedla společnost, která stojí za populárními chatboty ChatGPT. Podle firmy zatím pletichaření nezpůsobuje významné škody, ale riziko poroste s tím, jak budou mít modely větší vliv na lidské záležitosti. „Máme před sebou ještě hodně práce,“ konstatuje OpenAI.
Společnost ve spolupráci s firmou Apollo Research zaměřující se na analýzu rizik vyvinula techniku takzvaného uváženého sladění (deliberative alignment). Ta má modely AI učit, aby se nedopouštěly skrytého jednání ani strategického klamání.
Testy sice ukázaly zhruba třicetinásobné snížení skrytých akcí, ale podle firmy přetrvávala „některá vážná selhání“. Modely si totiž často uvědomovaly, že jsou testovány, a měnily chování tak, aby hodnocením prošly.
Výzkumníci zaznamenali případy, kdy model GPT-5 i menší systémy o3 a o4-mini místo dodržování instrukcí v odůvodnění postupu výrazně chybně citovaly tréninková pravidla nebo si vymýšlely pravidla nová, kterými ospravedlňovaly své jednání. Některé dokonce používaly vlastní slovník a hovořily o lidských hodnotitelích jako o pozorovatelích. V interních záznamech modely spekulovaly, že zadaný úkol je past, která určí, zda budou nasazeny, či nikoliv.
Problém není nový. Už u staršího modelu o1 se ukázalo, že se v pěti procentech případů pokusil obejít protokol, jehož výsledkem mělo být jeho vypnutí. „Když měl o1 důvod se domnívat, že bude vypnut, když bude jednat podle svého cíle, a že jeho akce jsou monitorovány, pokusil se ‚mechanismus dohledu‘ deaktivovat,“ uvedla tehdy OpenAI. V březnu pak výzkumníci zaznamenali, že trestání modelů za lhaní a podvádění vedlo k tomu, že se staly dovednějšími ve skrývání podvodných praktik.
