Při hodnocení schopností umělé inteligence můžeme používat celou řadu testů, které byly původně vyvinuty pro zkoumání duševního vývoje dětí nebo kognitivních schopností chytrých zvířat. Jedním ze souvisejících konceptů je tzv. teorie mysli – tedy schopnost pochopit, že někdo jiný má jiné informace než my, a proto se bude chovat jinak (např. nebude vědět, kde se nachází nějaká věc, když nebyl přítomen u schovávání, i když testovaný subjekt to ví).
Vzhledem k aktuální popularitě konverzační umělé inteligence ChatGPT se dalo čekat, že vědci zkusí také její přístup k teorii mysli. Právě to provedl Michal Kosinski ze Stanfordu. Podle jeho testu (prozatím publikováno na arXiv, tedy bez odborné oponentury) disponuje chatbot v tomto ohledu zhruba schopnosti 9letého dítěte. Jako základ pokusu Kosinski použil „test falešné domněnky“ (false-belief) v podobě „co si B myslí, že je v krabici“ (například: testovaný subjekt byl předtím přítomen otevření krabice; na krabici je označení čokoláda; krabice obsahuje popcorn).
Výsledek je zajímavý, protože ChatGPT se zdokonalila přímo před našima očima. Verze vydaná před rokem 2022 v testu propadla, novější (davinci-002 z ledna 2022) uspěla v 70 % případů (zhruba odpovídá 7letému dítěti) a ta současná (davinci-003) zvládá 93 %, úloh, tedy asi jako devítileté dítě. Bob Yirka na TechXplore k tomu mimochodem uvádí, že Microsoft následně pro použití ChatGPT ve vyhledávači Bing robota upravil tak, že se otázky na teorii mysli snaží obcházet. Samotná volně přístupná verze ChatGPT podle ale testem spolehlivě projde (provedeno navíc v češtině).
Původní studie dále ukazuje, jak ChatGPT mění své názory na obsah mysli dalšího subjektu spolu s tím, jak se situace vyvíjí (přicházejí nové informace, subjekt si přečte popisku, nakonec se otevírá krabice) a různým možnostem přiřazuje různé procentuální ocenění.
Obecně: Teorie mysli se objevila spontánně, téměř jistě se ji programátoři ChatGPT nesnažili do systému nějak speciálně implementovat. Jde zřejmě o vedlejší produkt zlepšování jazykových dovedností, respektive prostě vlastnost složitosti/velikosti jazykového modelu od určité úrovně, jak tvrdí alespoň M. Kosinski.
https://doi.org/10.48550/arXiv.2302.02083
Zdroj: TechXplore.com/arXiv a další
Poznámka: To, nakolik v nějak modifikovaném testu falešné domněnky dokážou uspět např. šimpanzi nebo psy, je také předmětem výzkumů. Z výše uvedeného by se zdálo, že se příslušná schopnost objevuje také spontánně a automaticky spolu s určitou „inteligencí“ (růstem složitosti modelu světa). Jiné systémy AI získají tuto dovednost zřejmě také „automaticky“. Ale výzkumy budou samozřejmě pokračovat.
Na podobné téma viz také: ChatGPT má podle vědců stále slabiny