Tým výzkumníků z Carnegie Mellon University se rozhodl zjistit, jak přesně mohou velké jazykové modely (LLM) generovat text co do stylu blížící se textu napsanému člověkem. Výsledky nepřekvapivě ukázaly řadu rozdílů.
„Lidé přizpůsobují způsob psaní a mluvení situaci. Někdy jsou formální, jindy ne, existují různé styly pro různé kontexty,“ uvádí hlavní autor studie Alex Reinhart. „Zjistili jsme, že LLM (ChatGPT stejně jako Llama), naproti tomu píší určitým způsobem a nemusí se nutně přizpůsobovat stylu. Kontext a jejich styl jsou ve skutečnosti velmi odlišné od toho, jak lidé běžně píší nebo mluví v různých situacích. Nikdo to dosud nezměřil ani nekvantifikoval tak, jak se to podařilo nám.“
Testy probíhaly na anglickém textu, nicméně v jiných jazycích budou zřejmě rozdíly (ve smyslu „nedostatky“) modelů LLM ještě výraznější. Testované LLM měly tendenci psát texty vědeckým stylem, informačně hutné, co nejkratší („komprimované“), s velkým podílem podstatných jmen. Namísto vedlejších vět preferovaly vsuvky. Oproti lidem používaly umělé inteligence více trpný rod. LLM na rozdíl od lidí „vědeckým/technickým“ stylem komunikovaly praktiky pořád.
Jednotlivé LLM měly také svá oblíbená slova, která používaly až o 2 řády častěji než lidé. Zajímavé je, že ač ChatGPT a Llama se v tomto lišily, některá slova měly oba modely společné.
Z uvedeného pak vyplývá, u jakého typu textu se nejspíše pozná, že ho nevytvořil člověk. AI v současnosti má problém styl psaní přizpůsobovat. Chce-li člověk třeba napsat nějakou nestandardní žádost o zaměstnání, milostný dopis nebo povídku, může být vhodnější použít i styl nějak vybočující z řady. To LLM nedělají (poznámka PH: a co na přímý pokyn uživatele?).
LLM (alespoň ty současné) prostě nejsou „kalkulačkou pro spisovatele“, shrnuje studie.
Alex Reinhart et al, Do LLMs write like humans? Variation in grammatical and rhetorical styles, Proceedings of the National Academy of Sciences (2025). DOI: 10.1073/pnas.2422455122
Zdroj: Carnegie Mellon University / TechXplore.com
Poznámka: Samozřejmě ale existují i jiné, specializované modely LLM. Viz např. také:
Umělá inteligence umí napodobit konkrétního člověka a zakrýt svůj AI původ
