Pohled na AI a chatboty pro byznys (2. díl)

Ne-úspěšnost chatbotů a její příčiny

Lze tvrdit, že platí jedno univerzální pravidlo tří kontrolních otázek nového uživatele či zákazníka chatbota. Tyto tři první otázky, většinou rozhodují o tom, zda bude mít uživatel v chatbot důvěru, nebo bude odsouzen k tupému dovedení na řešení technického problému s pořízeným zařízením, výpadku služby nebo doporučení zimní bundy k nákupu.

Myslím, že velká část uživatelů nějaký nově vzniklý chatbot podrobila podobnému testu. Ti největší pionýři, kteří sledují nově vznikající chatboty, zahájí kontrolní salvu otázek na obecná konverzační témata. Provádějí vlastně test, jak se autoři chatbota popasovali s návrhem dialogu a jak jsou připraveni na to, že uživatel bude chatovat na jiné téma, než byl chatbot natrénován. Pokládáme otázky typu: „Jak se jmenuješ?“, „Jsi kluk nebo holka?“, „Kolik ti je?“ A podobná genderově nevyvážená témata. Většina chatbotů selže, protože se tvůrci soustředili pouze na jejich specializaci, ve které mohou odvádět perfektní práci.

Aby uživatel získal důvěru a měl pocit, že „hovoří“ s podporou nebo zástupcem shopu, očekává od chatbota jakýsi „lidský dotek“, nebo chcete-li osobnost.

Největším prohřeškem je syndrom gramofonové desky, který zákazníka také nejvíce odradí. Ta se zapíná na vysoké otáčky, pokud chatbot nerozumí otázce nebo formulaci uživatele. Do skonání světa pak opakuje jednu větu: „Rád bych ti pomohl, ale nerozumím zadání. Zkus se zeptat na něco jiného.“ Je to standardní chyba většiny botů, které nedokáží porozumět záměru uživatele, nepočítají s jiným tématem, než pro který byl bot natrénován. Jednoduše řečeno, chatbot jede v první třídě rychlíku a strojvůdce ztratí uživatelskou příručku a chatbot nemá nikde ve vagónu záchranou brzdu. Selže nejen syntaktická analýza (word embeddings), ale i předmět, který není součástí předtrénovaného datasetu, a nakonec bot není schopen identifikovat ani záměr. Tedy to, co vlastně uživatel zamýšlel. Poslední záchranou by mohla být analýza sentimentu a bot mohl usoudit, že mu začíná běžet čas, aby se dopídil nějaké reakce, kterou uživatel očekává a přepojil uživatele na své lidské kolegy za klávesnicí.

Uživatel se pokusí přeformulovat větu. Učiní tak jednou dvakrát a když pokaždé obdrží stejnou odpověď: „Rád bych ti pomohl, ale nerozumím zadání. Zkus se zeptat na něco jiného.”, tak dialogové okno zavře. Statisticky je velmi malá pravděpodobnost, že se někdy k výrobci nebo poskytovateli a jeho chatbotu někdy vůbec vrátí.

Kdo nemá historická data, nemá nic

Jednoduše řečeno, základem je co nejvíce dat, ještě více dat a pak ještě více dat. Nejlépe je to jejich celá historie, přepisy rozhovorů podpory a e-mailové konverzace, nebo množství obrazového materiálu na jedno téma. Definicí bohatství doby umělé inteligence je, že kdo má historická data, ten má to největší bohatství. Může se jednat o data sbíraná ve výrobě, finančních operacích, fotky, emaily a chaty. Je tedy evidentní, které konglomeráty mají dnes největší truhly plné pokladů.

Pro trénování strojového překladu s úrovní úspěšnosti 60 % je například zapotřebí mít alespoň slovník obsahující 30 000 frází. Pokud firma nebo startup plánuje opravdový deep learning v oblasti konverzace mezi dvěma jedinci, lze odhadnout jako nutné minimum alespoň 100 000 řádků chatu. To je dobré doplnit o jazykové datasety na dané odborné téma – slovníky, 50 knížek a například 500 narativních (výkladových) článků.

Kvalita chatbota

Kvalita chatbota se následně řídí kromě množství a kvality dat jeho trénováním, precizností, použitou platformou a modely. Chaty jedinců často obsahují zkratky a výrazy, které nejsou zcela běžné, vložené kusy kódu a hlášení, které celý trénovací proces mohou velmi komplikovat. Obecným pravidlem je, že řešení open source mají k dispozici více obecných datasetů, nebo již předtrénovaných modelů, které se dají do celého projektu lehce zapojit.

Čištění dat je také třeba věnovat velkou pozornost. Pomůckou můžou být metody word to vector, elastic search, IBM Watson Cognos apod. Bohužel to nefunguje tak, že se do IBM Watson, Google MLP nebo open source Tensorflow pošle PDF z koupené knížky na Amazonu. To je zcela mylná představa. Na druhou stranu lze ale také říci, že pokud stavíte chatbota na sice starších, ale ověřených bayessovských modelech a hobbsovských metodách, tak jsou dětské knihy s elementární jazykovou skladbou dobrým startem.

Nutné dovednosti ve firmě – data scientist

Pokud firma hledá rychlé nasazení chatbota se stávajícími lidskými zdroji, tak je IBM Watson Converstation Services tou nejrychlejší cestou. Pokud má k dispozici dostatek dat, produktových katalogů, nasbíraných údajů z měření nebo obrazového materiálu, tak je reálně použitelný chatbot na světě za nějaké tři měsíce. Kombinace více znalostních domén v jeden dialog, bude to stát více času a příprava a zejména hledáni datasetů celý projekt protáhne.

Pokud však chce organizace vytvořit chatbota, který se bude snažit simulovat lidskou konverzaci a bude schopen reagovat na banální otázky, které nemusejí zcela souviset s původním účelem chatbota, tak je třeba se připravit na šest měsíců intenzivnější práce. Potřebovat bude dnes velmi oblíbenou roli „data scientist“, která je dnes až trochu přeceňovaná. Prostě někoho, kdo se dokáže podívat na hromadu dat, setřídit je, vyčistit a zajisti jejich obsah, které se v dané problematice očekává. Dále bude potřebovat někoho, kdo si rozumí s Google NLP a ML, nebo variantně s open source Tensorflow a frameworky Keras nebo Cafee. Dva lidé jsou ideální sestava. Práci si mohou rozdělit na základní byznysový účel chatbota a obecnou konverzační část. Vedlejší konverzační větev chatbota může čerpat svoje znalosti pro trénování z volně dostupných zdrojů Wiki, reddit.com, počasí, zpravodajských webů apod.

V závěrečné části seriálu se podrobněji podíváme mimo jiné na příklady postavení chatbota a typickou technologickou výbavu pro chatbota.

Filip Korbel donedávna zastával pozici obchodního ředitele IBM pro segment Commercial a CSP v Čechách a na Slovensku.

Viz také Pohled na AI a chatboty pro byznys (1. díl)