Dříve jsme optimalizovali weby nejen pro čtenáře, ale i pro vyhledávače, teď se půjde o krok dál – vyhledávače se mají samy optimalizovat pro modely AI.
„Všechny vyhledávače byly dosud navrženy pro lidi,“ uvádí hlavní autor nové studie Alireza Salemi z University of Massachusetts (Amherst). „Fungují docela dobře, když je uživatelem člověk, ale hlavním uživatelem vyhledávače budoucnosti bude některý z velkých jazykových modelů umělé inteligence. To znamená, že musíme zcela přepracovat způsob, jakým vyhledávače fungují. Zkoumáme, jak se od sebe LLM a vyhledávače mohou navzájem učit.“
Pokud si například člověk nemůže vzpomenout na název a autora nové knihy, která právě vyšla, lze zadat řadu obecných výrazů, například „co je to za nový špionážní román s ekologickou zápletkou od slavné spisovatelky“, a pak výsledky zúžit nebo spustit další vyhledávání, když si člověk vzpomene na další informace (autorkou je žena, která také napsala román XY apod.).
Ale takhle fungují lidé, ne LLM. Ty byly vyškoleni na obrovských souborech dat a cokoli, co v tomto souboru dat nebylo – jako například nová kniha, která se právě dostala na stánky – je pro ně neviditelné. Navíc nejsou příliš spolehlivé v případě nejasných požadavků, protože LLM musí být schopen požádat motor o další informace; k tomu však potřebuje znát správné dodatečné informace, na které se má zeptat.
Počítačoví vědci vymysleli způsob, jak pomoci LLM vyhodnotit a vybrat potřebné informace, který se nazývá „retrieval-augmented generation“ neboli RAG. RAG je způsob, jak rozšířit LLM o seznamy výsledků vytvořené vyhledávači. Stále ale zůstává řada problémů. Existuje celá řada modelů LLM i vyhledávačů, zvyšuje se tedy nedostatek transparentnosti – je/bude pak ještě méně jasné, jak kombinace AI a vyhledávače došla k výsledkům. Nově vyvinutý systém eRAG si proto klade za cíl poskytovat spolehlivou, relativně účinnou a efektivní metodiku vyhodnocování vyhledávacích motorů, které jsou využívány agenty AI. eRAG funguje následovně: lidský uživatel používá agenta umělé inteligence s podporou LLM k provedení úkolu. Agent umělé inteligence zadá dotaz vyhledávači a ten mu vrátí určitý počet výsledků – řekněme 50 – pro spotřebu LLM. Systém eRAG projde každý z 50 dokumentů pomocí LLM, aby zjistil, který konkrétní dokument shledal systém LLM užitečným pro vygenerování správného výstupu. Tato skóre na úrovni dokumentů jsou pak agregována pro vyhodnocení kvality vyhledávače pro agenta AI. Vlastně jde tedy o způsob vyhodnocování vhodnosti současných vyhledávačů pro AI, přičemž celá metoda má být i snadná na implementaci.
Alireza Salemi et al, Evaluating Retrieval Quality in Retrieval-Augmented Generation, Proceedings of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval (2024). DOI: 10.1145/3626772.3657957
Zdroj: University of Massachusetts Amherst / TechXplore.com, přeloženo / zkráceno
