Čo je RAG a kedy ho firma potrebuje
RAG (Retrieval-Augmented Generation) je spôsob, ako nechať AI odpovedať z vašich vlastných dokumentov. Pred každou odpoveďou systém vyhľadá relevantné pasáže v zmluvách, manuáloch alebo technických podkladoch a model odpovedá len z nich, s odkazom na konkrétnu stranu. Firma ho potrebuje vtedy, keď ľudia trávia hodiny hľadaním v dokumentoch.
Prečo nestačí ChatGPT
ChatGPT nepozná vaše zmluvy, cenníky ani interné smernice. Keď sa ho na ne opýtate, buď nevie, alebo si odpoveď domyslí. RAG tento problém rieši tak, že modelu pred odpoveďou dodá presne tie pasáže, ktoré k otázke patria.
Ako RAG funguje
Zjednodušene v troch krokoch:
- Dokumenty sa rozdelia na menšie časti a zaindexujú, aby sa v nich dalo hľadať podľa významu, nie len podľa slov.
- Pri otázke systém nájde najrelevantnejšie časti.
- Model z nich zostaví odpoveď a uvedie, z ktorého dokumentu a strany pochádza.
Graph RAG: keď súvisia dokumenty medzi sebou
Bežné vyhľadávanie nájde odsek, ale nevie, že článok zmluvy odkazuje na prílohu alebo normu. Graph RAG si navyše ukladá vzťahy medzi dokumentmi, pojmami a stranami, takže zvládne aj otázky, ktorých odpoveď je rozdelená vo viacerých podkladoch.
Takto funguje aj môj vlastný produkt Local Graph RAG: súkromný AI asistent nad stavebnou dokumentáciou, ktorý odpovedá po slovensky aj anglicky, cituje presnú stranu a beží na počítači firmy.
Kedy sa RAG oplatí
RAG dáva zmysel, keď platí aspoň jedno z tohto:
- máte stovky alebo tisíce dokumentov a ľudia v nich často hľadajú,
- odpovede musia byť dohľadateľné ku konkrétnemu zdroju,
- noví zamestnanci sa dlho zaúčajú, lebo know-how je rozptýlené v súboroch,
- zákazníci sa opakovane pýtajú na veci, ktoré sú v podmienkach alebo manuáloch.
Časté otázky
Môže RAG bežať bez internetu?
Áno. S otvoreným modelom beží celý systém na počítači alebo serveri firmy a dokumenty sa neposielajú do žiadneho externého API.
Vymýšľa si RAG odpovede?
Riziko je oveľa menšie ako pri samotnom modeli, lebo odpovedá z nájdených pasáží a uvádza zdroj. Keď odpoveď v dokumentoch nie je, má to povedať, nie hádať.
S akými súbormi RAG pracuje?
Najčastejšie s PDF, Word dokumentmi, e-mailmi a tabuľkami. Skenované dokumenty treba najprv previesť na text.