Čo je RAG a kedy ho firma potrebuje

Adam Krampl ·

RAG (Retrieval-Augmented Generation) je spôsob, ako nechať AI odpovedať z vašich vlastných dokumentov. Pred každou odpoveďou systém vyhľadá relevantné pasáže v zmluvách, manuáloch alebo technických podkladoch a model odpovedá len z nich, s odkazom na konkrétnu stranu. Firma ho potrebuje vtedy, keď ľudia trávia hodiny hľadaním v dokumentoch.

Prečo nestačí ChatGPT

ChatGPT nepozná vaše zmluvy, cenníky ani interné smernice. Keď sa ho na ne opýtate, buď nevie, alebo si odpoveď domyslí. RAG tento problém rieši tak, že modelu pred odpoveďou dodá presne tie pasáže, ktoré k otázke patria.

Ako RAG funguje

Zjednodušene v troch krokoch:

  • Dokumenty sa rozdelia na menšie časti a zaindexujú, aby sa v nich dalo hľadať podľa významu, nie len podľa slov.
  • Pri otázke systém nájde najrelevantnejšie časti.
  • Model z nich zostaví odpoveď a uvedie, z ktorého dokumentu a strany pochádza.

Graph RAG: keď súvisia dokumenty medzi sebou

Bežné vyhľadávanie nájde odsek, ale nevie, že článok zmluvy odkazuje na prílohu alebo normu. Graph RAG si navyše ukladá vzťahy medzi dokumentmi, pojmami a stranami, takže zvládne aj otázky, ktorých odpoveď je rozdelená vo viacerých podkladoch.

Takto funguje aj môj vlastný produkt Local Graph RAG: súkromný AI asistent nad stavebnou dokumentáciou, ktorý odpovedá po slovensky aj anglicky, cituje presnú stranu a beží na počítači firmy.

Kedy sa RAG oplatí

RAG dáva zmysel, keď platí aspoň jedno z tohto:

  • máte stovky alebo tisíce dokumentov a ľudia v nich často hľadajú,
  • odpovede musia byť dohľadateľné ku konkrétnemu zdroju,
  • noví zamestnanci sa dlho zaúčajú, lebo know-how je rozptýlené v súboroch,
  • zákazníci sa opakovane pýtajú na veci, ktoré sú v podmienkach alebo manuáloch.

Časté otázky

01

Môže RAG bežať bez internetu?

Áno. S otvoreným modelom beží celý systém na počítači alebo serveri firmy a dokumenty sa neposielajú do žiadneho externého API.

02

Vymýšľa si RAG odpovede?

Riziko je oveľa menšie ako pri samotnom modeli, lebo odpovedá z nájdených pasáží a uvádza zdroj. Keď odpoveď v dokumentoch nie je, má to povedať, nie hádať.

03

S akými súbormi RAG pracuje?

Najčastejšie s PDF, Word dokumentmi, e-mailmi a tabuľkami. Skenované dokumenty treba najprv previesť na text.

Súvisiace služby

Projekty

Ďalšie články