Co to jest RAG? Wyjaśnienie dla właściciela firmy

Jak działa RAG w trzech krokach

Przygotowanie dokumentów. Procedury, cenniki, instrukcje i umowy są dzielone na krótsze fragmenty i zapisywane w indeksie, który pozwala szukać po znaczeniu, a nie tylko po słowach. Często jest to tak zwana baza wektorowa.
Wyszukanie. Gdy pracownik zadaje pytanie, system wybiera kilka fragmentów najbliższych mu treścią.
Odpowiedź. Model dostaje pytanie razem z tymi fragmentami i pisze odpowiedź tylko na ich podstawie, z odnośnikiem do dokumentu.

Model niczego się przy tym na stałe nie uczy. Gdy zmienia się cennik, wystarczy podmienić plik w indeksie, a następna odpowiedź korzysta już z nowej wersji. Krótkie definicje pokrewnych pojęć zebrałem w słowniku automatyzacji.

RAG, dostrajanie modelu czy długi kontekst

Wiedzę firmy można przekazać modelowi na trzy sposoby. Różnią się kosztem, aktualnością i tym, ile dokumentów obsłużą.

Sposób	Na czym polega	Kiedy pasuje	Słabe strony
RAG	wyszukanie fragmentów i dołączenie ich do pytania	dużo dokumentów, częste zmiany, potrzeba źródeł	zależy od jakości wyszukiwania i porządku w plikach
Dostrajanie modelu (fine-tuning)	dodatkowy trening modelu na przykładach firmy	stały styl, format lub klasyfikacja tekstów	słabo nadaje się do faktów, które się zmieniają, każda zmiana to nowy trening
Długi kontekst	cały dokument wklejony do jednej rozmowy	kilka plików, jednorazowa analiza	nie skaluje się na całe archiwum firmy, każde pytanie przetwarza wszystko od nowa

W praktyce małej firmy dostrajanie rzadko jest potrzebne. Najczęściej zaczynam od długiego kontekstu na kilku plikach, a RAG wprowadzam, gdy dokumentów robi się za dużo na jedną rozmowę.

Kiedy RAG nie ma sensu

wszystkie potrzebne materiały mieszczą się w kilku plikach, które można dodać do projektu w asystencie,
odpowiedź wymaga liczb z systemu, na przykład stanu magazynu albo salda klienta: wtedy lepsze jest zapytanie do bazy danych lub integracja przez API,
dokumenty są sprzeczne i nikt nie wie, która wersja obowiązuje,
pytań jest kilka w miesiącu i szybciej odpowiada człowiek, który zna temat.

Gdy asystent ma nie tylko odpowiadać, ale też wykonywać działania, potrzebny jest agent, który korzysta z RAG jako jednego z narzędzi. Różnicę opisuję na stronie co to jest agent AI.

Jakość dokumentów decyduje o jakości odpowiedzi

RAG nie poprawi chaosu w plikach. Jeśli w folderze leżą trzy wersje regulaminu, wyszukiwanie może trafić na najstarszą, a model poda ją z pełnym przekonaniem. Przed wdrożeniem razem z firmą przeglądam źródła: usuwamy duplikaty, oznaczamy wersje obowiązujące i ustalamy, kto odpowiada za aktualizację.

Znaczenie ma też forma. Skany wymagają rozpoznania tekstu, tabele w PDF czasem rozpadają się przy odczycie, a dokument bez nagłówków trudniej podzielić na sensowne fragmenty. Testuję asystenta na pytaniach, na które zespół zna odpowiedź.

Uprawnienia: kto zobaczy który fragment

Indeks RAG zawiera treść wszystkich wczytanych dokumentów. Bez kontroli dostępu handlowiec mógłby zapytać o wynagrodzenia i dostać fragment z dokumentu kadrowego. Dlatego każdy fragment ma zapisane, z jakiego folderu i dla jakiej grupy pochodzi, a wyszukiwanie pomija to, czego pytający nie może otworzyć w oryginale.

Gdy dokumenty nie mogą opuścić firmy, wyszukiwanie i model mogą działać na własnym serwerze, co opisuję przy lokalnym modelu AI w firmie.

Ile kosztuje RAG i jak go wdrożyć

Koszt zależy od liczby źródeł, kontroli dostępu i sposobu odświeżania indeksu, a nie od samego skrótu. Gotowe wdrożenie z interfejsem dla pracowników opisuję na stronie asystent AI na dokumentach firmy, gdzie podaję też cenę wyjściową. Więcej pojęć znajdziesz w bazie wiedzy, a jeśli chcesz sprawdzić, czy RAG pasuje do Waszych dokumentów, napisz do mnie.

Najczęstsze pytania

Czy RAG eliminuje halucynacje AI?

Nie eliminuje, ale wyraźnie je ogranicza, bo model odpowiada na podstawie wyszukanych fragmentów i podaje źródło. Błąd może się pojawić, gdy wyszukiwanie trafi na zły fragment albo dokument jest nieaktualny. Dlatego asystent powinien mówić „nie wiem”, gdy nie znajdzie pasujących fragmentów.

Czym RAG różni się od trenowania modelu na danych firmy?

Przy RAG model się nie zmienia: dostaje tylko fragmenty dokumentów razem z pytaniem. Przy dostrajaniu model przechodzi dodatkowy trening na przykładach firmy. RAG łatwiej aktualizować i łatwiej sprawdzić, skąd pochodzi odpowiedź.

Czy do RAG potrzebna jest baza wektorowa?

Zwykle tak, bo pozwala wyszukiwać fragmenty po znaczeniu, a nie tylko po słowach. Może to być osobna usługa albo rozszerzenie bazy danych, którą firma już ma. Przy kilkunastu dokumentach czasem wystarcza prostsze rozwiązanie.

Jakie dokumenty nadają się do RAG?

Najlepiej teksty z jasną strukturą: procedury, instrukcje, regulaminy, opisy produktów, odpowiedzi na częste pytania. Gorzej sprawdzają się słabe skany, arkusze z samymi liczbami i dokumenty w wielu sprzecznych wersjach.

Co to jest RAG i kiedy przydaje się w firmie