Halucynacje AI: dlaczego model zmyśla i jak to ograniczyć

Dlaczego model językowy wymyśla odpowiedzi

Model uczy się na ogromnych zbiorach tekstu, jak zwykle wyglądają odpowiedzi na podobne pytania. Kiedy pytasz o cenę usługi w swojej firmie, nie ma jej w pamięci, ale wie, jak wygląda zdanie z ceną, więc je tworzy. Nie ma wbudowanego odruchu „nie wiem”, chyba że dostanie taką instrukcję i materiał, na którym może się oprzeć.

wiedza modelu kończy się w pewnym momencie, więc nie zna nowych przepisów ani zmian w cennikach,
nie widzi danych firmy, jeśli nikt ich nie podłączył,
liczby, daty i nazwiska przekręca częściej niż ogólne opisy,
w długiej rozmowie może pomylić fakty z początku z tym, co padło później.

Gdzie zmyślona odpowiedź kosztuje firmę

Sytuacja	Przykład błędu	Skutek
Chatbot na stronie	podaje cenę usługi spoza cennika	klient oczekuje tej ceny i powołuje się na rozmowę
Pytanie o przepisy	cytuje nieistniejący artykuł albo nieaktualny termin	decyzja podjęta na błędnej podstawie
Obsługa zamówień	wymyśla numer przesyłki lub myli dwóch klientów	reklamacja i ryzyko ujawnienia danych
Streszczenie umowy	pomija karę umowną albo dopisuje nieistniejący zapis	zła ocena ryzyka przed podpisaniem
Opis produktu	dodaje parametr lub certyfikat, którego produkt nie ma	zwroty i zarzut wprowadzania w błąd

Przy dokumentach prawnych AI może pomóc, ale z odnośnikiem do konkretnego zapisu, tak jak opisuję przy AI do analizy umów.

Sześć sposobów, którymi ograniczam halucynacje

Źródła firmy zamiast pamięci modelu. Agent odpowiada na podstawie dokumentów, cennika i bazy wiedzy, które wyszukuje przy każdym pytaniu. Ta technika to RAG.
Źródło w odpowiedzi. Każda odpowiedź wskazuje dokument lub rekord, z którego pochodzi, więc człowiek może to sprawdzić.
Wąski zakres. Chatbot sklepu odpowiada o zamówieniach i produktach, a przy innych tematach odmawia albo przekazuje rozmowę człowiekowi.
Liczby z systemu. Ceny, stany i statusy pobieram przez API w chwili pytania, model ich nie generuje.
Kontrola w kodzie. Jeśli odpowiedź zawiera numer zamówienia, przepływ sprawdza, czy taki istnieje w bazie, zanim cokolwiek wyśle.
Testy przed startem. Zestaw pytań z firmy, opisany niżej.

Testy na pytaniach z Twojej firmy

Zbieram kilkadziesiąt prawdziwych pytań z maili, czatu i telefonów, razem z poprawnymi odpowiedziami. Dokładam podchwytliwe: o usługę, której firma nie świadczy, o cenę spoza cennika, o klienta, którego nie ma w bazie. Agent przechodzi test przed uruchomieniem, a ja patrzę, czy odmawia, kiedy powinien, i czy podaje źródło.

Ten sam zestaw powtarzam po każdej zmianie instrukcji, dokumentów albo modelu. Dzięki temu poprawka w jednym miejscu nie psuje po cichu odpowiedzi w innym. Przy chatbotach dla klientów to podstawa, o której piszę też przy chatbotach AI dla firm.

Zasady dla zespołu, który używa asystenta na co dzień

prosić o źródło i je otwierać, zamiast wierzyć na słowo,
wklejać dane, na których asystent ma pracować, zamiast pytać o nie z pamięci,
sprawdzać każdą liczbę, datę, nazwisko i numer przed wysłaniem dalej,
odpowiedź o przepisach traktować jako punkt wyjścia do sprawdzenia w źródle.

Takie reguły najlepiej spisać razem z resztą ustaleń o AI w zespole, wzór jest na stronie polityka korzystania z AI w firmie. Jeśli chcesz sprawdzić, jak często Twój obecny chatbot zmyśla, przygotuję test na waszych pytaniach, napisz do mnie.

Najczęstsze pytania

Czy nowsze modele AI przestały halucynować?

Zmyślają rzadziej w typowych zadaniach, ale problem nie zniknął, szczególnie przy pytaniach o dane firmy, których model nie widział, i przy liczbach. Dlatego zabezpieczenia buduję w przepływie, zamiast czekać na kolejną wersję modelu.

Czy RAG całkowicie usuwa halucynacje?

Nie, ale wyraźnie je ogranicza. Model może źle zrozumieć fragment dokumentu, połączyć informacje z dwóch plików albo dopowiedzieć coś, czego w źródle nie ma. Dlatego odpowiedź pokazuje źródło, a test na pytaniach firmy sprawdza takie przypadki.

Jak rozpoznać, że AI zmyśla?

Podejrzane są bardzo konkretne szczegóły bez wskazanego źródła, linki, które nie działają, cytaty z przepisów bez numeru i daty oraz odpowiedzi sprzeczne z tym, co padło wcześniej.

Kto odpowiada za błędną odpowiedź chatbota firmy?

Klient traktuje odpowiedź chatbota jak informację od firmy, która go udostępnia, więc to firma ponosi skutki wizerunkowe i finansowe. Kwestie odpowiedzialności prawnej omów z prawnikiem, to nie jest porada prawna. Technicznie ograniczam ryzyko wąskim zakresem i zastrzeżeniem, że chatbot nie składa wiążących ofert.

Halucynacje AI w firmie: skąd się biorą i jak je ograniczam