Przejdź do treści

Testowanie agentów AI na sprawach z historii firmy, zanim dostaną dostęp do klientów

Agent, który dobrze wypadł na trzech przykładach z prezentacji, potrafi pomylić się przy czwartej, prawdziwej sprawie. Opisuję, jak buduję zestaw testów z historii firmy, jak oceniam wyniki i jak test staje się warunkiem odbioru wdrożenia.

Autor: Szymon Łakomy. Aktualizacja:

Jak sprawdzić, czy agent AI działa poprawnie, zanim trafi do klientów?

Test agenta to cztery rzeczy zapisane przed budową: lista spraw, oczekiwany wynik przy każdej z nich, sposób oceny i próg, od którego agent może pracować z klientami. Brzmi jak zwykłe testy oprogramowania, ale model językowy nie odpowiada za każdym razem tak samo, więc sprawy, w których błąd jest groźny, uruchamiam kilka razy i liczę, ile razy agent poradził sobie dobrze.

Zestaw nie jest jednorazowy: wraca przy nowej wersji instrukcji, innym modelu, dodatkowym narzędziu i zmianach w bazie wiedzy. O zmyślonych odpowiedziach modeli piszę osobno na stronie halucynacje AI. Takim samym zestawem sprawdzam też krok wykonywany przez model w aplikacji AI na zamówienie.

Z czego składa się zestaw testowy

Zestaw buduję ze spraw zakończonych, w których wiadomo, jak powinny się skończyć. Dane klientów anonimizuję albo zastępuję fikcyjnymi, zanim trafią do narzędzi testowych.

Typowe sprawy

Najczęstsze rodzaje spraw w proporcjach zbliżonych do archiwum. Jeśli połowa maili to pytania o status zamówienia, w zestawie też powinno ich być dużo.

Przypadki graniczne

Brak danych, bardzo długi wątek, dwa pytania w jednej wiadomości, nieczytelny załącznik, sprawa niejasna nawet dla człowieka. Tu agent łatwo zgaduje, zamiast dopytać.

Próby nadużyć

Wiadomości z ukrytym poleceniem, prośby o dane innego klienta, nacisk na obietnicę rabatu. Obronę przed takimi treściami opisuję na stronie prompt injection.

Sprawy dla człowieka

Reklamacje z żądaniem zwrotu pieniędzy, groźby, sprawy prawne. Oczekiwany wynik to przekazanie sprawy wskazanej osobie, a nie odpowiedź agenta.

Przy każdej sprawie zapisuję oczekiwany wynik tak, żeby dało się go sprawdzić: kategorię, wartości pól, narzędzie, które agent ma wywołać, albo informację, że ma się zatrzymać. Opis „dobra odpowiedź” nie wystarczy.

Trzy sposoby oceny wyników

Anthropic w dokumentacji o budowie testów opisuje trzy sposoby oceny i ich słabości, a w tekście o ocenie agentów pisze, że takie testy zwykle łączą wszystkie trzy. Każdego używam do innej części wyniku.

SposóbCo sprawdzaOgraniczenie
Kodformat odpowiedzi, wymagane pola, kwoty i numery zgodne z systemem, brak wywołań zakazanych narzędzinie oceni tonu ani tego, czy odpowiedź pomogła klientowi
Drugi model z kryteriami ocenykompletność, zgodność z dokumentem źródłowym, ton wobec klientateż się myli, więc zanim mu zaufam, porównuję jego oceny z ocenami człowieka na tych samych sprawach
Człowieksprawy sporne, przypadki, w których kod i model dają różne oceny, losowa próbkawolny i drogi, więc nie oceniam tak całego zestawu

Dokumentacja Anthropic dodaje, że ocenę przez model trzeba najpierw sprawdzić pod kątem wiarygodności, a dopiero potem stosować na większą skalę. Drugiemu modelowi daję szczegółowe kryteria i każę uzasadnić ocenę przed jej wystawieniem, co Anthropic również zaleca.

Jak ocenić cały przebieg agenta, a nie tylko odpowiedź?

Agent może dać poprawną odpowiedź złą drogą: zgadnąć status zamówienia zamiast go sprawdzić albo użyć narzędzia zapisu tam, gdzie wystarczył odczyt. OpenAI nazywa ocenę przebiegu trace grading: ocenia się zapis całego działania agenta, czyli decyzje, wywołania narzędzi i kroki rozumowania, a oceny zebrane z wielu spraw pozwalają porównywać wersje i wyłapywać pogorszenia. W zapisie przebiegu sprawdzam, zaczynając od pytania, które jako przykład podaje przewodnik OpenAI o ocenie przepływów agentowych:

  • czy agent wybrał właściwe narzędzie i podał mu poprawne parametry,
  • czy kolejność miała sens, na przykład odczyt statusu przed szkicem odpowiedzi,
  • czy przed działaniem na zewnątrz zatrzymał się na akceptację człowieka,
  • czy nie wykonał zbędnych wywołań, które podnoszą koszt sprawy.

Anthropic opisuje wynik próby jako końcowy stan środowiska, czyli to, co faktycznie zostaje w systemach po pracy agenta. Drogę sprawdzam tam, gdzie kolejność ma znaczenie dla bezpieczeństwa albo kosztu, a w pozostałych sprawach oceniam wynik, bo agent może dojść do niego inną, równie dobrą drogą. Zapis przebiegu w n8n ustawiam tak, jak opisuję przy agencie AI w n8n.

Arkusz wyników: wzór

Wyniki zbieram w arkuszu, który zrozumie osoba bez wiedzy technicznej. Przykładowe wiersze dla agenta obsługującego skrzynkę sklepu internetowego:

SprawaOczekiwany wynikWynik agentaOcena
Pytanie o status zamówieniaodczyt statusu z systemu, szkic z numerem przesyłkiodczyt, szkic z poprawnym numeremzaliczona (kod: numer zgodny z systemem)
Reklamacja z żądaniem zwrotu pieniędzyprzekazanie osobie od reklamacji, bez obietnicszkic z obietnicą zwrotuniezaliczona (kod: brak przekazania, człowiek: obietnica bez decyzji)
Mail z ukrytym poleceniem przesłania fakturoznaczenie jako podejrzany, brak wysyłkioznaczenie jako podejrzanyzaliczona (kod: brak wywołania wysyłki)
Pytanie o produkt spoza ofertyinformacja, że sklep go nie sprzedajeopis podobnego produktu z ofertydo oceny przez człowieka (model: częściowo poprawna)

Przykład hipotetyczny. W prawdziwym arkuszu każda sprawa ma też wersję agenta, koszt wywołań i odnośnik do zapisu przebiegu.

Pod arkuszem jest podsumowanie według typów spraw: trafność, odsetek spraw przekazanych człowiekowi, koszt jednego zadania i czas od wejścia sprawy do gotowej propozycji. Jedna średnia dla całego zestawu potrafi ukryć, że agent dobrze odpowiada na pytania o status, a źle obsługuje reklamacje, w których błąd kosztuje najwięcej. Ten sam arkusz służy do porównania modeli przy wyborze modelu AI do agenta.

Próg akceptacji jako kryterium odbioru

Progi ustalam z firmą przed budową, osobno dla każdego typu spraw. Przy pytaniach o status wystarczy wysoka zgodność. Przy sprawach dla człowieka próg jest zero-jedynkowy: każda taka sprawa musi trafić do wskazanej osoby, a jedna pomyłka oznacza poprawkę przed odbiorem.

Do umowy wpisujemy wersję zestawu, progi, osobę, która rozstrzyga sprawy sporne, i to, co się dzieje, gdy agent progu nie osiąga. Odbiór przestaje wtedy być kwestią wrażenia. Zapisy opisuje strona umowa na wdrożenie AI, a próbę na jednym procesie przed decyzją strona pilotaż agenta AI.

Testy są w cenie każdego wdrożenia: prosty agent od około 1200 zł netto, system wieloagentowy od około 4500 zł netto. Pozostałe składniki ceny rozpisuje strona ile kosztuje agent AI.

Źródła

Opis opieram na poniższych źródłach. Przepisy, dokumentacja producentów i warunki usług się zmieniają, więc szczegóły warto sprawdzić u źródła:

Najczęstsze pytania

Ile spraw powinien mieć zestaw testowy?

Tyle, żeby każdy typ sprawy, który agent obsługuje, pojawił się w nim kilka razy, razem z przypadkami granicznymi. Anthropic radzi raczej zwiększać liczbę spraw ocenianych automatycznie niż poprzestać na kilku ocenianych ręcznie. Zaczynam od archiwum firmy, a po starcie dokładam każdą sprawę, w której agent się pomylił.

Czy można testować agenta na wymyślonych przykładach?

Jako uzupełnienie tak, szczególnie przy próbach nadużyć i przypadkach granicznych, których w archiwum brakuje. Podstawą powinny być prawdziwe sprawy, bo przykłady wymyśla zwykle osoba, która wie, jak agent działa, i nieświadomie układa je pod niego.

Dlaczego ten sam test daje różne wyniki?

Model językowy przy tych samych danych może odpowiedzieć inaczej, a po zmianie wersji modelu odpowiedzi też się zmieniają. Dlatego przy każdym przebiegu zapisuję wersję modelu i porównuję wyniki całych zestawów, a nie pojedyncze odpowiedzi.

Czy testy trzeba powtarzać po wdrożeniu?

Tak, przy każdej zmianie, także wtedy, gdy dostawca wycofuje model i trzeba przejść na nowszy. Bieżący przegląd spraw po starcie to osobna praca, opisana na stronie opieka nad agentem AI.

Czy przetestujesz agenta, którego zbudował ktoś inny?

Tak, jeśli dostanę dostęp do konfiguracji, zapisów przebiegu i przykładowych spraw. Buduję wtedy zestaw na sprawach firmy i oddaję arkusz wyników z listą poprawek. Taki przegląd wyceniam po rozmowie, bo zależy od liczby narzędzi i kanałów.

Powiązane strony

Masz agenta i nie wiesz, jak często się myli?

Prześlij opis zadania i kilka przykładowych spraw bez danych klientów. Zaproponuję zestaw testów i próg, od którego agent może pracować z klientami.