---
title: "Testowanie agentów AI: zestaw testów przed wdrożeniem"
url: "https://szymonlakomy.pl/testowanie-agentow-ai"
description: "Testowanie agentów AI przed wdrożeniem: prawdziwe sprawy z firmy, ocena kodem, drugim modelem i przez człowieka oraz próg akceptacji jako warunek odbioru."
updated: "2026-11-12"
author: "Szymon Łakomy"
language: "pl"
---

[Strona główna](https://szymonlakomy.pl/) [Agenci AI dla firm](https://szymonlakomy.pl/agenci-ai) Testowanie agentów AI

# Testowanie agentów AI na sprawach z historii firmy, zanim dostaną dostęp do klientów

Agent, który dobrze wypadł na trzech przykładach z prezentacji, potrafi pomylić się przy czwartej, prawdziwej sprawie. Opisuję, jak buduję zestaw testów z historii firmy, jak oceniam wyniki i jak test staje się warunkiem odbioru wdrożenia.

Autor: [Szymon Łakomy](https://szymonlakomy.pl/o-mnie). Aktualizacja: 12 listopada 2026

Agenta AI testuję przed wdrożeniem na **zestawie prawdziwych spraw z historii firmy**, przy każdej z zapisanym poprawnym wynikiem. Oceniam kodem, drugim modelem i ręcznie przy sprawach spornych, a zestaw powtarzam po każdej zmianie promptu, modelu albo narzędzi. Próg zaliczenia wpisujemy do umowy jako warunek odbioru. Testy są w cenie wdrożenia: prosty agent od około 1200 zł netto, system wieloagentowy od około 4500 zł netto.

## Jak sprawdzić, czy agent AI działa poprawnie, zanim trafi do klientów?

Test agenta to cztery rzeczy zapisane przed budową: lista spraw, oczekiwany wynik przy każdej z nich, sposób oceny i próg, od którego agent może pracować z klientami. Brzmi jak zwykłe testy oprogramowania, ale model językowy nie odpowiada za każdym razem tak samo, więc sprawy, w których błąd jest groźny, uruchamiam kilka razy i liczę, ile razy agent poradził sobie dobrze.

Zestaw nie jest jednorazowy: wraca przy nowej wersji instrukcji, innym modelu, dodatkowym narzędziu i zmianach w bazie wiedzy. O zmyślonych odpowiedziach modeli piszę osobno na stronie [halucynacje AI](https://szymonlakomy.pl/halucynacje-ai). Takim samym zestawem sprawdzam też krok wykonywany przez model w [aplikacji AI na zamówienie](https://szymonlakomy.pl/aplikacja-ai-na-zamowienie).

## Z czego składa się zestaw testowy

Zestaw buduję ze spraw zakończonych, w których wiadomo, jak powinny się skończyć. Dane klientów anonimizuję albo zastępuję fikcyjnymi, zanim trafią do narzędzi testowych.

Typowe sprawy

Najczęstsze rodzaje spraw w proporcjach zbliżonych do archiwum. Jeśli połowa maili to pytania o status zamówienia, w zestawie też powinno ich być dużo.

Przypadki graniczne

Brak danych, bardzo długi wątek, dwa pytania w jednej wiadomości, nieczytelny załącznik, sprawa niejasna nawet dla człowieka. Tu agent łatwo zgaduje, zamiast dopytać.

Próby nadużyć

Wiadomości z ukrytym poleceniem, prośby o dane innego klienta, nacisk na obietnicę rabatu. Obronę przed takimi treściami opisuję na stronie [prompt injection](https://szymonlakomy.pl/prompt-injection).

Sprawy dla człowieka

Reklamacje z żądaniem zwrotu pieniędzy, groźby, sprawy prawne. Oczekiwany wynik to przekazanie sprawy wskazanej osobie, a nie odpowiedź agenta.

Przy każdej sprawie zapisuję oczekiwany wynik tak, żeby dało się go sprawdzić: kategorię, wartości pól, narzędzie, które agent ma wywołać, albo informację, że ma się zatrzymać. Opis „dobra odpowiedź” nie wystarczy.

## Trzy sposoby oceny wyników

Anthropic w dokumentacji o budowie testów opisuje trzy sposoby oceny i ich słabości, a w tekście o ocenie agentów pisze, że takie testy zwykle łączą wszystkie trzy. Każdego używam do innej części wyniku.

| Sposób | Co sprawdza | Ograniczenie |
| --- | --- | --- |
| Kod | format odpowiedzi, wymagane pola, kwoty i numery zgodne z systemem, brak wywołań zakazanych narzędzi | nie oceni tonu ani tego, czy odpowiedź pomogła klientowi |
| Drugi model z kryteriami oceny | kompletność, zgodność z dokumentem źródłowym, ton wobec klienta | też się myli, więc zanim mu zaufam, porównuję jego oceny z ocenami człowieka na tych samych sprawach |
| Człowiek | sprawy sporne, przypadki, w których kod i model dają różne oceny, losowa próbka | wolny i drogi, więc nie oceniam tak całego zestawu |

Dokumentacja Anthropic dodaje, że ocenę przez model trzeba najpierw sprawdzić pod kątem wiarygodności, a dopiero potem stosować na większą skalę. Drugiemu modelowi daję szczegółowe kryteria i każę uzasadnić ocenę przed jej wystawieniem, co Anthropic również zaleca.

## Jak ocenić cały przebieg agenta, a nie tylko odpowiedź?

Agent może dać poprawną odpowiedź złą drogą: zgadnąć status zamówienia zamiast go sprawdzić albo użyć narzędzia zapisu tam, gdzie wystarczył odczyt. OpenAI nazywa ocenę przebiegu trace grading: ocenia się zapis całego działania agenta, czyli decyzje, wywołania narzędzi i kroki rozumowania, a oceny zebrane z wielu spraw pozwalają porównywać wersje i wyłapywać pogorszenia. W zapisie przebiegu sprawdzam, zaczynając od pytania, które jako przykład podaje przewodnik OpenAI o ocenie przepływów agentowych:

- czy agent wybrał właściwe narzędzie i podał mu poprawne parametry,
- czy kolejność miała sens, na przykład odczyt statusu przed szkicem odpowiedzi,
- czy przed działaniem na zewnątrz zatrzymał się na akceptację człowieka,
- czy nie wykonał zbędnych wywołań, które podnoszą koszt sprawy.

Anthropic opisuje wynik próby jako końcowy stan środowiska, czyli to, co faktycznie zostaje w systemach po pracy agenta. Drogę sprawdzam tam, gdzie kolejność ma znaczenie dla bezpieczeństwa albo kosztu, a w pozostałych sprawach oceniam wynik, bo agent może dojść do niego inną, równie dobrą drogą. Zapis przebiegu w n8n ustawiam tak, jak opisuję przy [agencie AI w n8n](https://szymonlakomy.pl/agent-ai-w-n8n).

## Arkusz wyników: wzór

Wyniki zbieram w arkuszu, który zrozumie osoba bez wiedzy technicznej. Przykładowe wiersze dla [agenta obsługującego skrzynkę](https://szymonlakomy.pl/agent-ai-do-skrzynki-mailowej) sklepu internetowego:

| Sprawa | Oczekiwany wynik | Wynik agenta | Ocena |
| --- | --- | --- | --- |
| Pytanie o status zamówienia | odczyt statusu z systemu, szkic z numerem przesyłki | odczyt, szkic z poprawnym numerem | zaliczona (kod: numer zgodny z systemem) |
| Reklamacja z żądaniem zwrotu pieniędzy | przekazanie osobie od reklamacji, bez obietnic | szkic z obietnicą zwrotu | niezaliczona (kod: brak przekazania, człowiek: obietnica bez decyzji) |
| Mail z ukrytym poleceniem przesłania faktur | oznaczenie jako podejrzany, brak wysyłki | oznaczenie jako podejrzany | zaliczona (kod: brak wywołania wysyłki) |
| Pytanie o produkt spoza oferty | informacja, że sklep go nie sprzedaje | opis podobnego produktu z oferty | do oceny przez człowieka (model: częściowo poprawna) |

Przykład hipotetyczny. W prawdziwym arkuszu każda sprawa ma też wersję agenta, koszt wywołań i odnośnik do zapisu przebiegu.

Pod arkuszem jest podsumowanie według typów spraw: trafność, odsetek spraw przekazanych człowiekowi, koszt jednego zadania i czas od wejścia sprawy do gotowej propozycji. Jedna średnia dla całego zestawu potrafi ukryć, że agent dobrze odpowiada na pytania o status, a źle obsługuje reklamacje, w których błąd kosztuje najwięcej. Ten sam arkusz służy do porównania modeli przy [wyborze modelu AI do agenta](https://szymonlakomy.pl/wybor-modelu-ai-do-agenta).

## Próg akceptacji jako kryterium odbioru

Progi ustalam z firmą przed budową, osobno dla każdego typu spraw. Przy pytaniach o status wystarczy wysoka zgodność. Przy sprawach dla człowieka próg jest zero-jedynkowy: każda taka sprawa musi trafić do wskazanej osoby, a jedna pomyłka oznacza poprawkę przed odbiorem.

Do umowy wpisujemy wersję zestawu, progi, osobę, która rozstrzyga sprawy sporne, i to, co się dzieje, gdy agent progu nie osiąga. Odbiór przestaje wtedy być kwestią wrażenia. Zapisy opisuje strona [umowa na wdrożenie AI](https://szymonlakomy.pl/umowa-na-wdrozenie-ai), a próbę na jednym procesie przed decyzją strona [pilotaż agenta AI](https://szymonlakomy.pl/pilotaz-agenta-ai).

Testy są w cenie każdego wdrożenia: prosty agent od około 1200 zł netto, system wieloagentowy od około 4500 zł netto. Pozostałe składniki ceny rozpisuje strona [ile kosztuje agent AI](https://szymonlakomy.pl/ile-kosztuje-agent-ai).

## Źródła

Opis opieram na poniższych źródłach. Przepisy, dokumentacja producentów i warunki usług się zmieniają, więc szczegóły warto sprawdzić u źródła:

- [Evaluate agent workflows](https://developers.openai.com/api/docs/guides/agent-evals/) (OpenAI)
- [Trace grading](https://developers.openai.com/api/docs/guides/trace-grading) (OpenAI)
- [Define success criteria and build evaluations](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests) (Anthropic)
- [Demystifying evals for AI agents](https://www.anthropic.com/research/demystifying-evals-for-ai-agents) (Anthropic)

## Najczęstsze pytania

### Ile spraw powinien mieć zestaw testowy?

Tyle, żeby każdy typ sprawy, który agent obsługuje, pojawił się w nim kilka razy, razem z przypadkami granicznymi. Anthropic radzi raczej zwiększać liczbę spraw ocenianych automatycznie niż poprzestać na kilku ocenianych ręcznie. Zaczynam od archiwum firmy, a po starcie dokładam każdą sprawę, w której agent się pomylił.

### Czy można testować agenta na wymyślonych przykładach?

Jako uzupełnienie tak, szczególnie przy próbach nadużyć i przypadkach granicznych, których w archiwum brakuje. Podstawą powinny być prawdziwe sprawy, bo przykłady wymyśla zwykle osoba, która wie, jak agent działa, i nieświadomie układa je pod niego.

### Dlaczego ten sam test daje różne wyniki?

Model językowy przy tych samych danych może odpowiedzieć inaczej, a po zmianie wersji modelu odpowiedzi też się zmieniają. Dlatego przy każdym przebiegu zapisuję wersję modelu i porównuję wyniki całych zestawów, a nie pojedyncze odpowiedzi.

### Czy testy trzeba powtarzać po wdrożeniu?

Tak, przy każdej zmianie, także wtedy, gdy dostawca wycofuje model i trzeba przejść na nowszy. Bieżący przegląd spraw po starcie to osobna praca, opisana na stronie [opieka nad agentem AI](https://szymonlakomy.pl/opieka-nad-agentem-ai).

### Czy przetestujesz agenta, którego zbudował ktoś inny?

Tak, jeśli dostanę dostęp do konfiguracji, zapisów przebiegu i przykładowych spraw. Buduję wtedy zestaw na sprawach firmy i oddaję arkusz wyników z listą poprawek. Taki przegląd wyceniam po rozmowie, bo zależy od liczby narzędzi i kanałów.

## Powiązane strony

- [Agenci AI dla firm](https://szymonlakomy.pl/agenci-ai)
- [Halucynacje AI](https://szymonlakomy.pl/halucynacje-ai)
- [Prompt injection](https://szymonlakomy.pl/prompt-injection)
- [Pilotaż agenta AI](https://szymonlakomy.pl/pilotaz-agenta-ai)
- [Umowa na wdrożenie AI](https://szymonlakomy.pl/umowa-na-wdrozenie-ai)
- [Opieka nad agentem AI](https://szymonlakomy.pl/opieka-nad-agentem-ai)
- [Agent AI w n8n](https://szymonlakomy.pl/agent-ai-w-n8n)
- [Wybór modelu AI do agenta](https://szymonlakomy.pl/wybor-modelu-ai-do-agenta)

## Masz agenta i nie wiesz, jak często się myli?

Prześlij opis zadania i kilka przykładowych spraw bez danych klientów. Zaproponuję zestaw testów i próg, od którego agent może pracować z klientami.

[Bezpłatna wycena](https://szymonlakomy.pl/kontakt?temat=ai) [697 322 226](tel:697322226) [LinkedIn](https://www.linkedin.com/in/szymon-%C5%82akomy-7a1192361/)
