Przejdź do treści

Opieka nad agentem AI po wdrożeniu: monitoring, testy i wymiana modelu

Agent AI potrafi działać coraz gorzej, choć nikt nie zmienił w nim ani linijki. Dostawca wycofuje model, firma zmienia cennik, klienci zaczynają pytać o nowy produkt. Opieka polega na tym, żeby zobaczyć te zmiany w liczbach, zanim zobaczy je klient.

Autor: Szymon Łakomy. Aktualizacja:

Co psuje się w agencie, choć nikt nie zmienił kodu?

Zwykły program działa tak samo, dopóki ktoś go nie zmieni. Agent AI zależy od rzeczy, które zmieniają się bez udziału programisty, i to ich pilnuję w pierwszej kolejności:

Co się zmieniaJak to wygląda w pracy agentaCo robię
Model u dostawcymodel zostaje wycofany i wywołania kończą się błędem albo nowsza wersja odpowiada inaczej niż poprzedniaw konfiguracji podaję konkretną wersję modelu, a przejście planuję przed datą wyłączenia
Dane źródłowenowy cennik albo regulamin, a agent cytuje stare kwoty z bazy wiedzywymieniam dokumenty, usuwam stare wersje i pytam agenta o zmienione tematy
Rodzaje sprawklienci pytają o nowy produkt, a agent zgaduje albo oddaje człowiekowi wszystko po koleidopisuję nowe sprawy do zestawu testów i uzupełniam instrukcje
Długość rozmówhistoria wątku i pamięć rosną, więc każde wywołanie wysyła więcej tokenówskracam kontekst, streszczam starsze wiadomości, ustawiam limit długości
Systemy firmynowe pole w CRM, zmienione API sklepu, wygasły token dostępupoprawiam narzędzie agenta i sprawdzam jego uprawnienia
Ludzie i dostępyosoba zatwierdzająca odchodzi, a klucz agenta był na jej koncieprzenoszę dostęp na konto techniczne i aktualizuję listę osób zatwierdzających

Po czym poznać, że agent potrzebuje reakcji?

Nie czekam na skargę klienta. Śledzę kilka liczb, a progi alarmowe ustalam na podstawie pilotażu i pierwszych tygodni pracy, bo każdy proces ma inny normalny poziom.

SygnałCo zwykle oznaczaPierwszy krok
gorszy wynik zestawu testów po zmianiezmiana pomogła jednemu typowi spraw kosztem innegocofam zmianę i czytam sprawy niezaliczone
rosnący koszt jednej sprawydłuższy kontekst, powtarzane wywołania narzędzi albo droższy modelprzeglądam przebiegi z najwyższym kosztem
więcej spraw oddanych człowiekowinowy typ spraw albo luka w bazie wiedzyczytam oddane sprawy i uzupełniam źródła
więcej poprawek przy zatwierdzaniuinstrukcje nie nadążają za tym, jak dziś pracuje zespółrozmawiam z osobą zatwierdzającą i zmieniam instrukcje po testach
błędy narzędzi i odrzucone zapytaniawygasły klucz, zmiana API albo limit zapytań u dostawcypoprawiam konfigurację i ponawiam sprawy, które utknęły

Koszt sprawy liczę z zapisów przebiegu. Narzędzia do obserwacji, takie jak Langfuse, zapisują zużycie tokenów i koszt przy każdym wywołaniu modelu, więc widać, który krok kosztował najwięcej. Sam zestaw testów i sposób oceny opisuje strona testowanie agentów AI.

Jak przechodzę na nowy model, gdy dostawca wycofuje stary?

OpenAI i Anthropic prowadzą w dokumentacji strony z wycofaniami. Przy wycofywanych modelach podają datę wyłączenia i zalecany zamiennik, a w opisie zasad minimalny czas uprzedzenia. OpenAI daje co najmniej sześć miesięcy przy modelach ogólnie dostępnych i trzy miesiące przy ich wyspecjalizowanych wariantach, chyba że szybszego wycofania wymaga bezpieczeństwo albo zgodność z przepisami. Modele w wersji podglądowej może wycofać ze znacznie krótszym uprzedzeniem, na przykład dwutygodniowym, dlatego w agentach pracujących z klientami ich unikam. Anthropic powiadamia klientów, którzy korzystają z publicznie dostępnego modelu, co najmniej 60 dni przed jego wyłączeniem. Na przykład 30 września 2026 oznaczył Claude Sonnet 4.5 jako wycofywany, wyłączenie wyznaczył na 30 listopada 2026, a jako następcę wskazał Claude Sonnet 5.5. Przejście robię w pięciu krokach:

  1. Co miesiąc porównuję modele używane przez każdego agenta z zapowiedziami wycofań, zamiast czekać na mail od dostawcy. Gdy model działa w Azure, Amazon Bedrock albo Vertex AI, jak w konfiguracjach opisanych przy modelach AI z danymi w UE, sprawdzam też daty wycofań podane przez tę platformę.
  2. Uruchamiam zestaw testów na zalecanym następcy, czasem też na modelu innego dostawcy, i porównuję wynik oraz koszt jednej sprawy.
  3. Poprawiam instrukcje, jeśli nowy model pisze dłużej, inaczej formatuje odpowiedź albo częściej sięga po narzędzia, i powtarzam testy.
  4. Przełączam agenta z możliwością szybkiego powrotu do poprzedniej konfiguracji, a przez pierwsze dni przeglądam więcej spraw niż zwykle.
  5. Zapisuję w dzienniku zmian wersję modelu, wynik testów i koszt sprawy przed zmianą i po niej.

Gdy wybór następcy nie jest oczywisty, porównuję kandydatów tak, jak opisuję przy wyborze modelu AI do agenta. Nowy model ma własny cennik, więc miesięczny koszt szacuję jeszcze przed przełączeniem.

Kto zatwierdza zmiany w agencie

  • Instrukcje i narzędzia. Zmianę przygotowuję i testuję ja, a wdrożenie zatwierdza osoba odpowiedzialna za proces, po obejrzeniu wyników testów.
  • Baza wiedzy. Dokumenty dostarcza osoba, która odpowiada za ich treść, na przykład cennik dział sprzedaży. Ja je wgrywam i sprawdzam odpowiedzi.
  • Model. O zmianie decyduje właściciel na podstawie porównania jakości i kosztu. Gdy dostawca wyłącza model, decyzja dotyczy już tylko wyboru następcy.
  • Uprawnienia. Nowe narzędzie albo szerszy dostęp agenta wymaga zgody właściciela. Zasady opisuje strona bezpieczeństwo agentów AI.

Gdy agent zaczyna szkodzić, wyłączam go albo odbieram mu prawo zapisu bez czekania na zgodę, a sprawy wracają do ludzi. To uprawnienie i czas reakcji zapisujemy w umowie, którą opisuje strona umowa na wdrożenie AI. Czasu reakcji nie podaję z góry, bo zależy od tego, jak bardzo firma polega na agencie.

Co jest w miesięcznym raporcie?

  • Ruch: liczba spraw według typów i liczba oddanych człowiekowi, w porównaniu z poprzednim miesiącem.
  • Koszt: rachunek u dostawcy modelu, koszt jednej sprawy i najdroższe sprawy z przyczyną.
  • Jakość: wynik przeglądu losowej próbki odpowiedzi i błędy, które się powtarzają.
  • Zmiany: co zmieniłem w instrukcjach, narzędziach, bazie wiedzy i modelu, z wynikiem testów.
  • Na kolejny miesiąc: zapowiedziane wycofania modeli, wygasające klucze i dokumenty do odświeżenia.

Raport piszę dla właściciela, nie dla programisty: kilka liczb, krótkie wnioski i decyzje do podjęcia.

Ile kosztuje opieka nad agentem AI?

Na opiekę nad agentem nie mam pozycji w cenniku, więc wyceniam ją po rozmowie. O kwocie decydują liczba agentów i kanałów, liczba spraw w miesiącu i to, jak często zmienia się baza wiedzy. Opłaty za model firma płaci dostawcy ze swojego konta, a ceny wdrożeń zebrałem na stronie ile kosztuje agent AI.

Agent rzadko działa sam. Gdy pracuje w przepływach n8n albo Make, łączę tę usługę z opieką nad automatyzacjami, a gdy jest częścią aplikacji, z utrzymaniem aplikacji webowej. Agenta po innym wykonawcy przejmuję po przeglądzie kont, instrukcji i logów oraz po zbudowaniu zestawu testów, bo bez niego nie da się ocenić żadnej zmiany.

Źródła

Opis opieram na poniższych źródłach. Przepisy, dokumentacja producentów i warunki usług się zmieniają, więc szczegóły warto sprawdzić u źródła:

Najczęstsze pytania

Czy agent, który działa poprawnie, potrzebuje opieki?

Tak, choć zakres może być mały. Zmiany przychodzą z zewnątrz: dostawca wycofuje model, firma zmienia ofertę, rosną koszty. Przy prostym agencie ze stałym procesem wystarcza comiesięczne sprawdzenie kosztów i zapowiedzi wycofań oraz przegląd próbki odpowiedzi raz na kwartał.

Czy nowy model będzie droższy od wycofanego?

Może być droższy albo tańszy. Każdy model ma własny cennik tokenów i inaczej odpowiada: dłużej, krócej, z inną liczbą wywołań narzędzi. Dlatego koszt jednej sprawy porównuję na zestawie testów przed przełączeniem, a miesięczny rachunek szacuję w kalkulatorze kosztów API AI.

Czy opieka obejmuje chatbota na stronie?

Tak. Przy chatbocie odpowiadającym z bazy wiedzy problemem częściej są nieaktualne dokumenty niż sam model. Skąd biorą się zmyślone odpowiedzi, opisuję na stronie halucynacje AI, a o samych chatbotach piszę na stronie chatbot AI dla firm.

Jak aktualizujesz bazę wiedzy asystenta?

Na podstawie dokumentów od osoby, która odpowiada za ich treść. Nowe wersje wgrywam z datą, stare usuwam, a potem zadaję agentowi pytania o zmienione tematy i sprawdzam odpowiedzi. Tak pracuję przy asystencie AI na dokumentach firmy.

Powiązane strony

Masz agenta albo chatbota, którego nikt nie pilnuje?

Napisz, na jakim modelu i w jakim narzędziu działa oraz ile spraw obsługuje. Zacznę od przeglądu kosztów, testów i zapowiedzi wycofań, a potem zaproponuję zakres opieki.