Opieka nad agentem AI po wdrożeniu: monitoring, testy i wymiana modelu
Agent AI potrafi działać coraz gorzej, choć nikt nie zmienił w nim ani linijki. Dostawca wycofuje model, firma zmienia cennik, klienci zaczynają pytać o nowy produkt. Opieka polega na tym, żeby zobaczyć te zmiany w liczbach, zanim zobaczy je klient.
Autor: Szymon Łakomy. Aktualizacja:
Co psuje się w agencie, choć nikt nie zmienił kodu?
Zwykły program działa tak samo, dopóki ktoś go nie zmieni. Agent AI zależy od rzeczy, które zmieniają się bez udziału programisty, i to ich pilnuję w pierwszej kolejności:
| Co się zmienia | Jak to wygląda w pracy agenta | Co robię |
|---|---|---|
| Model u dostawcy | model zostaje wycofany i wywołania kończą się błędem albo nowsza wersja odpowiada inaczej niż poprzednia | w konfiguracji podaję konkretną wersję modelu, a przejście planuję przed datą wyłączenia |
| Dane źródłowe | nowy cennik albo regulamin, a agent cytuje stare kwoty z bazy wiedzy | wymieniam dokumenty, usuwam stare wersje i pytam agenta o zmienione tematy |
| Rodzaje spraw | klienci pytają o nowy produkt, a agent zgaduje albo oddaje człowiekowi wszystko po kolei | dopisuję nowe sprawy do zestawu testów i uzupełniam instrukcje |
| Długość rozmów | historia wątku i pamięć rosną, więc każde wywołanie wysyła więcej tokenów | skracam kontekst, streszczam starsze wiadomości, ustawiam limit długości |
| Systemy firmy | nowe pole w CRM, zmienione API sklepu, wygasły token dostępu | poprawiam narzędzie agenta i sprawdzam jego uprawnienia |
| Ludzie i dostępy | osoba zatwierdzająca odchodzi, a klucz agenta był na jej koncie | przenoszę dostęp na konto techniczne i aktualizuję listę osób zatwierdzających |
Po czym poznać, że agent potrzebuje reakcji?
Nie czekam na skargę klienta. Śledzę kilka liczb, a progi alarmowe ustalam na podstawie pilotażu i pierwszych tygodni pracy, bo każdy proces ma inny normalny poziom.
| Sygnał | Co zwykle oznacza | Pierwszy krok |
|---|---|---|
| gorszy wynik zestawu testów po zmianie | zmiana pomogła jednemu typowi spraw kosztem innego | cofam zmianę i czytam sprawy niezaliczone |
| rosnący koszt jednej sprawy | dłuższy kontekst, powtarzane wywołania narzędzi albo droższy model | przeglądam przebiegi z najwyższym kosztem |
| więcej spraw oddanych człowiekowi | nowy typ spraw albo luka w bazie wiedzy | czytam oddane sprawy i uzupełniam źródła |
| więcej poprawek przy zatwierdzaniu | instrukcje nie nadążają za tym, jak dziś pracuje zespół | rozmawiam z osobą zatwierdzającą i zmieniam instrukcje po testach |
| błędy narzędzi i odrzucone zapytania | wygasły klucz, zmiana API albo limit zapytań u dostawcy | poprawiam konfigurację i ponawiam sprawy, które utknęły |
Koszt sprawy liczę z zapisów przebiegu. Narzędzia do obserwacji, takie jak Langfuse, zapisują zużycie tokenów i koszt przy każdym wywołaniu modelu, więc widać, który krok kosztował najwięcej. Sam zestaw testów i sposób oceny opisuje strona testowanie agentów AI.
Jak przechodzę na nowy model, gdy dostawca wycofuje stary?
OpenAI i Anthropic prowadzą w dokumentacji strony z wycofaniami. Przy wycofywanych modelach podają datę wyłączenia i zalecany zamiennik, a w opisie zasad minimalny czas uprzedzenia. OpenAI daje co najmniej sześć miesięcy przy modelach ogólnie dostępnych i trzy miesiące przy ich wyspecjalizowanych wariantach, chyba że szybszego wycofania wymaga bezpieczeństwo albo zgodność z przepisami. Modele w wersji podglądowej może wycofać ze znacznie krótszym uprzedzeniem, na przykład dwutygodniowym, dlatego w agentach pracujących z klientami ich unikam. Anthropic powiadamia klientów, którzy korzystają z publicznie dostępnego modelu, co najmniej 60 dni przed jego wyłączeniem. Na przykład 30 września 2026 oznaczył Claude Sonnet 4.5 jako wycofywany, wyłączenie wyznaczył na 30 listopada 2026, a jako następcę wskazał Claude Sonnet 5.5. Przejście robię w pięciu krokach:
- Co miesiąc porównuję modele używane przez każdego agenta z zapowiedziami wycofań, zamiast czekać na mail od dostawcy. Gdy model działa w Azure, Amazon Bedrock albo Vertex AI, jak w konfiguracjach opisanych przy modelach AI z danymi w UE, sprawdzam też daty wycofań podane przez tę platformę.
- Uruchamiam zestaw testów na zalecanym następcy, czasem też na modelu innego dostawcy, i porównuję wynik oraz koszt jednej sprawy.
- Poprawiam instrukcje, jeśli nowy model pisze dłużej, inaczej formatuje odpowiedź albo częściej sięga po narzędzia, i powtarzam testy.
- Przełączam agenta z możliwością szybkiego powrotu do poprzedniej konfiguracji, a przez pierwsze dni przeglądam więcej spraw niż zwykle.
- Zapisuję w dzienniku zmian wersję modelu, wynik testów i koszt sprawy przed zmianą i po niej.
Gdy wybór następcy nie jest oczywisty, porównuję kandydatów tak, jak opisuję przy wyborze modelu AI do agenta. Nowy model ma własny cennik, więc miesięczny koszt szacuję jeszcze przed przełączeniem.
Kto zatwierdza zmiany w agencie
- Instrukcje i narzędzia. Zmianę przygotowuję i testuję ja, a wdrożenie zatwierdza osoba odpowiedzialna za proces, po obejrzeniu wyników testów.
- Baza wiedzy. Dokumenty dostarcza osoba, która odpowiada za ich treść, na przykład cennik dział sprzedaży. Ja je wgrywam i sprawdzam odpowiedzi.
- Model. O zmianie decyduje właściciel na podstawie porównania jakości i kosztu. Gdy dostawca wyłącza model, decyzja dotyczy już tylko wyboru następcy.
- Uprawnienia. Nowe narzędzie albo szerszy dostęp agenta wymaga zgody właściciela. Zasady opisuje strona bezpieczeństwo agentów AI.
Gdy agent zaczyna szkodzić, wyłączam go albo odbieram mu prawo zapisu bez czekania na zgodę, a sprawy wracają do ludzi. To uprawnienie i czas reakcji zapisujemy w umowie, którą opisuje strona umowa na wdrożenie AI. Czasu reakcji nie podaję z góry, bo zależy od tego, jak bardzo firma polega na agencie.
Co jest w miesięcznym raporcie?
- Ruch: liczba spraw według typów i liczba oddanych człowiekowi, w porównaniu z poprzednim miesiącem.
- Koszt: rachunek u dostawcy modelu, koszt jednej sprawy i najdroższe sprawy z przyczyną.
- Jakość: wynik przeglądu losowej próbki odpowiedzi i błędy, które się powtarzają.
- Zmiany: co zmieniłem w instrukcjach, narzędziach, bazie wiedzy i modelu, z wynikiem testów.
- Na kolejny miesiąc: zapowiedziane wycofania modeli, wygasające klucze i dokumenty do odświeżenia.
Raport piszę dla właściciela, nie dla programisty: kilka liczb, krótkie wnioski i decyzje do podjęcia.
Ile kosztuje opieka nad agentem AI?
Na opiekę nad agentem nie mam pozycji w cenniku, więc wyceniam ją po rozmowie. O kwocie decydują liczba agentów i kanałów, liczba spraw w miesiącu i to, jak często zmienia się baza wiedzy. Opłaty za model firma płaci dostawcy ze swojego konta, a ceny wdrożeń zebrałem na stronie ile kosztuje agent AI.
Agent rzadko działa sam. Gdy pracuje w przepływach n8n albo Make, łączę tę usługę z opieką nad automatyzacjami, a gdy jest częścią aplikacji, z utrzymaniem aplikacji webowej. Agenta po innym wykonawcy przejmuję po przeglądzie kont, instrukcji i logów oraz po zbudowaniu zestawu testów, bo bez niego nie da się ocenić żadnej zmiany.
Źródła
Opis opieram na poniższych źródłach. Przepisy, dokumentacja producentów i warunki usług się zmieniają, więc szczegóły warto sprawdzić u źródła:
- Deprecations (OpenAI)
- Model deprecations (Anthropic)
- Token & Cost Tracking (Langfuse)
Najczęstsze pytania
Czy agent, który działa poprawnie, potrzebuje opieki?
Tak, choć zakres może być mały. Zmiany przychodzą z zewnątrz: dostawca wycofuje model, firma zmienia ofertę, rosną koszty. Przy prostym agencie ze stałym procesem wystarcza comiesięczne sprawdzenie kosztów i zapowiedzi wycofań oraz przegląd próbki odpowiedzi raz na kwartał.
Czy nowy model będzie droższy od wycofanego?
Może być droższy albo tańszy. Każdy model ma własny cennik tokenów i inaczej odpowiada: dłużej, krócej, z inną liczbą wywołań narzędzi. Dlatego koszt jednej sprawy porównuję na zestawie testów przed przełączeniem, a miesięczny rachunek szacuję w kalkulatorze kosztów API AI.
Czy opieka obejmuje chatbota na stronie?
Tak. Przy chatbocie odpowiadającym z bazy wiedzy problemem częściej są nieaktualne dokumenty niż sam model. Skąd biorą się zmyślone odpowiedzi, opisuję na stronie halucynacje AI, a o samych chatbotach piszę na stronie chatbot AI dla firm.
Jak aktualizujesz bazę wiedzy asystenta?
Na podstawie dokumentów od osoby, która odpowiada za ich treść. Nowe wersje wgrywam z datą, stare usuwam, a potem zadaję agentowi pytania o zmienione tematy i sprawdzam odpowiedzi. Tak pracuję przy asystencie AI na dokumentach firmy.
Powiązane strony
Masz agenta albo chatbota, którego nikt nie pilnuje?
Napisz, na jakim modelu i w jakim narzędziu działa oraz ile spraw obsługuje. Zacznę od przeglądu kosztów, testów i zapowiedzi wycofań, a potem zaproponuję zakres opieki.