Pilotaż agenta AI w firmie: sprawdzenie na jednym procesie przed pełnym wdrożeniem
Nie wiesz, czy agent AI poradzi sobie ze sprawami w Twojej firmie? Zamiast zgadywać po prezentacji, uruchamiam go na jednym procesie i porównuję jego propozycje z tym, co robi zespół. Po pilotażu masz wyniki z własnych spraw i jasną decyzję.
Autor: Szymon Łakomy. Aktualizacja:
Czym pilotaż różni się od demo i od wdrożenia
Demo pokazuje, że agent coś potrafi, na przykładach wybranych przez wykonawcę. Wdrożenie oznacza, że agent pracuje codziennie i ma uprawnienia potrzebne do zadania. Pilotaż jest pomiędzy: agent dostaje prawdziwe sprawy firmy, ale żadna jego propozycja nie wychodzi na zewnątrz bez zatwierdzenia, a dostęp ograniczam do odczytu i szkiców.
W podobnym kierunku idą dostawcy modeli. Przewodnik OpenAI o budowie agentów radzi zaczynać od jednego agenta i rozbudowywać go stopniowo, a zabezpieczenia, łącznie z przejęciem sprawy przez człowieka, traktuje jako potrzebne na każdym etapie pracy agenta. Anthropic w tekście o skutecznych agentach pisze, że w zespołach, z którymi pracował, sprawdzały się proste wzorce, a nie rozbudowane frameworki. Pilotaż przenosi tę ostrożność na decyzję w firmie: najpierw jeden proces i zatwierdzanie każdej propozycji, potem szerszy zakres.
Jak wybrać proces do pilotażu agenta AI?
Proces wybieram według czterech cech. Jeśli żaden nie przychodzi do głowy, lepiej zacząć od audytu procesów. Jeśli wszystkie kroki da się opisać regułami, agent nie jest potrzebny, o czym piszę w porównaniu automatyzacja czy agent AI.
| Cecha | Dobry kandydat | Słaby kandydat |
|---|---|---|
| Powtarzalność | dziesiątki podobnych spraw w miesiącu, na przykład pytania o termin dostawy | każda sprawa jest inna, na przykład negocjacje z dużym klientem |
| Historia przypadków | archiwum maili albo zgłoszeń, w którym widać, jak sprawę załatwiono | nowy proces bez zapisanych przykładów |
| Mierzalność | da się jednoznacznie powiedzieć, czy wynik był dobry: właściwa kategoria, zgodna kwota, komplet danych | ocena zależy od gustu, na przykład czy tekst jest „ładny” |
| Koszt błędu | pomyłkę wyłapie człowiek przy zatwierdzaniu, zanim cokolwiek wyjdzie z firmy | błąd od razu kosztuje: płatność, wiążąca oferta, dane wrażliwe |
Przykłady w tabeli są poglądowe. Konkretny proces oceniam na rozmowie.
Dobrze nadają się do tego sortowanie poczty ze szkicami odpowiedzi, opisane przy agencie AI do skrzynki mailowej, oraz ocena zapytań ze strony, jak przy kwalifikacji leadów.
Co przygotowuje firma przed startem
- Przykłady spraw z wynikiem. Zakończone sprawy z archiwum razem z tym, jak je załatwiono. Z nich powstaje zestaw testowy.
- Dostępy testowe. Osobne konto albo klucz dla agenta, z dostępem tylko do tego, czego dotyczy pilotaż. Jak ustawiam takie konta, opisuję przy bezpieczeństwie agentów AI.
- Osoba, która zna proces. Ktoś, kto dziś wykonuje tę pracę, zatwierdza propozycje agenta i oznacza błędy. To dodatkowa praca, więc zakres pilotażu ustalam tak, żeby zespół dał radę ją wykonać.
- Osoba decyzyjna. Właściciel albo kierownik, który przed startem akceptuje kryteria, a na końcu podejmuje decyzję. Bez niej pilotaż kończy się raportem, którego nikt nie czyta.
- Zasady danych. Ustalamy, jakie dane może zobaczyć model, u jakiego dostawcy i w jakim regionie. Możliwości opisuje strona modele AI z danymi w UE.
Opis procesu, narzędzi i uprawnień można przygotować w generatorze specyfikacji agenta AI. Taki dokument wystarcza mi do wyceny pilotażu.
Praca równoległa: agent proponuje, człowiek zatwierdza
- Sprawa trafia do zespołu tak jak dotąd, a agent dostaje jej kopię.
- Agent przygotowuje propozycję: kategorię, szkic odpowiedzi, uzupełnione pola. Niczego nie wysyła i niczego nie zapisuje w systemach.
- Osoba z zespołu widzi propozycję obok sprawy i wybiera: przyjmuję, poprawiam albo odrzucam, z krótkim powodem przy odrzuceniu.
- Każda decyzja trafia do arkusza razem z czasem obsługi i kosztem wywołań modelu.
- Raz w tygodniu przeglądamy odrzucone propozycje. Zmiany w instrukcjach agenta wprowadzam dopiero po sprawdzeniu ich na zestawie testowym, żeby nie zepsuć tego, co działało.
Po czym poznać, że pilotaż się udał?
Kryteria zapisuję przed startem w jednym dokumencie, razem z progami i nazwiskiem osoby, która podejmie decyzję. Anthropic w dokumentacji o ocenie modeli opisuje dobre kryteria jako konkretne, mierzalne i osiągalne, a w większości zastosowań zaleca ocenę według kilku kryteriów naraz. W pilotażu agenta to zwykle cztery miary: trafność na zestawie testowym, czas obsługi jednej sprawy, koszt jednego zadania i odsetek spraw przekazanych człowiekowi. Jak je liczę, opisuje strona testowanie agentów AI.
| Wynik pilotażu | Decyzja | Co dalej |
|---|---|---|
| progi spełnione, zespół przyjmuje większość propozycji bez poprawek | wdrażamy | agent dostaje potrzebne uprawnienia etapami, zaczynając od spraw o najmniejszym ryzyku |
| progi spełnione tylko w części spraw albo błędy powtarzają się w jednym typie | poprawiamy | zawężam zakres albo uzupełniam źródła wiedzy i powtarzam ocenę na tym samym zestawie |
| progi niespełnione albo oszczędność czasu mniejsza niż koszt utrzymania | kończymy | dostajesz raport z przyczynami, a dostępy agenta wyłączam |
Raport końcowy i co zostaje po pilotażu
Raport odpowiada na pytania, które zadałby właściciel: w jakich sprawach agent się sprawdził, gdzie się mylił i dlaczego, ile kosztowało jedno zadanie, ile czasu zespół zyskał albo stracił na zatwierdzaniu i co trzeba zmienić przed wdrożeniem. Pomyłki dzielę na rodzaje: zła kategoria, brakujące dane, informacja zmyślona przez model, o czym piszę przy halucynacjach AI, i sprawa, którą agent powinien był oddać człowiekowi. Przy decyzji „kończymy” raport mówi też, czy przyczyną był proces, dane czy sam model.
Jeśli pilotaż się kończy, firma zachowuje instrukcje agenta, konfigurację przepływu, zestaw testowy i arkusz wyników. Klucze, które agent dostał, unieważniam, a dane testowe usuwam z narzędzi, w których je przetwarzałem. Kto jest właścicielem tych elementów przy pełnym wdrożeniu, warto zapisać w umowie, co opisuję na stronie umowa na wdrożenie AI.
Koszt pilotażu
Pilotaż wyceniam jak prostego agenta AI, od około 1200 zł netto. W cenie jest zestaw testowy, konfiguracja na kontach z ograniczonym zakresem, praca równoległa z zespołem, cotygodniowe przeglądy i raport. Koszt użycia modelu przy swoim wolumenie oszacujesz w kalkulatorze kosztów API AI.
Jeśli docelowo planujesz system wieloagentowy, pilotaż robię na jednym agencie. Pełne zestawienie cen wdrożeń jest na stronie ile kosztuje agent AI.
Źródła
Opis opieram na poniższych źródłach. Przepisy, dokumentacja producentów i warunki usług się zmieniają, więc szczegóły warto sprawdzić u źródła:
- Define success criteria and build evaluations (Anthropic)
- A practical guide to building agents (OpenAI)
- Building effective agents (Anthropic)
Najczęstsze pytania
Ile trwa pilotaż agenta AI?
O długości oceny decyduje przede wszystkim liczba spraw, które muszą przejść przez agenta, żeby wynik był wiarygodny. W planie zapisuję tę liczbę i datę oceny. Przy procesie, w którym sprawy przychodzą codziennie, pilotaż kończy się szybciej niż przy sprawach, które zdarzają się raz w tygodniu.
Czy w pilotażu agent pracuje na prawdziwych danych klientów?
Tak, bo wynik na wymyślonych przykładach niewiele mówi. Agent ma jednak dostęp tylko do wycinka danych, działa w trybie odczytu i szkiców, a dane, których nie potrzebuje do zadania, wycinam przed wysłaniem do modelu. Zasady przetwarzania ustalamy przed startem. To nie jest porada prawna.
Co jeśli pilotaż wypadnie źle?
Kończymy na pilotażu i nie wydajesz pieniędzy na pełne wdrożenie. Dostajesz raport z przyczynami. Czasem wniosek brzmi, że ten sam efekt da zwykła automatyzacja bez AI, która jest tańsza w utrzymaniu.
Czy po udanym pilotażu agenta trzeba budować od nowa?
Nie, bo pilotaż buduję na tych samych narzędziach, na których agent ma pracować później. Przy wdrożeniu rozszerzam uprawnienia, dodaję monitoring i ustalamy, kto zajmuje się agentem po starcie. Ten etap opisuje strona opieka nad agentem AI.
Czy mogę zrobić pilotaż sam, w gotowym narzędziu?
Możesz, jeśli spiszesz kryteria przed startem i będziesz porównywać propozycje agenta z pracą zespołu. Typowy błąd to ocena na kilku przykładach dobranych pod agenta. Jeśli wolisz zlecić pilotaż, typy wykonawców porównuje strona kto wdraża agentów AI.
Powiązane strony
Masz proces, który chcesz sprawdzić na agencie AI?
Opisz go w kilku zdaniach: ile spraw miesięcznie, skąd przychodzą i kto je dziś załatwia. Odpowiem, czy nadaje się na pilotaż, i zaproponuję kryteria oceny.