Integracja ChatGPT API z aplikacją firmową
Podłączenie modelu językowego do aplikacji zajmuje chwilę. Zrobienie tego tak, żeby rachunek był przewidywalny, a pomyłki modelu nie trafiały do klienta, to reszta projektu.
Autor: Szymon Łakomy. Aktualizacja:
Co właściwie podłączamy
ChatGPT na stronie OpenAI to gotowa aplikacja dla ludzi. Do aplikacji firmowej podłącza się API dostawcy modelu: wysyłasz instrukcję i dane, dostajesz odpowiedź. Umowa, warunki dotyczące danych i stawki wynikają z regulaminu dostawcy, więc sprawdzam je w aktualnej dokumentacji, a nie z pamięci. Interfejsy innych dostawców działają podobnie, dlatego piszę kod tak, żeby model dało się wymienić. Ogólne zasady łączenia systemów opisuje strona co to jest integracja API.
Typowe zadania modelu wewnątrz aplikacji firmowej:
- przypisanie zgłoszenia z formularza do kategorii i osoby,
- streszczenie długiej korespondencji w karcie klienta,
- przeniesienie danych z dokumentu lub wiadomości do pól formularza,
- szkic odpowiedzi, który pracownik poprawia i wysyła,
- ujednolicenie opisów albo tłumaczenie treści.
Klucze, uprawnienia i dane
- Klucz tylko na serwerze. Nigdy w kodzie przeglądarki ani aplikacji mobilnej, bo każdy, kto go wyciągnie, wygeneruje rachunek na Twoje konto.
- Osobne klucze. Inny do testów, inny do produkcji, z możliwością szybkiego wyłączenia.
- Minimum danych. Do modelu wysyłam tylko pola potrzebne do zadania. Dane osobowe pomijam lub maskuję, gdy zadanie ich nie wymaga.
- Konto po Twojej stronie. To Ty jesteś stroną umowy z dostawcą i widzisz zużycie na swoim koncie.
- Dziennik wywołań. Zapisuję funkcję, model, zużycie tokenów, czas i wynik każdego zapytania, bez pełnej treści z danymi osobowymi. Logi mają ograniczony czas przechowywania i dostęp tylko dla wskazanych osób.
Zasady dla pracowników, którzy używają ChatGPT ręcznie, opisuje osobna strona: czy można wklejać dane firmy do ChatGPT. Przy danych osobowych architekturę warto skonsultować z prawnikiem lub inspektorem ochrony danych. To nie jest porada prawna.
Koszt zapytań pod kontrolą
Dostawcy rozliczają użycie od ilości przetworzonego tekstu, czyli tokenów, zarówno w pytaniu, jak i w odpowiedzi. Stawki i limity się zmieniają, więc nie zapisuję ich na stałe w dokumentacji i przy każdym projekcie sprawdzam aktualny cennik dostawcy. Rachunek za model płacisz osobno od wdrożenia, a ogólne widełki opisuje strona ile kosztuje agent AI.
Załóżmy, że aplikacja streszcza kilkaset wiadomości dziennie i wpadnie w pętlę błędu. Bez limitu w kilka minut wygeneruje ogromną liczbę zapytań. Dlatego limit wpisuję do kodu, a nie tylko do ustawień konta.
- dzienny i miesięczny limit zużycia w aplikacji oraz na koncie dostawcy,
- krótsze instrukcje, przycinanie historii rozmowy i zapamiętywanie powtarzalnych odpowiedzi,
- tańszy model do prostych zadań, mocniejszy tylko tam, gdzie jakość tego wymaga,
- raport zużycia według funkcji, żeby widać było, która część aplikacji generuje koszt.
Gdy model się pomyli albo nie odpowie
Odpowiedź w złym formacie
Wymagam ustalonej struktury, na przykład listy pól. Niepoprawną odpowiedź ponawiam raz, a potem przekazuję zadanie człowiekowi.
Brak odpowiedzi
Ustalam limit czasu. Użytkownik dostaje komunikat zamiast zawieszonego ekranu, a zadanie czeka w kolejce.
Błąd merytoryczny
Przy ofertach, cenach i zobowiązaniach wobec klienta wynik zatwierdza człowiek. Model przygotowuje, nie decyduje.
Zmiana modelu
Gdy dostawca zmieni lub wycofa model, wymiana to konfiguracja i ponowne testy na Twoich przykładach.
Ta strona dotyczy jednej funkcji w aplikacji, którą już masz albo budujesz. Samodzielnego agenta działającego w kilku systemach opisuje strona agenci AI dla firm.
Najczęstsze pytania
Czy to jest to samo, co ChatGPT na stronie OpenAI?
Nie. ChatGPT to gotowa aplikacja z własnymi planami i zasadami. Aplikacja firmowa korzysta z API, czyli osobnego, rozliczanego za użycie dostępu do modeli, z własnymi kluczami i warunkami dotyczącymi danych.
Czy muszę używać modeli OpenAI?
Nie. Warstwę połączenia buduję tak, żeby model dało się podmienić na inny. Wybór zależy od jakości na Twoich przykładach, warunków przetwarzania danych i kosztów, które sprawdzam w aktualnej dokumentacji.
Co z danymi klientów, które trafiają do modelu?
Wysyłam tylko pola potrzebne do zadania, a dane osobowe pomijam lub maskuję, gdy się da. Warunki przetwarzania ustawiamy na Twoim koncie u dostawcy. To nie jest porada prawna, więc zasady dla danych osobowych skonsultuj z prawnikiem.
Ile kosztuje takie wdrożenie?
Wbudowanie modelu w jeden proces zaczyna się od około 1200 zł netto, podobnie jak prosty agent AI. Rozbudowana aplikacja z kilkoma funkcjami wymaga wyceny po rozmowie. Za użycie modelu płacisz osobno dostawcy.
Powiązane strony
Chcesz dodać funkcję AI do swojej aplikacji?
Opisz, co aplikacja ma robić z tekstem i jakie dane przez nią przechodzą. Odpowiem z propozycją zakresu.