Lokalny model AI w firmie: kiedy własny serwer ma sens
Część firm nie może albo nie chce wysyłać dokumentów do publicznego czatu. Wtedy w grę wchodzi model językowy uruchomiony u siebie lub w chmurze w UE, z kontrolą nad tym, gdzie trafiają dane.
Autor: Szymon Łakomy. Aktualizacja:
Kiedy własny model jest uzasadniony
- Poufne dane. Dokumentacja klientów, dane medyczne lub finansowe, tajemnica handlowa, których nie chcesz wysyłać poza firmę.
- Umowy i regulacje. Klient albo przepisy branżowe wymagają, żeby dane zostały w określonym miejscu, na przykład w UE lub na Twojej infrastrukturze.
- Duże archiwum. Tysiące umów, protokołów czy faktur do przeszukania i opisania, a w każdym dokumencie są dane osobowe.
- Polityka firmy. Zarząd nie zgadza się na wysyłanie danych do zewnętrznych dostawców AI, nawet z umową.
Jeśli pytanie brzmi tylko, co pracownicy mogą wklejać do publicznych narzędzi, wystarczy prosta polityka opisana na stronie czy można wklejać dane firmy do ChatGPT.
Modele z otwartymi wagami, w tym polski Bielik
Model z otwartymi wagami można pobrać i uruchomić na własnym sprzęcie, bez wysyłania zapytań do dostawcy. Znane rodziny takich modeli to Llama, Mistral i Qwen. Jest też polski Bielik, rozwijany przez społeczność SpeakLeash z myślą o języku polskim. Nie wybieram modelu z rankingu. Biorę kilku kandydatów, daję im te same zadania na Twoich dokumentach po polsku i porównuję wyniki. Licencje modeli różnią się warunkami użycia komercyjnego, więc sprawdzam je przed wdrożeniem.
Sprzęt: własny serwer, chmura w UE czy mocny komputer
| Wariant | Kiedy pasuje | Na co uważać |
|---|---|---|
| Własny serwer z kartą graficzną | dane nie mogą opuścić firmy, a obciążenie jest stałe | zakup sprzętu, prąd, chłodzenie, kopie zapasowe i aktualizacje po Twojej stronie |
| Wynajęty serwer z GPU w chmurze w UE | chcesz zacząć bez zakupu sprzętu albo obciążenie jest nierówne | opłata za czas pracy serwera i umowa powierzenia z dostawcą |
| Mocny komputer z mniejszym modelem | test, prototyp, proste zadania dla kilku osób | działa wolniej i słabiej radzi sobie z trudniejszymi zadaniami |
Kluczowa jest ilość pamięci karty graficznej. To od niej zależy, jak duży model zmieści się na sprzęcie.
Kompromisy, o których mówię przed wyceną
Jakość odpowiedzi
Modele uruchamiane lokalnie zwykle ustępują czołowym modelom chmurowym, zwłaszcza w długich i złożonych zadaniach. W wąskich, powtarzalnych zadaniach różnica bywa niewielka.
Koszt
Płacisz za sprzęt albo wynajem serwera niezależnie od tego, ile zapytań faktycznie wysyłasz. Przy małym ruchu model chmurowy z umową bywa tańszy.
Utrzymanie
Aktualizacje modelu i oprogramowania, monitoring, kopie zapasowe i bezpieczeństwo serwera są po stronie firmy albo osoby, która się tym opiekuje.
Podejście mieszane
Często wygrywa podział: poufne dane obsługuje model lokalny, a reszta zadań trafia do modelu w chmurze z umową na przetwarzanie danych.
Typowe zastosowania i pierwszy krok
- wyszukiwanie w dokumentach firmy z odpowiedzią i wskazaniem źródła, co szerzej opisuje strona asystent AI na dokumentach firmy,
- streszczenia długich umów, protokołów i korespondencji,
- klasyfikacja maili i dokumentów według rodzaju i pilności,
- wyciąganie danych z faktur i umów do systemu, na przykład w ramach automatycznego księgowania faktur kosztowych.
Zaczynam od jednego zadania i próbki dokumentów. Sprawdzam, czy wybrany model radzi sobie z nim na sprzęcie, który ma sens kosztowo, i dopiero potem planujemy serwer, dostęp dla pracowników i integracje. Szerszy kontekst wdrożeń opisuje strona agenci AI dla firm.
Najczęstsze pytania
Czy lokalny model jest tak dobry jak ChatGPT?
Zwykle nie dorównuje czołowym modelom chmurowym w trudnych, otwartych zadaniach. Do wąskich zadań, takich jak klasyfikacja dokumentów czy wyciąganie danych z faktur, bywa wystarczający. Rozstrzyga test na Twoich materiałach, a nie ogólne porównania.
Jaki sprzęt jest potrzebny?
Przede wszystkim karta graficzna z dużą ilością pamięci albo wynajęty serwer z GPU. Mniejsze modele uruchomisz nawet na mocnym komputerze, ale będą działać wolniej i słabiej. Konkretną konfigurację dobieram do modelu i liczby użytkowników.
Czy Bielik to dobry wybór dla polskiej firmy?
To jeden z kandydatów, którego warto sprawdzić, bo powstał z myślą o języku polskim. Nie zakładam z góry, że wypadnie lepiej od innych. Porównuję go z kilkoma modelami na tych samych zadaniach i wybieram ten, który daje lepsze wyniki na Twoich dokumentach.
Ile kosztuje wdrożenie lokalnego modelu?
Wycena po rozmowie. Na koszt składa się sprzęt albo wynajem serwera, konfiguracja, integracje z systemami firmy i utrzymanie. Rozsądnie jest zacząć od wynajętego serwera, a o zakupie sprzętu decydować po udanym teście.
Powiązane strony
Chcesz korzystać z AI bez wysyłania dokumentów na zewnątrz?
Napisz, jakie dokumenty mają być przetwarzane i ile osób miałoby korzystać z modelu.