Co to jest LLM: jak działa duży model językowy i co z tego wynika dla firmy
Za ChatGPT, Claude i Gemini stoją duże modele językowe. Kto rozumie, jak taki model pracuje, łatwiej oceni, do czego użyć go w firmie, od czego zależy koszt i dlaczego czasem zmyśla.
Autor: Szymon Łakomy. Aktualizacja:
Jak działa duży model językowy?
Duży model językowy dopisuje tekst token po tokenie: za każdym razem wybiera fragment, który najlepiej pasuje do wszystkiego, co już jest w rozmowie.
Token to kawałek tekstu: krótkie słowo, część słowa albo znak interpunkcyjny. Zależności między tokenami model poznał w treningu, dlatego streszcza, tłumaczy, pisze kod i odpowiada na pytania. Nie sprawdza jednak odpowiedzi w bazie faktów, więc wynik jest tekstem prawdopodobnym, a nie zweryfikowanym.
Znane rodziny modeli to między innymi Claude (Anthropic), GPT (OpenAI), Gemini (Google) i Llama (Meta). Producent zwykle oferuje kilka modeli: mocniejsze do trudnych zadań i szybsze do prostych, takich jak klasyfikacja. U Anthropic to między innymi Opus, Sonnet i Haiku.
Słownik: LLM, token, kontekst, prompt, RAG i agent
Sześć pojęć wystarcza, żeby zrozumieć większość rozmów o AI w firmie. Dłuższą listę zbieram w słowniku automatyzacji i AI.
| Pojęcie | Co oznacza | Gdzie to spotkasz |
|---|---|---|
| LLM | duży model językowy, który generuje tekst token po tokenie | silnik odpowiedzi w ChatGPT, Claude czy Gemini |
| Token | jednostka tekstu, w której model czyta i pisze, a dostawca liczy opłaty za API | długi dokument to wiele tysięcy tokenów |
| Kontekst | cały tekst widoczny dla modelu przy jednej odpowiedzi | instrukcja, historia rozmowy, wklejone pliki |
| Prompt | polecenie i materiały, które model dostaje | „streść tę umowę w pięciu punktach” |
| RAG | wyszukanie pasujących fragmentów dokumentów i dołączenie ich do pytania | asystent odpowiadający z procedur firmy |
| Agent | model, który w pętli wybiera i wywołuje narzędzia, aż wykona zadanie | odczytanie maila, sprawdzenie zamówienia, szkic odpowiedzi |
Pisanie poleceń opisuję w poradniku jak pisać prompty do AI.
Co to jest okno kontekstu?
Okno kontekstu to cały tekst, który model bierze pod uwagę przy jednej odpowiedzi: instrukcję, historię rozmowy, wklejone dokumenty i samą odpowiedź.
Anthropic nazywa je pamięcią roboczą modelu, odrębną od danych treningowych. Okno ma limit liczony w tokenach, a według dokumentacji więcej tekstu nie znaczy lepiej: gdy kontekst rośnie, spada trafność. Lepiej wkleić właściwy rozdział niż cały folder. Rozmowa nie zmienia samego modelu, a nowa wiedza istnieje tylko w jej kontekście.
Dlaczego model nie zna danych firmy i jak mu je podać?
Model nie zna danych firmy, bo nie było ich w zbiorze treningowym, więc trzeba mu je dostarczyć: w kontekście, przez RAG albo, rzadziej, przez dostrajanie.
Kontekst
Wklejasz dokument albo dołączasz plik do rozmowy czy projektu. Najprostsza droga, gdy plików jest kilka.
RAG
System najpierw wyszukuje pasujące fragmenty w dokumentach firmy, a model odpowiada na ich podstawie. Pasuje do dużego zbioru, który się zmienia. Szczegóły: co to jest RAG.
Dostrajanie
Dodatkowy trening modelu na przykładach firmy. Uczy stylu i formatu, ale do często zmienianych cenników i procedur pasuje gorzej niż RAG.
Dlaczego LLM zmyśla?
LLM zmyśla, bo generuje tekst prawdopodobny, a nie sprawdzony: gdy brakuje mu wiedzy, i tak poda odpowiedź, która brzmi pewnie.
Dotyczy to zwłaszcza liczb, dat, cytatów, przepisów i nazw. Pomaga źródło w kontekście, prośba o wskazanie fragmentu, na którym oparto odpowiedź, i kontrola człowieka. Więcej piszę na stronie halucynacje AI.
Jak firma korzysta z LLM i ile to kosztuje?
Firma korzysta z LLM przez aplikację czatu, API, agentów albo model na własnym serwerze, a od tej drogi zależy sposób rozliczenia.
- Aplikacja czatu. ChatGPT, Claude albo Gemini na kontach firmowych, rozliczane według planu dostawcy.
- API. Model wbudowany w system firmy, na przykład do klasyfikacji zgłoszeń, rozliczany za tokeny. Opisuję to przy integracji Claude API i integracji ChatGPT API z aplikacją firmową.
- Agent. Model z dostępem do narzędzi, który sam wybiera kolejne kroki. Czym różni się od czatu, wyjaśniam na stronie co to jest agent AI.
- Model lokalny. Model o otwartych wagach, na przykład z rodziny Llama, na serwerze firmy, gdy dane nie mogą jej opuścić. Płaci się sprzętem i utrzymaniem. Porównanie: lokalny model AI w firmie.
Koszt API zależy od liczby tokenów w poleceniu i odpowiedzi oraz od wybranego modelu. Szacunek dla swojego zadania policzysz w kalkulatorze kosztów API AI.
Źródła
Opis opieram na poniższych źródłach. Przepisy, dokumentacja producentów i warunki usług się zmieniają, więc szczegóły warto sprawdzić u źródła:
- Models overview (Anthropic)
- Context windows (Anthropic)
- Prompt engineering (OpenAI)
- Claude plans and pricing (Anthropic)
- Poufność danych biznesowych, bezpieczeństwo i zgodność z przepisami (OpenAI)
Najczęstsze pytania
Co to jest LLM w prostych słowach?
LLM, czyli duży model językowy, to program, który na podstawie ogromnej liczby przeczytanych tekstów przewiduje kolejny fragment tekstu. Powtarzając to wiele razy, pisze całe odpowiedzi. Na takich modelach działają ChatGPT, Claude i Gemini.
Czym różni się LLM od ChatGPT?
LLM to sam model, a ChatGPT to aplikacja zbudowana wokół modeli OpenAI z rodziny GPT. Aplikacja dodaje interfejs, historię rozmów, pliki i narzędzia, takie jak wyszukiwanie w sieci. Z tych samych modeli firma może korzystać przez API.
Czy LLM uczy się z moich rozmów?
Sam model nie zmienia się w trakcie rozmowy. Czy dostawca może użyć rozmów do trenowania kolejnych modeli, zależy od planu i ustawień konta. W planach ChatGPT Business i Enterprise oraz Claude Team i Enterprise trenowanie na danych organizacji jest domyślnie wyłączone.
Ile kosztuje korzystanie z LLM w firmie?
Aplikacje czatu rozlicza się według planu dostawcy, a API według liczby tokenów w poleceniach i odpowiedziach. Ceny ustala producent i mogą się zmieniać, więc sprawdzam je w dniu decyzji. Koszt API dla konkretnego zadania oszacujesz w kalkulatorze kosztów API AI.
Powiązane strony
Chcesz sprawdzić, do czego LLM przyda się w Twojej firmie?
Opisz jedno zadanie, które zespół powtarza co tydzień. Odpowiem, czy wystarczy czat, czy potrzebna jest integracja przez API.