Przejdź do treści

Co to jest LLM: jak działa duży model językowy i co z tego wynika dla firmy

Za ChatGPT, Claude i Gemini stoją duże modele językowe. Kto rozumie, jak taki model pracuje, łatwiej oceni, do czego użyć go w firmie, od czego zależy koszt i dlaczego czasem zmyśla.

Autor: Szymon Łakomy. Aktualizacja:

Jak działa duży model językowy?

Duży model językowy dopisuje tekst token po tokenie: za każdym razem wybiera fragment, który najlepiej pasuje do wszystkiego, co już jest w rozmowie.

Token to kawałek tekstu: krótkie słowo, część słowa albo znak interpunkcyjny. Zależności między tokenami model poznał w treningu, dlatego streszcza, tłumaczy, pisze kod i odpowiada na pytania. Nie sprawdza jednak odpowiedzi w bazie faktów, więc wynik jest tekstem prawdopodobnym, a nie zweryfikowanym.

Znane rodziny modeli to między innymi Claude (Anthropic), GPT (OpenAI), Gemini (Google) i Llama (Meta). Producent zwykle oferuje kilka modeli: mocniejsze do trudnych zadań i szybsze do prostych, takich jak klasyfikacja. U Anthropic to między innymi Opus, Sonnet i Haiku.

Słownik: LLM, token, kontekst, prompt, RAG i agent

Sześć pojęć wystarcza, żeby zrozumieć większość rozmów o AI w firmie. Dłuższą listę zbieram w słowniku automatyzacji i AI.

PojęcieCo oznaczaGdzie to spotkasz
LLMduży model językowy, który generuje tekst token po tokeniesilnik odpowiedzi w ChatGPT, Claude czy Gemini
Tokenjednostka tekstu, w której model czyta i pisze, a dostawca liczy opłaty za APIdługi dokument to wiele tysięcy tokenów
Kontekstcały tekst widoczny dla modelu przy jednej odpowiedziinstrukcja, historia rozmowy, wklejone pliki
Promptpolecenie i materiały, które model dostaje„streść tę umowę w pięciu punktach”
RAGwyszukanie pasujących fragmentów dokumentów i dołączenie ich do pytaniaasystent odpowiadający z procedur firmy
Agentmodel, który w pętli wybiera i wywołuje narzędzia, aż wykona zadanieodczytanie maila, sprawdzenie zamówienia, szkic odpowiedzi

Pisanie poleceń opisuję w poradniku jak pisać prompty do AI.

Co to jest okno kontekstu?

Okno kontekstu to cały tekst, który model bierze pod uwagę przy jednej odpowiedzi: instrukcję, historię rozmowy, wklejone dokumenty i samą odpowiedź.

Anthropic nazywa je pamięcią roboczą modelu, odrębną od danych treningowych. Okno ma limit liczony w tokenach, a według dokumentacji więcej tekstu nie znaczy lepiej: gdy kontekst rośnie, spada trafność. Lepiej wkleić właściwy rozdział niż cały folder. Rozmowa nie zmienia samego modelu, a nowa wiedza istnieje tylko w jej kontekście.

Dlaczego model nie zna danych firmy i jak mu je podać?

Model nie zna danych firmy, bo nie było ich w zbiorze treningowym, więc trzeba mu je dostarczyć: w kontekście, przez RAG albo, rzadziej, przez dostrajanie.

Kontekst

Wklejasz dokument albo dołączasz plik do rozmowy czy projektu. Najprostsza droga, gdy plików jest kilka.

RAG

System najpierw wyszukuje pasujące fragmenty w dokumentach firmy, a model odpowiada na ich podstawie. Pasuje do dużego zbioru, który się zmienia. Szczegóły: co to jest RAG.

Dostrajanie

Dodatkowy trening modelu na przykładach firmy. Uczy stylu i formatu, ale do często zmienianych cenników i procedur pasuje gorzej niż RAG.

Dlaczego LLM zmyśla?

LLM zmyśla, bo generuje tekst prawdopodobny, a nie sprawdzony: gdy brakuje mu wiedzy, i tak poda odpowiedź, która brzmi pewnie.

Dotyczy to zwłaszcza liczb, dat, cytatów, przepisów i nazw. Pomaga źródło w kontekście, prośba o wskazanie fragmentu, na którym oparto odpowiedź, i kontrola człowieka. Więcej piszę na stronie halucynacje AI.

Jak firma korzysta z LLM i ile to kosztuje?

Firma korzysta z LLM przez aplikację czatu, API, agentów albo model na własnym serwerze, a od tej drogi zależy sposób rozliczenia.

  • Aplikacja czatu. ChatGPT, Claude albo Gemini na kontach firmowych, rozliczane według planu dostawcy.
  • API. Model wbudowany w system firmy, na przykład do klasyfikacji zgłoszeń, rozliczany za tokeny. Opisuję to przy integracji Claude API i integracji ChatGPT API z aplikacją firmową.
  • Agent. Model z dostępem do narzędzi, który sam wybiera kolejne kroki. Czym różni się od czatu, wyjaśniam na stronie co to jest agent AI.
  • Model lokalny. Model o otwartych wagach, na przykład z rodziny Llama, na serwerze firmy, gdy dane nie mogą jej opuścić. Płaci się sprzętem i utrzymaniem. Porównanie: lokalny model AI w firmie.

Koszt API zależy od liczby tokenów w poleceniu i odpowiedzi oraz od wybranego modelu. Szacunek dla swojego zadania policzysz w kalkulatorze kosztów API AI.

Źródła

Opis opieram na poniższych źródłach. Przepisy, dokumentacja producentów i warunki usług się zmieniają, więc szczegóły warto sprawdzić u źródła:

Najczęstsze pytania

Co to jest LLM w prostych słowach?

LLM, czyli duży model językowy, to program, który na podstawie ogromnej liczby przeczytanych tekstów przewiduje kolejny fragment tekstu. Powtarzając to wiele razy, pisze całe odpowiedzi. Na takich modelach działają ChatGPT, Claude i Gemini.

Czym różni się LLM od ChatGPT?

LLM to sam model, a ChatGPT to aplikacja zbudowana wokół modeli OpenAI z rodziny GPT. Aplikacja dodaje interfejs, historię rozmów, pliki i narzędzia, takie jak wyszukiwanie w sieci. Z tych samych modeli firma może korzystać przez API.

Czy LLM uczy się z moich rozmów?

Sam model nie zmienia się w trakcie rozmowy. Czy dostawca może użyć rozmów do trenowania kolejnych modeli, zależy od planu i ustawień konta. W planach ChatGPT Business i Enterprise oraz Claude Team i Enterprise trenowanie na danych organizacji jest domyślnie wyłączone.

Ile kosztuje korzystanie z LLM w firmie?

Aplikacje czatu rozlicza się według planu dostawcy, a API według liczby tokenów w poleceniach i odpowiedziach. Ceny ustala producent i mogą się zmieniać, więc sprawdzam je w dniu decyzji. Koszt API dla konkretnego zadania oszacujesz w kalkulatorze kosztów API AI.

Powiązane strony

Chcesz sprawdzić, do czego LLM przyda się w Twojej firmie?

Opisz jedno zadanie, które zespół powtarza co tydzień. Odpowiem, czy wystarczy czat, czy potrzebna jest integracja przez API.