Duży model językowy (ang. large language model, LLM) to sieć neuronowa o miliardach parametrów, wytrenowana na bardzo dużych zbiorach tekstów i kodu. Większość współczesnych modeli opiera się na architekturze transformera opisanej przez badaczy Google w 2017 roku. Na LLM-ach działają asystenci czatowi, narzędzia do pisania i analizy dokumentów oraz agenci AI.
Jak to działa
- Tokeny – tekst jest dzielony na fragmenty słów, czyli tokeny. W języku polskim na jedno słowo przypada zwykle więcej tokenów niż w angielskim, co wpływa na koszt i wykorzystanie limitów.
- Trening – model uczy się przewidywać kolejny token w ogromnej liczbie tekstów. W ten sposób przyswaja wzorce językowe, wiedzę ogólną i umiejętność rozumowania na przykładach. Następnie jest dostrajany do wykonywania poleceń i bezpiecznych odpowiedzi.
- Generowanie – odpowiedź powstaje token po tokenie jako najbardziej prawdopodobna kontynuacja tekstu wejściowego. Model nie sprawdza faktów w bazie danych, co jest źródłem halucynacji.
- Okno kontekstowe – maksymalna liczba tokenów, którą model przetwarza naraz: polecenie, załączone dokumenty, historia rozmowy i odpowiedź. Model nie widzi niczego spoza kontekstu i sam z siebie nie pamięta poprzednich rozmów.
Wiedza modelu kończy się na dacie zebrania danych treningowych i nie obejmuje informacji wewnętrznych firmy. Dlatego w zastosowaniach biznesowych dostarcza się mu dane w kontekście, np. przez wyszukiwanie w dokumentach (RAG) albo przez połączenie z systemami firmy za pomocą API.
Bezpieczeństwo danych
Przed użyciem modelu do danych firmowych trzeba ustalić, gdzie dane są przetwarzane, czy dostawca może wykorzystywać je do trenowania, jak długo je przechowuje i czy zawarto umowę powierzenia przetwarzania danych osobowych. Dostawcy w planach firmowych i przy dostępie przez API zwykle deklarują brak trenowania na danych klientów, ale warunki trzeba sprawdzić w umowie. Alternatywą są modele o otwartych wagach uruchamiane na własnej infrastrukturze. Zasady korzystania z modeli warto ustalić na początku wdrożenia AI, zanim pracownicy zaczną używać przypadkowych narzędzi.
Przykład
Dział zakupów dystrybutora otrzymywał około 600 wiadomości dziennie od dostawców: potwierdzenia zamówień, zmiany terminów i ilości. Wdrożono rozwiązanie, w którym LLM klasyfikuje wiadomość i wyodrębnia numer zamówienia, nową datę i ilość, a integracja wprowadza zmianę do ERP. W teście na 1 000 wiadomościach 96% przypadków odczytano poprawnie, a pozostałe system oznaczył do sprawdzenia przez pracownika. Obsługę skrzynki przejęła jedna osoba zamiast trzech.
Najczęstsze błędy
- Traktowanie modelu jako źródła faktów lub kalkulatora – liczby powinny pochodzić z baz danych i obliczeń wykonywanych przez kod.
- Wklejanie danych poufnych lub osobowych do prywatnych kont narzędzi AI, bez umowy i zasad korzystania.
- Ocena rozwiązania na kilku przykładach zamiast na zestawie testowym z policzonym odsetkiem błędów.