Tokeny to jednostki, na które tokenizator dzieli tekst, zanim trafi on do dużego modelu językowego. W tokenach liczy się zarówno opłatę za korzystanie z modelu przez API, jak i limit okna kontekstowego, czyli ilość tekstu, którą model może przetworzyć w jednym wywołaniu. Każdy dostawca stosuje własny tokenizator, więc ten sam tekst może mieć różną liczbę tokenów w różnych modelach.
Jak to działa
Tokenizatory budują słownik z najczęstszych fragmentów tekstu w danych treningowych. Popularne słowa angielskie są często pojedynczym tokenem. Słowa polskie – z bogatą odmianą i znakami diakrytycznymi – częściej dzielą się na kilka fragmentów, dlatego ten sam tekst po polsku zwykle zajmuje więcej tokenów niż po angielsku. Przeliczników opracowanych dla angielskiego nie należy przenosić na polski; liczbę tokenów najlepiej zmierzyć narzędziem udostępnianym przez dostawcę.
Opłatę nalicza się osobno za dwa rodzaje tokenów:
koszt = tokeny wejściowe × cena wejścia + tokeny wyjściowe × cena wyjścia
Tokeny wejściowe to cała treść wysyłana do modelu: instrukcja, historia rozmowy, dołączone dokumenty, fragmenty z wyszukiwania (RAG). Tokeny wyjściowe to odpowiedź modelu. Cena wyjścia jest zwykle kilkukrotnie wyższa niż wejścia. Część dostawców oferuje niższą stawkę za powtarzalny początek polecenia przechowywany w pamięci podręcznej.
Przykład
Sklep internetowy klasyfikuje 12 000 wiadomości od klientów miesięcznie. Każde wywołanie zawiera instrukcję liczącą 1 500 tokenów i treść wiadomości średnio na 400 tokenów, a odpowiedź – kategorię i krótkie uzasadnienie – zajmuje 60 tokenów. Miesięcznie daje to 22,8 mln tokenów wejściowych i 0,72 mln wyjściowych. Ponad trzy czwarte wejścia to powtarzana za każdym razem instrukcja. Skrócenie jej do 600 tokenów zmniejsza wejście do 12 mln tokenów miesięcznie, czyli niemal o połowę, bez zmiany jakości klasyfikacji – co potwierdzono testem na 300 wiadomościach.
Najczęstsze błędy
- Szacowanie kosztów według przeliczników dla tekstów angielskich. Dla polskich dokumentów wynik jest zaniżony.
- Liczenie tylko odpowiedzi. W rozmowie historia jest wysyłana ponownie przy każdym pytaniu, a RAG dokleja dokumenty, więc to wejście zwykle dominuje w koszcie.
- Brak limitów i monitoringu zużycia w podziale na procesy. Koszt rośnie niezauważony, np. gdy agent AI wykonuje wiele wywołań w pętli.
Od czego zacząć
- Zmierzyć liczbę tokenów na próbce rzeczywistych polskich dokumentów.
- Policzyć koszt według aktualnego cennika, osobno dla wejścia i wyjścia.
- Ustawić limity długości odpowiedzi i miesięczne progi alarmowe.