Tokenizer
Wklej tekst i zobacz, jak model dzieli go na tokeny. Porównaj podział i liczbę tokenów między GPT, Claude, Gemini i DeepSeek.
Wizualizacja przybliżona. Dokładne tokenizery Claude i Gemini nie są publiczne — liczby są szacunkowe (najbliżej dokładności dla modeli OpenAI). Realny podział zależy od słownika BPE danego modelu.
Jak czytać wynik
Każdy kolorowy kafelek to jeden token. Zwróć uwagę, że spacja zwykle „przykleja się" do początku słowa (dlatego widzisz token z wiodącą spacją), a dłuższe lub rzadsze słowa rozpadają się na kilka tokenów. Polskie znaki diakrytyczne często kosztują dodatkowe tokeny — dlatego ten sam tekst po polsku bywa droższy niż po angielsku.
Tokeny a koszty
Za tokeny płacisz w API — osobno za wejściowe (prompt) i wyjściowe (odpowiedź). Gdy znasz liczbę tokenów, policzysz miesięczny rachunek w kalkulatorze kosztów API, a ceny modeli porównasz w porównywarce.
Najczęstsze pytania
Co to jest token?
Token to najmniejsza jednostka tekstu, jaką przetwarza model językowy — zwykle fragment słowa, całe krótkie słowo, znak interpunkcyjny lub spacja. Modele nie „widzą" liter, tylko tokeny, i za tokeny płacisz w API.
Dlaczego liczba tokenów różni się między modelami?
Każdy model ma własny słownik BPE zbudowany na innych danych. Ten sam tekst może dać inną liczbę tokenów w GPT, Claude czy Gemini — zwłaszcza dla polskich znaków i rzadszych słów.
Czy podział jest dokładny?
Dla modeli OpenAI wynik jest bardzo zbliżony do rzeczywistego. Anthropic i Google nie publikują oficjalnych tokenizerów w JavaScript, więc dla Claude i Gemini pokazujemy trafną aproksymację, a nie podział co do tokena.
Po co mi liczba tokenów?
Żeby oszacować koszt i zmieścić się w limicie kontekstu. Im więcej tokenów w promptcie i odpowiedzi, tym drożej. Koszt policzysz w kalkulatorze kosztów API.