Britzel
Was ist ein Token? Einfach erklärt
Ein Token ist das kleinste Textstück, mit dem ein LLM arbeitet — meist ein Wortteil, ein kurzes Wort oder ein Satzzeichen. Als Faustregel entspricht ein Token etwa drei Vierteln eines englischen Wortes — bei deutschen Texten mit langen Wörtern fallen tendenziell mehr Token pro Wort an.
Die Alltagsanalogie
Legosteine eines Textes: Die KI liest und schreibt nicht in ganzen Wörtern, sondern setzt alles aus kleinen Standard-Bausteinen zusammen — und abgerechnet wird auch pro Baustein.
Im Job heißt das
Kontextfenster-Größen und API-Preise werden in Token angegeben — wer Texte in die KI kopiert, sollte grob schätzen können, wie viele Token das sind.
Ein konkretes Beispiel
Das Wort „Digitalisierungsprojekt“ zerlegt die KI in mehrere Token; „und“ ist nur ein einziger.
Eselsbrücke
TOKEN sind die Bausteine im Text, PARAMETER die Schrauben im Modell — gebaut wird mit Token, gelernt in Parametern.
Wie arbeitet die KI mit Token?
Ein LLM liest und schreibt nicht in ganzen Wörtern, sondern zerlegt alles in kleine Standard-Bausteine — die Token. Ein Token ist meist ein Wortteil, ein kurzes Wort oder ein Satzzeichen. Das Wort „Digitalisierungsprojekt“ wird zum Beispiel in mehrere Token zerlegt, „und“ ist nur ein einziges.
Wofür braucht man Token als Nutzer?
Vor allem zum Einschätzen von Grenzen und Kosten: Kontextfenster-Größen und API-Preise werden in Token angegeben. Wer Texte in die KI kopiert, sollte grob schätzen können, wie viele Token das sind. Als Faustregel entspricht ein Token etwa drei Vierteln eines englischen Wortes.
Was ist der Unterschied zwischen Token und Parameter?
Token sind die Bausteine im Text, Parameter die „Schrauben“ im Modell. Gebaut wird jeder Text aus Token — gelernt hat das Modell dagegen in seinen Parametern. Die beiden Begriffe klingen ähnlich technisch, meinen aber völlig verschiedene Dinge.
Auf Englisch
token
A token is the smallest piece of text an LLM works with — usually a word fragment, a short word, or a punctuation mark. As a rule of thumb, one token is about three quarters of an English word; German texts with long words tend to require more tokens per word.
Häufige Fragen zu Token
Kosten Token etwas?
Bei bezahlten KI-Diensten ja: API-Preise werden in Token angegeben, abgerechnet wird also pro Baustein. Deshalb lohnt es sich, grob schätzen zu können, wie viele Token ein Text hat.
Wie viele Token hat mein deutscher Text ungefähr?
Faustregel: Ein Token entspricht etwa drei Vierteln eines englischen Wortes. Bei deutschen Texten mit langen Wörtern fallen tendenziell mehr Token pro Wort an.
Muss ich Token genau zählen können?
Nein, grobes Schätzen reicht im Alltag. Wichtig ist nur zu wissen, dass Kontextfenster und Preise in Token gemessen werden — nicht in Wörtern oder Seiten.