Token (KI-Sprachmodell)
Ein Token ist die kleinste Texteinheit, mit der ein Sprachmodell arbeitet – oft ein Wortteil, ein ganzes Wort oder ein Satzzeichen –, und sowohl das Kontextfenster als auch die Kosten bei der API-Nutzung werden in Token statt in Zeichen oder Wörtern gemessen.
In der Praxis
Das erklärt, warum sehr lange Prompts oder Dokumente an Modellgrenzen stoßen können und warum die Antwortlänge eines Modells begrenzt ist. Deutsch und andere nicht-englische Sprachen benötigen wegen zusammengesetzter Wörter und Umlauten oft mehr Token pro Wort als Englisch, was bei der Kalkulation von API-Kosten relevant ist. Wer mit Sprachmodellen arbeitet, sollte die Tokenanzahl seiner Inhalte im Blick behalten.