Tokenization
Der Prozess, mit dem ein LLM Text in kleine Einheiten (Tokens) zerlegt, meist Wortstücke. Übliche Verfahren sind Byte-Pair Encoding (BPE) und WordPiece. 1 Token ≈ 0,75 deutsche Wörter.
LLMs sehen keinen Text, sondern Zahlen. Tokenization ist der Übersetzungsschritt: Der Text Künstliche Intelligenz wird z. B. zu [Kü, nst, liche, Intelligenz], vier Tokens, jedes mit einer eindeutigen ID im Vokabular des Modells. Englisch wird effizienter zerlegt als Deutsch, weil deutsche Komposita oft in mehrere Stücke aufgespalten werden.
Verfahren im Einsatz
Byte-Pair Encoding (BPE) wird von GPT und Claude genutzt, startet mit Einzelzeichen und merged häufige Paare. WordPiece (BERT) arbeitet ähnlich, aber statistisch anders motiviert. SentencePiece (Gemini, Llama) ist sprach-agnostisch und kommt ohne vorherige Wort-Trennung aus, wichtig für Japanisch oder Chinesisch.
Beispiele aus der Praxis
Beispiel Kostenrechnung: Ein 1.000-Wörter-Brief auf Deutsch entspricht ca. 1.500 Tokens. Bei GPT-4 (10 $ pro 1M Input-Tokens) kostet die Verarbeitung ca. 1,5 Cent, pro Aufruf, nicht pro Monat.
Beispiel Sprach-Bias: Donaudampfschifffahrtsgesellschaft wird zu 8+ Tokens zerlegt, während das englische company nur 1 Token braucht. Deutsche Texte sind deshalb in der API-Nutzung 20–40 % teurer.
Verwandte Begriffe
:quality(85))
Solche Begriffe sicher anwenden — im IHK-Lehrgang
„Tokenization" ist einer von 9 Schlüsselbegriffen, die wir im Manager-Lehrgang in praxisnahen Modulen vertiefen. Hol dir das offizielle IHK-Zertifikat.
Kostenlos testenthekey.academy ist eine deutsche Online-Lernplattform für IHK-zertifizierte berufliche Weiterbildung — 25 Lehrgänge zu KI, Führung, Resilienz, Marketing und HR. 100 % online, self-paced, mit IHK-Zertifikat.