Next-Token-Prinzip (Next-Token-Prediction)
Im Kern baut ein Sprachmodell seine Antwort Schritt für Schritt auf. Es berechnet, wie wahrscheinlich die möglichen nächsten Token sind, wählt eines aus, hängt es an und wiederholt den Vorgang.
Ein Modell liest deinen Text nicht als Buchstabenfolge, sondern zerlegt ihn in Textbausteine, sogenannte Token. Ein Token kann ein ganzes Wort sein, ein Wortteil oder eine Zeichenfolge, die im Training häufig zusammen vorkam. Wie dieses Zerlegen in Token funktioniert, ist die Voraussetzung für alles Weitere.
Schritt für Schritt, nicht auf einmal
Eine Antwort entsteht nicht in einem Zug. Das Modell berechnet eine Wahrscheinlichkeitsverteilung über alle möglichen nächsten Token, wählt gesteuert eines aus, hängt es an und beginnt die Rechnung von vorne. Frage, Token, Token, Token, bis die Antwort fertig ist. Im Kern passiert nicht mehr als das.
Warum das Stärken und Schwächen erklärt
Bei Textmustern brilliert dieses Verfahren. Beim Zählen einzelner Zeichen stolpert es: Gerade ältere Modelle sehen in einem langen Wort einen Block, nicht die Buchstaben darin. Sie sehen die Einheit, aber nicht die Teile.
Vor allem erklärt das Prinzip ein Risiko. Trainiert ist das Modell darauf, den nächsten plausiblen Token zu erzeugen, nicht den korrekten. Ein verlässliches inneres Signal für „das weiß ich nicht“ hat es dabei nicht, also schreibt es oft einfach weiter, bis eine flüssige, überzeugend klingende Antwort dasteht. Eine Halluzination ist deshalb aus Sicht des Lehrgangs kein Defekt, sondern die Logik des Systems.
Wie viel Text das Modell dabei im Blick hat, begrenzt das Kontextfenster. Im Lehrgang Manager für KI-Kompetenzen (IHK) ist dieser Mechanismus Thema im ersten Modul.
Beispiele aus der Praxis
Beispiel · Zeichen zählen: Du fragst, wie viele Zeichen ein sehr langes Kompositum hat. Das Modell sieht einen Block aus Token statt einzelner Buchstaben, und gerade ältere Modelle liegen bei dieser Aufgabe daneben.
Beispiel · flüssig statt sicher: Du fragst etwas sehr Spezielles. Statt zu stocken, hängt das Modell Token für Token an, was statistisch passt. Das Ergebnis liest sich sicher, obwohl nichts davon geprüft wurde.
Solche Begriffe sicher anwenden — im IHK-Lehrgang
„Next-Token-Prinzip (Next-Token-Prediction)" ist einer von 9 Schlüsselbegriffen, die wir im Manager-Lehrgang in praxisnahen Modulen vertiefen. Hol dir das offizielle IHK-Zertifikat.
Kostenlos testenthekey.academy ist eine deutsche Online-Lernplattform für IHK-zertifizierte berufliche Weiterbildung — 24 Lehrgänge zu KI, Führung, Resilienz, Marketing und HR. 100 % online, self-paced, mit IHK-Zertifikat.