Pretraining (Vortraining)

Bevor ein Sprachmodell Fragen beantworten kann, durchläuft es im vereinfachten Bild des Lehrgangs zwei Trainingsphasen. Die erste ist das Pretraining. Das Modell übt an enormen Mengen Text unzählige Male dieselbe Aufgabe: das wahrscheinlich nächste Token vorherzusagen. Wie diese Vorhersage abläuft, erklärt der Eintrag Next-Token-Prinzip. Im Training werden dabei die Parameter angepasst, die einstellbaren Zahlenwerte im Inneren des Modells, von denen heutige Modelle laut Lehrgang Milliarden haben.

Nebenbei nimmt das Modell vieles auf, was in den Texten steckt: Grammatik, Fakten, Stile und Fachsprachen. Heraus kommt laut Lehrgang ein wissendes Modell. Es kann einen angefangenen Text plausibel weiterschreiben, behandelt eine Frage aber noch nicht als Auftrag.

Vom Pretraining zum Assistenten

Im vereinfachten Bild des Lehrgangs macht die zweite Phase, das Finetuning, das Modell besser als Assistenten nutzbar. Dazu zählt der Lehrgang das Instruction Tuning, in dem das Modell lernt, Anweisungen zu befolgen, und das RLHF, in dem menschliche Bewertungen Ton und Verhalten prägen. Der Merksatz des Lehrgangs: Pretraining macht wissend, Finetuning macht nützlich. Wie breit vortrainierte Modelle als Ausgangsbasis eingesetzt werden, beschreibt der Eintrag Foundation Model.

Warum das Pretraining einen Stichtag setzt

Das Wissen aus dem Training reicht bis zum Trainingsstichtag. Neues lässt sich nicht ohne Weiteres nachtragen: Das fortlaufende Dazulernen, ohne das Pretraining neu zu starten, beschreibt der Lehrgang als offenes Problem, weil Modelle beim Weitertrainieren älteres Wissen überschreiben können. Als praktische Antwort nennt er RAG: Das System schlägt vor der Antwort in aktuellen Quellen nach, das Modell selbst lernt dabei nichts dazu.