Cutoff, Halluzination, Scheinsicherheit: warum KI-Fehler zusammenhängen

Ein KI-Modell kennt die Welt nur bis zu seinem Trainingsstichtag. Alles danach ist ihm unbekannt. Fragst du nach dem aktuellen Geschäftsführer eines Unternehmens, bekommst du den Namen, der zum Stichtag stimmte, auch wenn längst gewechselt wurde.

Wichtig für die Einordnung: Ein Cutoff ist keine Erfindung und kein Fehler des Modells, sondern eine Wissenslücke. Problematisch wird er erst durch das, was das Modell mit dieser Lücke macht.

Das Modell erfindet Inhalte, die plausibel klingen, aber nicht existieren, weil es nicht zwischen wahren Fakten und statistisch passenden Mustern unterscheiden kann. Liegt eine gesuchte Zahl nach dem Trainingsstichtag, fehlt dem Modell ein „Ich weiß es nicht“-Mechanismus: Es füllt die Lücke mit dem, was statistisch in den Kontext passt.

Nach einer Forschungsnotiz von OpenAI ist das kein Zufall, sondern antrainiert: Standardverfahren beim Training belohnen das Raten gegenüber dem Eingeständnis von Unsicherheit. Die Definition im Detail: Was sind Halluzinationen bei LLMs?, die Kurzdefinition steht im Glossar unter Halluzination.

Das Modell formuliert erfundene oder veraltete Angaben in makellosem, souveränem Deutsch, ohne Zögern und ohne Warnhinweis. „Der Marktanteil liegt unanfechtbar bei exakt 34,5 Prozent“: Wörter wie unanfechtbar und exakt sind aus Millionen professioneller Texte gelernt und suggerieren eine Gewissheit, die nicht vorhanden ist.

Modelle können selbstbewusst falsche Antworten geben, statt Unsicherheit einzugestehen. Der Ton ist deshalb kein Beleg.

Die drei Fehlerbilder greifen ineinander, und zwar in genau dieser Reihenfolge: Der Cutoff erzeugt eine Wissenslücke, die Halluzination füllt sie, und die Scheinsicherheit verpackt das Ergebnis so professionell, dass es wie geprüftes Wissen aussieht.

Das macht die Kette so gefährlich: Am Ende steht keine erkennbar unsichere Antwort, sondern eine überzeugend formulierte, die du ohne Prüfung übernehmen würdest. Real wurde das im US-Fall Roberto Mata v. Avianca, Inc., 22-cv-1461 (PKC), 2023: erfundene Gerichtsentscheidungen in makellos formulierten Schriftsätzen, am Ende mit Sanktionen gegen die einreichenden Anwälte.

Gegen die fertige Antwort hilft der 3-Schritt-Diagnoseprozess: Entitäten isolieren, gegen eine Primärquelle prüfen, Fehlerbild klassifizieren. Die Anleitung dazu: Wie prüfe ich, ob eine KI-Antwort stimmt?.

Präventiv senkst du den Aufwand, indem du das Modell bittest, für jeden Punkt anzugeben, ob es sich sicher ist oder ob du gegenprüfen solltest. Und für alles, was Konsequenzen hat, gilt die Empfehlung von Prüfstellen wie TÜVIT: KI-Ausgaben nach dem Vier-Augen-Prinzip zusammen mit einem Menschen einsetzen.

Quellen: OpenAI, „Warum Sprachmodelle halluzinieren“; Wissenschaftliche Dienste des Deutschen Bundestags, „Bias und Halluzinationen von KI-Systemen“ (WD 5-082-25); Sanktionsbeschluss Roberto Mata v. Avianca, Inc., 22-cv-1461 (PKC), 2023; TÜVIT, „Was sind KI-Halluzinationen?“; Fraunhofer IESE, „Halluzinationen von generativer KI und LLMs“.