Wie prüfe ich, ob eine KI-Antwort stimmt?

Hier geht es um die Antwort, die dir eine KI gerade ausgegeben hat: Kannst du sie übernehmen oder nicht? Ob ein fremder Text von einer KI geschrieben wurde, ist eine andere Frage, die wir im Beitrag zum Faktencheck von KI-Content behandeln.

Eine Halluzination ist dabei der Kernbegriff: Das Modell erzeugt Inhalte, die plausibel klingen, aber nicht existieren, weil es nicht zwischen wahren Fakten und statistisch passenden Mustern unterscheiden kann. Genau deshalb reicht Durchlesen nicht, du brauchst ein Verfahren.

Der 3-Schritt-Diagnoseprozess

1. Entitäten isolieren: Markiere alle prüfbaren Fakten in der Antwort, also Namen, Zahlen, Daten, Zitate und Quellenangaben.

2. Gegen eine Primärquelle prüfen: Vergleiche jede Entität mit einer externen Primärquelle, etwa dem Originaldokument, der Anbieterseite oder dem Gesetzestext. Ausdrücklich nicht mit einer zweiten KI, denn die kann denselben Fehler machen.

3. Fehlerbild klassifizieren: Ordne jede Abweichung einem der drei Fehlerbilder zu: Cutoff (veraltetes Wissen), Halluzination (erfundener Inhalt) oder Scheinsicherheit (souveräner Ton ohne Substanz).

Die Fachliteratur unterscheidet bei Halluzinationen zwei Grundtypen: Abweichungen von überprüfbaren Fakten (Factuality Hallucination) und Abweichungen von deinen Anweisungen oder dem mitgelieferten Kontext (Faithfulness Hallucination). Für deine Prüfung heißt das: Vergleiche die Antwort nicht nur mit der Welt, sondern auch mit deinem eigenen Auftrag.

Warum der souveräne Ton nichts beweist

Der Grund ist strukturell: Nach einer Forschungsnotiz von OpenAI belohnen Standardverfahren beim Training und bei der Evaluierung das Raten gegenüber dem Eingeständnis von Unsicherheit. Modelle können deshalb selbstbewusst falsche Antworten geben, statt Unsicherheit zuzugeben. Ein Modell, das souverän formuliert, hat also nicht öfter recht als eines, das zögert.

Ein Satz wie „Der Marktanteil liegt unanfechtbar bei exakt 34,5 Prozent“ wirkt belastbar, gerade weil Wörter wie unanfechtbar und exakt aus Millionen professioneller Texte gelernt sind und Gewissheit suggerieren, wo keine ist. Der Ton ist kein Beleg.

Der Fall, der zeigt, was auf dem Spiel steht

Wie teuer eine übersprungene Prüfung werden kann, zeigt der US-Fall Roberto Mata v. Avianca, Inc., Aktenzeichen 22-cv-1461 (PKC), aus dem Jahr 2023: Anwälte reichten mit ChatGPT erstellte Schriftsätze ein, die vollständig erfundene Gerichtsentscheidungen mit falschen Zitaten enthielten. Das Gericht verhängte Sanktionen gegen die Anwälte.

Prüfaufwand präventiv senken

Du kannst den Aufwand schon vor der Antwort verkleinern: Bitte das Modell, für jeden Punkt anzugeben, ob es sich sicher ist oder ob du gegenprüfen solltest. So markiert es die heiklen Stellen selbst, und du prüfst gezielt statt flächendeckend.

Prüfstellen wie TÜVIT empfehlen zusätzlich das Vier-Augen-Prinzip: KI-Ausgaben grundsätzlich zusammen mit einem Menschen einsetzen und sorgfältig auf Korrektheit prüfen. Prüfen ist dabei kein Misstrauen gegenüber dem Werkzeug, sondern der Teil der Arbeit, der die Verantwortung beim Menschen hält.

Wie die drei Fehlerbilder zusammenhängen und warum sie meist gemeinsam auftreten, liest du im Beitrag zur Kettenreaktion der KI-Fehlerbilder.

Quellen: OpenAI, „Warum Sprachmodelle halluzinieren“; Wissenschaftliche Dienste des Deutschen Bundestags, „Bias und Halluzinationen von KI-Systemen“ (WD 5-082-25); Sanktionsbeschluss Roberto Mata v. Avianca, Inc., 22-cv-1461 (PKC), 2023; TÜVIT, „Was sind KI-Halluzinationen?“; Fraunhofer IESE, „Halluzinationen von generativer KI und LLMs“.