Wie prüfe ich, ob eine KI-Antwort stimmt?

Hier geht es um die Antwort, die dir eine KI gerade ausgegeben hat: Kannst du sie übernehmen oder nicht? Wie du fertigen KI-Content vor der Veröffentlichung redaktionell abnimmst, also Quellen, Bias, Stil und Plagiate prüfst, steht im Beitrag zum Faktencheck von KI-Content.

Der Kernbegriff dahinter ist die Halluzination: Das Modell erzeugt Inhalte, die plausibel klingen, aber nicht existieren. Es lügt nicht, es unterscheidet nur nicht verlässlich zwischen wahr und statistisch passend. Genau deshalb reicht Durchlesen nicht, du brauchst ein Verfahren.

Verlass dich dabei auch nicht auf den Ton. Souveränes Deutsch ist ein Stilmerkmal, kein Wahrheitsnachweis: Dass eine Antwort sicher klingt, sagt nichts darüber, ob sie stimmt.

Schritt 1: Entitäten isolieren

Markiere in der Antwort alle harten Fakten: Namen, Zahlen, Daten, Quellen, Produktnamen. Den Fließtext ignorierst du. Was übrig bleibt, sind konkrete Behauptungen, die überprüfbar sind.

Schritt 2: Gegen eine Primärquelle prüfen

Gleiche jeden markierten Fakt mit einer echten Primärquelle ab, etwa dem Originaldokument, der Anbieterseite oder dem Gesetzestext. Ausdrücklich nicht mit einer zweiten KI, denn die kann denselben Fehler machen. War der Geschäftsführer tatsächlich Müller? Existiert die Produktlinie? Sind die Zahlen aktuell?

Schritt 3: Fehlerbild klassifizieren

Für jeden Fakt, der sich nicht bestätigt, stellst du drei Fragen. Sie führen dich zum Fehlerbild und damit zu der Frage, was du als Nächstes tun musst:

• Liegt die Information nach dem Trainingsstichtag? Dann spricht das für den Cutoff, also eine Wissenslücke, und du lieferst die aktuellen Daten selbst nach.

• Ist sie so speziell oder nischig, dass sie kaum auffindbar ist? Dann liegt eine Halluzination nahe, also erfundener Inhalt.

• Klingt sie sicherer, als die Quellenlage erlaubt? Dann spricht das für Scheinsicherheit, also souveränen Ton ohne Substanz.

Manchmal bleibt offen, welches der drei Fehlerbilder zugeschlagen hat. Die Einordnung deshalb zu überspringen, wäre falsch: Sie entscheidet, ob du nur die aktuelle Zahl nachreichst oder den ganzen Abschnitt neu prüfst. Die drei Fragen sind Hinweise, keine Beweise: Was du korrigierst, prüfst du in jedem Fall erneut.

Was auf dem Spiel steht: Im US-Verfahren Roberto Mata v. Avianca, Inc. (22-cv-1461 (PKC), Southern District of New York) hielt das Gericht am 22. Juni 2023 fest, die Anwälte hätten „non-existent judicial opinions with fake quotes and citations created by the artificial intelligence tool ChatGPT“ eingereicht, also nicht existierende Gerichtsentscheidungen mit erfundenen Zitaten und Fundstellen. Es verhängte eine Strafe von 5.000 US-Dollar, gesamtschuldnerisch gegen die beiden Anwälte und ihre Kanzlei.

Prüfen ist deshalb kein Misstrauen gegenüber dem Werkzeug, sondern der Teil der Arbeit, der die Verantwortung beim Menschen hält. Wie die drei Fehlerbilder zusammenhängen und warum sie oft gemeinsam auftreten, liest du im Beitrag zur Kettenreaktion der KI-Fehlerbilder.

Quelle: Opinion and Order on Sanctions, Roberto Mata v. Avianca, Inc., 22-cv-1461 (PKC), U.S. District Court for the Southern District of New York, 22. Juni 2023 (Dokument 54).