Welche typischen Fehlentscheidungen macht KI?

Das Panzer-Beispiel im Detail

Ein KI-System sollte zwischen Bildern mit und ohne Panzer unterscheiden. Trainings- und Testdaten kamen aus einer Werbeagentur, die Panzer bei perfektem Sonnenschein fotografiert hat. Im Testdatensatz hat die KI alle Panzer korrekt erkannt. Im echten Einsatz versagte sie komplett, weil das gelernte Muster nicht „Panzer" war, sondern „schönes Wetter".

Warum solche Fehler so häufig sind

Maschinelles Lernen sucht das einfachste Muster, das die Trainingsdaten erklärt. Wenn ein irrelevantes Merkmal wie Wetter oder Hintergrund die Daten perfekt trennt, lernt die KI dieses Merkmal. Sie weiß nicht, was du eigentlich erkennen willst. Sie kennt nur den statistischen Zusammenhang in den Daten.

Wie du dich davor schützt

Stelle sicher, dass deine Trainingsdaten die Variationen abdecken, die in der Realität vorkommen. Teste mit Daten aus anderen Quellen, nicht nur aus dem Training-Pool. Beobachte das Modell im Produktiv-Betrieb genau und vergleiche Vorhersagen mit menschlicher Bewertung. Wenn die Genauigkeit im Produktiv-Betrieb deutlich unter der Test-Genauigkeit liegt, hast du wahrscheinlich Spurious Correlations gelernt.

Größtes Risiko: Schwächen nicht zu kennen

Eva nennt das das größte Risiko: KI-Anwender, die die Schwächen ihres Systems nicht kennen, vertrauen Fehlentscheidungen. Sie übersehen, dass die KI nicht versteht, was sie tut, sondern nur Muster reproduziert. Wer die Grenzen seines Modells kennt, kann gegensteuern.