Wie erkenne ich Bias in KI-Modellen + reagiere darauf?

Warum Bias kritisch

Konkrete Fälle: Amazon-Recruiting-KI 2018 (benachteiligt Frauen wegen Trainings-Daten), COMPAS (US-Justiz-KI mit Race-Bias), Apple-Card-Limit (Gender-Differenz). Bias kostet Reputation, Klagen, Bussgelder.

Drei Bias-Quellen

• Daten-Bias: historische Daten enthalten Diskriminierung (z. B. nur Männer als Software-Ingenieure).

• Modell-Bias: Algorithmus optimiert auf Mehrheit, Minderheiten schlechter.

• Anwendungs-Bias: Modell wird ausserhalb des Trainings-Kontexts genutzt (z. B. US-Modell in DE).

Drei Fairness-Tests

1. Demografische Parität: ist die Ergebnis-Rate pro geschuetzter Gruppe gleich? Z. B. Bewilligungs-Rate für Frauen + Männer gleich.

2. Equalized Odds: sind False-Positive + False-Negative Raten pro Gruppe gleich?

3. Counterfactual Fairness: aendere ein geschuetztes Merkmal - ändert sich das Ergebnis? Sollte nicht.

4. Diese Definitionen widersprechen sich oft - Trade-Off-Entscheidung nötig.

Tools

• Fairlearn (Microsoft, Open Source): Python-Library für Bias-Tests.

• AIF360 (IBM, Open Source): umfangreiches Toolkit.

• Watson OpenScale (IBM): Production-Monitoring.

• What-If-Tool (Google): visuelle Exploration.

• Aequitas (University of Chicago).

Prüf-Vorgehen

1. Geschützte Merkmale definieren (Geschlecht, Alter, Ethnizität, soweit verfügbar).

2. Daten-Set auf Repräsentation prüfen.

3. Modell auf den Fairness-Metriken testen.

4. Bei Bias: Daten-Re-Sampling, Modell-Re-Weighting, Post-Processing.

5. Production-Monitoring kontinuierlich.

6. Dokumentation für Compliance (EU-AI-Act).

EU-AI-Act ab 2026

• Hoch-Risiko-Systeme (Personal, Justiz, Bildung, Kredit) brauchen Bias-Tests.

• Risk-Management-System dokumentieren.

• Daten-Qualität + Repräsentation belegen.

• Menschliche Aufsicht etablieren.

• Konformitäts-Bewertung vor Deployment.

Wie reagieren auf Bias

1. Daten-Bias: Daten-Augmentation, Re-Sampling, Synthetic-Data für Minderheiten.

2. Modell-Bias: andere Modell-Architektur, Multi-Objective-Optimization mit Fairness-Constraint.

3. Anwendungs-Bias: klare Use-Case-Definition, ausserhalb Kontext verboten.

4. Wenn nicht lösbar: System nicht deployen.

Anti-Patterns

• Bias erst nach Skandal prüfen - Reputations-Schaden eingetreten.

• Nur 1 Fairness-Metrik - verfehlt andere Probleme.

• Geschützte Merkmale aus Trainings-Daten entfernen - Proxy-Variablen bleiben (z. B. PLZ).

• Production-Monitoring vergessen - Drift führt zu neuem Bias.

• Dokumentation fehlt - EU-AI-Act-Verstoss.