Wie teste ich KI-Modelle auf Fairness?

Drei Standard-Tests

1. Demografische Parität.

2. Equalized Odds.

3. Counterfactual Fairness.

Demografische Parität

• P(Positiv | Gruppe A) = P(Positiv | Gruppe B).

• Z. B. Bewilligungs-Rate für Frauen + Männer gleich.

• Einfach.

• Aber: ignoriert echte Unterschiede.

• Bei größeren Datensaetzen prüfbar.

Equalized Odds

• False-Positive + False-Negative-Raten pro Gruppe gleich.

• Strenger als Parität.

• Bei klassifikations-Aufgaben.

• Anspruchsvoll.

• Stand bei Justiz-Systemen.

Counterfactual

1. Aendere ein geschuetztes Merkmal.

2. Aendert sich das Ergebnis?

3. Sollte nicht.

4. Theoretisch optimal.

5. Praktisch schwer zu testen.

Trade-Offs

• Definitionen widersprechen sich oft.

• Pro Use-Case Entscheidung.

• Mit Stakeholdern abstimmen.

• Dokumentation Pflicht.

• Prüfer-tauglich.

Tools

• Fairlearn (Microsoft).

• AIF360 (IBM).

• What-If-Tool (Google).

• Aequitas (Univ. Chicago).

• Themis.

Praktisch

1. Geschützte Merkmale definieren.

2. Test-Set repräsentativ.

3. Pro Test Metrik berechnen.

4. Mitigation bei Verstoss.

5. Production-Monitoring.

Anti-Patterns

• Bias-Test einmal.

• Nur 1 Metrik.

• Proxy-Variablen ignoriert.

• Mitigation oberflächlich.

• Production-Drift.