Wie monitore ich KI-Modelle in Production?

Vier Dimensionen

1. Model-Performance (Accuracy-Drift).

2. Data-Drift (Input-Verteilung).

3. Concept-Drift (Output-Verteilung).

4. Operationale Metrics.

Model-Performance

• Pro Inferenz Ground-Truth wenn verfügbar.

• Accuracy-Trend.

• Pro Segment prüfen.

• Alarm bei Drop.

• Re-Training-Trigger.

Data-Drift

• Statistische Tests (KS-Test, PSI).

• Input-Verteilung über Zeit.

• Pro Feature.

• Früh-Warnsignal.

• Tools: Evidently, NannyML.

Concept-Drift

1. Beziehung Input-Output verändert.

2. Vorhersage-Distribution.

3. Performance-Drop ohne Daten-Drift.

4. Re-Training-Bedarf.

5. Schwerer zu erkennen.

Operationale Metrics

• Latenz (P50, P95, P99).

• Throughput.

• Cost-per-Inference.

• Error-Rate.

• Availability.

Tools

• Evidently AI: Open-Source.

• Arize, Fiddler: Enterprise.

• WhyLabs.

• Helicone, Langfuse für LLMs.

• MLflow + Custom-Dashboard.

EU-AI-Act

1. Hoch-Risiko: Logging Pflicht.

2. Performance-Monitoring Pflicht.

3. Vorfall-Meldung an Behörde.

4. Bias-Monitoring.

5. Audit-Trail.

Anti-Patterns

• Monitoring nicht eingerichtet.

• Alarme ohne Aktion.

• Pro Modell separate Sicht.

• Drift-Tests nur einmal.

• EU-AI-Act-Pflichten ignoriert.