Welche Metriken nutze ich für KI-Modell-Evaluation?

Klassifikations-Metriken

• Accuracy: % korrekt.

• Precision: True-Pos / (True-Pos + False-Pos).

• Recall: True-Pos / (True-Pos + False-Neg).

• F1: harmonic mean Precision + Recall.

• AUC: Area Under Curve.

• Pro Use-Case andere Wichtung.

Regressions-Metriken

• MAE: Mean Absolute Error.

• RMSE: Root Mean Squared Error.

• R-Squared: erklarte Varianz.

• MAPE: Mean Absolute Percentage Error.

• Pro Use-Case interpretierbar machen.

Generative-Metriken

1. BLEU: Übersetzungs-Qualität.

2. ROUGE: Zusammenfassungs-Qualität.

3. Perplexity: Sprach-Modell-Qualität.

4. Human-Eval: am wichtigsten, aber teuer.

5. LLM-as-Judge (GPT-4 bewertet andere LLM-Output).

Operationale Metriken

• Latenz (P50, P95, P99).

• Cost-per-Token oder Cost-per-Inference.

• Throughput.

• Availability.

• Error-Rate.

Bias-Metriken

• Demografische Parität.

• Equalized Odds.

• Counterfactual Fairness.

• Disparate Impact Ratio.

• Pro geschuetztem Merkmal.

Production-Monitoring

1. Drift-Detection (Daten + Modell).

2. Anomalien.

3. Performance-Trends.

4. Bias-Tracking.

5. Alarme bei Schwellwerten.

Tools

• MLflow für Tracking.

• Weights & Biases.

• Evidently AI für Drift.

• Helicone, Langfuse für LLM-Monitoring.

• Custom-Dashboards.

Anti-Patterns

• Nur Accuracy.

• Test-Set überfittet.

• Production-Monitoring fehlt.

• Bias-Tests skippt.

• Human-Eval als Default.