Wie baue ich ein gutes Test-Set für ML-Modelle?
Drei Schichten
Train (70 %): Modell-Training.
Validation (15 %): Hyperparameter-Tuning.
Test (15 %): finale Bewertung.
Test-Set Pflichten
Strikt isoliert.
Nur für finale Bewertung.
Nicht für Tuning.
Bei Änderung Modell: separate Validierung.
Pro Modell-Version eigenes Test-Set.
Zeitlich getrennt
Train: alte Daten.
Test: neueste Daten.
Simuliert Produktions-Bedingung.
Standard bei Time-Series.
Erkennt Drift.
Out-of-Distribution (OOD)
Daten ausserhalb Trainings-Bereich.
Edge-Cases.
Adversarial Examples.
Real-World-Bedingungen.
Prüfung Robustheit.
Edge-Case-Set
Schwierigste Fälle.
Bias-Tests.
Spezial-Szenarien.
Quartalsweise prüfen.
Manual-Curated.
Tools
Scikit-learn: train_test_split.
TensorFlow Data API.
PyTorch DataLoader.
Weights & Biases für Tracking.
MLflow für Versions.
Anti-Patterns
Test-Set für Tuning genutzt (Data-Leakage).
Zu kleines Test-Set.
Kein zeitlich getrenntes Set.
Kein OOD-Test.
Test-Set einmal, nie aktualisiert.
:quality(85))
thekey.academy ist eine deutsche Online-Lernplattform für IHK-zertifizierte berufliche Weiterbildung — 25 Lehrgänge zu KI, Führung, Resilienz, Marketing und HR. 100 % online, self-paced, mit IHK-Zertifikat.
:quality(85)){kind=logo}