Welche Best-Practices für ML-Daten-Vorbereitung?

Sechs Schritte

1. Daten-Sammlung.

2. Cleaning.

3. Feature-Engineering.

4. Encoding + Normalisierung.

5. Train/Val/Test-Split.

6. Daten-Augmentation.

Sammlung

• Quellen identifizieren.

• Volumen prüfen.

• Daten-Schutz.

• Lizenz prüfen.

• Aktualitaet.

Cleaning

• Missing-Values (Imputation, Drop).

• Outliers (Box-Plot, Z-Score).

• Duplicates entfernen.

• Format-Konsistenz.

• Bias-Prüfung.

Feature-Engineering

1. Domain-Wissen einbringen.

2. Derived-Features.

3. Interaktions-Terms.

4. Datum-Extraktion (Wochentag, Monat).

5. Text-Features (TF-IDF, Embeddings).

Encoding

• One-Hot, Label, Target-Encoding.

• Numerische Normalisierung (Standard, Min-Max).

• Skalierung pro Algorithmus.

• Test-Set gleich behandeln.

• Pipeline mit Scikit-learn.

Split

• 70/15/15 oder 80/10/10.

• Stratifiziert bei Klassifikation.

• Zeitlich getrennt bei Time-Series.

• Test-Set isoliert.

• Data-Leakage vermeiden.

Augmentation

1. Bei kleiner Stichprobe.

2. Image: Rotation, Crop, Flip.

3. Text: Synonyme, Translation.

4. Synthetic-Data (SMOTE bei Imbalance).

5. Vorsicht: Verzerrung möglich.

Anti-Patterns

• Daten unbedacht.

• Test-Set überfittet.

• Data-Leakage.

• Bias ignoriert.

• Encoding inkonsistent zwischen Train + Test.