Wie erkennst du fehlerhafte Daten?

Fehlende Werte und Ausreißer

Fehlende Werte (NULL, leer): pro Spalte Anteil prüfen. Wenn >5% fehlen, prüfen warum. Imputation (auffüllen) oder Ausschluss als Strategie. Ausreißer: Werte deutlich außerhalb der Verteilung (z.B. Alter 250). Boxplot oder Z-Score (>3 Standardabweichungen) hilft beim Identifizieren. Manchmal echt, manchmal Fehler.

Duplikate und Inkonsistenzen

Duplikate: identische Datensätze, oft durch Daten-Import-Fehler. Erkennen via Distinct-Counts. Inkonsistenzen: „Berlin“ / „berlin“ / „Berlin/D“, alle meinen das gleiche, werden aber als verschieden behandelt. Normalisierung nötig: einheitliche Schreibweise, Mapping-Tabellen, Fuzzy-Matching für ähnliche Strings.

Falsche Datentypen

Zahlen als Text gespeichert (häufig nach Excel-Import). „1.000“ wird als Text gelesen, statt als Zahl 1000. Datumsfelder im falschen Format (deutsch vs. US). Boolean als 0/1 oder True/False uneinheitlich. Pro Spalte Datentyp explizit prüfen und konvertieren. Spätere Berechnungen scheitern sonst still.

Profiling als Standard-Prozess

Vor jeder Analyse: Profiling-Bericht erstellen. Pro Spalte: Datentyp, Anzahl Nulls, Min/Max/Mean/Median, Top-Werte, Verteilung. Tools: pandas.describe() in Python, PROFILER in R, Power Query in Excel, dedizierte Tools wie OpenRefine. 15 Minuten Profiling sparen oft Stunden Korrektur später.