Data Lake (vs. Data Warehouse)
Ein zentraler Speicher für ROHDATEN beliebigen Formats (CSV, JSON, Bilder, Logs, Parquet), ohne vorherige Strukturierung. Im Gegensatz: Data Warehouse speichert STRUKTURIERTE, gereinigte Daten in Tabellenform für Reporting. Begriff geprägt 2010 von James Dixon (Pentaho).
Ein Data Lake nimmt Daten so auf, wie sie kommen. Logs, Sensor-Daten, Excel-Exports, PDFs, Videos. „Schema on read“: erst beim Auswerten wird Struktur festgelegt. Vorteil: schnell, billig, alles drin. Nachteil: ohne Disziplin wird der Lake zum „Data Swamp“, niemand weiß mehr, was wo liegt.
Data Lake vs. Data Warehouse
Lake: roh, alle Formate, „Schema on read“, günstig (S3, Azure Blob, GCS), für Data Science und Exploration. Warehouse: strukturiert, Tabellen, „Schema on write“, teurer Compute (BigQuery, Snowflake, Redshift), für BI und Reporting. Moderne Architektur kombiniert beides als „Lakehouse“ (Databricks-Begriff). Roh-Layer im Lake, strukturierte Layer obendrauf.
Typische Layer (Medallion)
Databricks-Pattern: Bronze (Rohdaten), Silver (bereinigt, dedupliziert, typisiert), Gold (aggregiert, business-ready). Jede Stufe ist nachvollziehbar transformiert. BI-Tools lesen Gold, Data Scientists meist Silver.
Wann lohnt ein Data Lake im KMU?
Selten. Für KMUs reicht ein Cloud Warehouse (BigQuery ab ~5 €/Monat). Data Lake macht Sinn, wenn: viele unstrukturierte Daten (Logs, Bilder, ML-Trainingsdaten), >10 Mio. Events/Tag, oder regulatorische Pflicht zur Rohdaten-Archivierung.
Beispiele aus der Praxis
Beispiel E-Commerce: Clickstream-Events (50 Mio./Tag) als JSON in S3 Bronze. Hourly Spark-Job typisiert und dedupliziert nach Silver. Daily-Aggregation zu „Conversion pro Kanal pro Stunde“ in Gold/BigQuery. BI-Dashboard liest Gold, Data Science trainiert Recommender auf Silver.
Beispiel Produktion: Sensor-Daten von 200 Maschinen (1 Hz, Temperatur, Druck, Vibration) → Azure Data Lake. Predictive Maintenance trainiert auf Lake-Daten, ERP-Berichte lesen aggregierte KPIs aus dem Warehouse-Layer.
:quality(85))
Solche Begriffe sicher anwenden — im IHK-Lehrgang
„Data Lake (vs. Data Warehouse)" ist einer von 9 Schlüsselbegriffen, die wir im Manager-Lehrgang in praxisnahen Modulen vertiefen. Hol dir das offizielle IHK-Zertifikat.
Kostenlos testenthekey.academy ist eine deutsche Online-Lernplattform für IHK-zertifizierte berufliche Weiterbildung — 25 Lehrgänge zu KI, Führung, Resilienz, Marketing und HR. 100 % online, self-paced, mit IHK-Zertifikat.