Wann nutze ich APIs vs Webscraping für Daten-Sammlung?

APIs (Application Programming Interface)

Strukturierte Daten-Zugriffs-Schnittstelle. Provider stellt sie absichtlich bereit. Format meist JSON oder XML. Authentifizierung via API-Key.

Vorteile von APIs

• Stabile Struktur: änderungen werden angekündigt + versioniert (v1, v2).

• Dokumentation vorhanden: was kann ich abrufen + wie.

• Rechtlich klar: Provider stellt sie bereit, Nutzung erlaubt.

• Performance: optimiert für Daten-Abruf.

• Authentifizierung + Rate-Limits: kontrolliert.

Bekannte APIs

• OpenWeatherMap: Wetterdaten.

• Spotify, YouTube: Music + Video-Metadaten.

• Stripe, PayPal: Payments.

• Twitter/X, LinkedIn: Social Media (heute teurer).

• GitHub: Code-Repos.

Webscraping

Daten aus HTML-Seiten extrahieren. Tools: Python (Beautiful Soup, Scrapy), JavaScript (Puppeteer, Playwright), No-Code (Octoparse, ParseHub).

Wann Webscraping nötig

• Provider hat keine API.

• API existiert aber ist limitiert auf bestimmte Felder.

• API kostet zu viel für Anwendungsfall.

Nachteile von Webscraping

• Fragile: HTML-Struktur ändert sich, Scraper bricht.

• Rechtlich problematisch: oft gegen ToS. Bei personenbezogenen Daten DSGVO-Risiko.

• Performance: langsamer + ineffizienter als API.

• Bot-Detection: Cloudflare, hCaptcha blockieren zunehmend.

Rechtliche Lage in Deutschland

Drei Bereiche kritisch:

• Personenbezogene Daten: DSGVO greift, Einwilligung erforderlich. Beispiel: LinkedIn-Profile scrapen = sehr risikoreich.

• Login-geschuetzte Inhalte: scraping nach Login ist meist Vertragsverletzung (Hausrecht-Verstoss).

• Daten-Konkurrenz: wer Daten-Anbieter scraped um Konkurrenz-Produkt zu bauen, riskiert Unterlassungsklage (BGH 2017).

Beste Praxis

1. Check: gibt es API? Erste Anlaufstelle: Provider-Webseite (Footer 'Developers' / 'API').

2. Robots.txt prüfen: was darf gescraped werden? Eindeutige Disallow-Eintrage respektieren.

3. ToS lesen: Webscraping-Erlaubt-Klauseln prüfen.

4. Rate-Limits respektieren: nicht 1000 Requests/Sek - DDOS-Verdacht.

5. User-Agent identifizieren: nicht als Browser tarnen (rechtlich besser).

Tools

• Python: requests + Beautiful Soup (statisch), Playwright (mit JavaScript).

• No-Code: Octoparse, ParseHub, Bright Data.

• Cloud-Services: ScraperAPI, ScrapingBee (handhabt Bot-Detection).