Wie setze ich Marketing-Experimente sauber auf?

Schritt 1: Hypothese

• Spezifisch: 'Wenn wir X ändern, dann wird Y um Z % steigen weil ...'

• Messbar.

• Falsifizierbar.

• Pro Test 1 Hypothese.

• Verbindung zu Strategie.

Schritt 2: Metriken

1. Primaer-Metrik (Haupt-KPI).

2. Sekundaer-Metriken (Kontext).

3. Guardrail-Metriken (was darf nicht schlechter werden).

4. Pro Variante eindeutig erhebbar.

5. Klar definiert (was zaehlt als Conversion).

Schritt 3: Sample-Size

• Power-Analyse mit G*Power oder Online-Tool.

• Input: Baseline-Rate, gewünschte Effect-Size, Signifikanz-Niveau (0.05), Power (0.80).

• Output: Mindest-Stichproben-Größe pro Variante.

• Realistisch: Wie lange dauert das?

• Bei zu wenig Traffic: Test nicht sinnvoll.

Schritt 4: Randomisierung

1. Zufaellige Zuteilung zu Varianten.

2. User-ID-basiert konsistent.

3. Pro Session bei anonymen Tests.

4. Stichproben-Balance prüfen.

5. Keine Selektions-Verzerrung.

Schritt 5: Test laufen lassen

• Bis Sample-Size erreicht - nicht früher beenden.

• Peeking-Problem: vorzeitiges Aussteigen verfaelscht.

• Sequential-Tests für ehrliches Früh-Stoppen.

• Test-Dauer mind. 1-2 Wochen (Saisonalität).

• Pro Variante 50/50 oder gewichtet.

Schritt 6: Auswertung

1. P-Wert berechnen.

2. Effect-Size (relativ + absolut).

3. Konfidenz-Intervall.

4. Sub-Gruppen-Analyse (Vorsicht: Multiple-Testing).

5. Guardrails prüfen.

6. Entscheidung treffen.

Multi-Variate-Tests (MVT)

• Mehrere Variablen gleichzeitig.

• Faktorielles Design.

• Braucht höheren Traffic.

• Interaktions-Effekte sichtbar.

• Komplexere Auswertung.

Tools

• Google Optimize (eingestellt 2023, Alternative: GA4-Native).

• Optimizely.

• VWO (Visual Website Optimizer).

• AB Tasty.

• Eigene Implementierung mit Statsig oder LaunchDarkly.

Praxis-Cadence

1. Backlog mit Hypothesen.

2. Quartalsweise 3-5 Tests parallel.

3. Pro Test Owner + Deadlines.

4. Lessons-Learned dokumentieren.

5. Auf Verlauf bauen.

Anti-Patterns

• Test ohne Sample-Size-Berechnung.

• Vorzeitiges Beenden bei vermeintlicher Signifikanz (Peeking).

• Multiple Tests parallel auf gleicher User-Gruppe - Wechselwirkung.

• Sub-Gruppen-Hunting bis Signifikanz gefunden.

• Erfolg nicht in Produktion implementiert.