Wie evaluiere ich Prompt-Qualität?

Drei Schritte

1. Test-Set mit Ground-Truth.

2. Output-Bewertung.

3. Iteratives Prompt-Tuning.

Test-Set

• 10-50 repräsentative Beispiele.

• Mit erwarteten Outputs.

• Edge-Cases einbezogen.

• Pro Use-Case eigenes Set.

• Aktualisierung mit Erfahrungen.

Output-Bewertung

• Manuell: hochwertig, langsam.

• LLM-as-Judge: skalierbar, weniger präzise.

• Hybrid empfohlen.

• Pro Kriterium Score.

• Vergleich zwischen Prompts.

KPIs

1. Accuracy: korrekt vs Ground-Truth.

2. Format-Konformität (JSON, Markdown).

3. Stil + Tonalität.

4. Latenz.

5. Cost-per-Inference.

Tools

• PromptFoo: Open-Source.

• LangSmith: LangChain-Integration.

• Helicone: Monitoring + Eval.

• Braintrust: Production-Eval.

• Custom Python-Scripts.

Iteration

1. Prompt-Variation testen.

2. Beste Version wählen.

3. Nächste Iteration.

4. Versionierung Pflicht.

5. A/B-Test in Production.

Anti-Patterns

• Prompt ohne Test.

• Bewertung subjektiv ohne Daten.

• Pro Use-Case kein eigenes Test-Set.

• Production-A/B nie.

• Versionierung fehlt.