Wie nutze ich LLM-as-Judge für Evaluation?

Was LLM-as-Judge

LLM bewertet Output anderes LLM. Standard-Praxis seit 2023+ in LLM-Eval-Pipelines. Schnell + skalierbar, aber mit Caveats.

Vorteile

• Skalierbar (1000+ Bewertungen/h).

• Schneller als Mensch.

• Billiger.

• Konsistent (gleich pro Run).

• Gut für Stil + Form.

Nachteile

• Bias (Judge stimmt mit selbst LLM überein).

• Weniger präzise als Mensch.

• Pro Bewertungs-Typ angepasst werden.

• Subjektive Themen schwer.

• Halluzination im Judge.

Best Practices

1. Präziser Bewertungs-Prompt mit Kriterien.

2. Score (1-5 oder 1-10) + Begründung.

3. Pair-Wise (A vs B) besser als Absolut.

4. Mehrere Judges (Ensemble).

5. Mensch für kritische Cases.

Pair-Wise

• Vergleich Output A vs B.

• Win-Rate.

• Stabiler als absolute Skala.

• Bei Modell-Vergleich Standard.

• Tools: PromptFoo, Braintrust.

Tools

• LangSmith.

• Braintrust.

• Helicone.

• Custom Python.

• OpenAI-Evals-Framework.

Anti-Patterns

• Selbe LLM-Familie als Judge (Bias).

• Kein Prüfung der Judge-Qualität.

• Mensch komplett ersetzt.

• Bewertungs-Prompt vage.

• Kein Test-Set für Judge selbst.