Welche LLM-Benchmarks sind aussagekräftig?

Sechs Benchmarks

1. MMLU: Wissen.

2. HumanEval: Code.

3. HellaSwag: Common Sense.

4. GSM8K: Mathe.

5. TruthfulQA: Halluzination.

6. MT-Bench: Chat.

Pro Benchmark

• MMLU: 57 Themen, 14k Fragen.

• HumanEval: 164 Python-Coding-Probleme.

• GSM8K: 8.5k Grundschul-Mathe.

• TruthfulQA: 817 Fragen mit Verifikations-Bedarf.

• MT-Bench: 80 Multi-Turn-Konversationen.

Limitierungen

• Benchmark-Tuning durch Anbieter.

• Overfitting.

• Nicht repräsentativ pro Use-Case.

• Englisch-fokussiert.

• Manipulation möglich.

Anti-Patterns

• Nur 1 Benchmark.

• Eigene Tests vergessen.

• Public-Benchmark als allein-Entscheidung.

• Branchen-Spezifika ignoriert.

• Test-Set-Contamination.