Welche Grenzen haben aktuelle LLMs?

Sechs Grenzen

1. Halluzination.

2. Reasoning-Schwäche.

3. Bias.

4. Context-Window-Limits.

5. Echtzeit-Daten.

6. Compute-Cost.

Halluzination

• Erfundene Fakten + Quellen.

• Selbstbewusst falsch.

• Pro Modell andere Quote.

• Mitigation: RAG, Source-Attribution.

• Faktcheck Pflicht.

Reasoning

• Multi-Step-Probleme schwer.

• Mathematik nicht 100 %.

• Logische Schleifen.

• Verbesserungen: o3, Claude mit Extended-Thinking.

• Aber: Standard-LLMs schwach.

Bias

1. Aus Trainings-Daten übernommen.

2. Gender + Cultural-Bias.

3. Westliche Sicht dominiert.

4. Mitigation: RLHF, Fine-Tuning.

5. Aber: Bias bleibt.

Context-Window

• Aktuell 128k-2M Tokens.

• Wachsend.

• Aber: long-context Aufmerksamkeit schwach (Lost-in-the-Middle).

• Lange Dokumente brauchen Chunking + RAG.

• Cost steigt mit Context.

Echtzeit-Daten

• Trainings-Cutoff (oft 6-12 Monate alt).

• RAG + Web-Search als Workaround.

• Latest News + Trends fehlen.

• Pflicht: Quellen-Check.

• Real-Time-APIs notwendig.

Compute-Cost

1. Top-Modelle teuer.

2. Skalierung kostet.

3. Open-Weight billiger aber schwächer.

4. Self-Hosting bei Volumen.

5. Cost-Tracking Pflicht.

Anti-Patterns

• Blindes Vertrauen.

• Source-Check skippt.

• Bei kritischen Entscheidungen LLM allein.

• Cost ignoriert.

• Kontext-Window-Limits nicht beachtet.