Wann lohnt sich Self-Hosting von LLM-Modellen?

Wann Self-Hosting

• Hohes Volumen (>1 Mio Tokens/Tag).

• Sensitive Daten (HR, Health, Recht).

• Customization (Fine-Tuning) wichtig.

• Latenz < 100 ms.

• Kosten-Optimierung bei Volumen.

Wann nicht

• Niedrig-Volumen.

• Cutting-Edge-Modell-Bedarf.

• Kein MLOps-Skill intern.

• Variable Last.

• Schneller Time-to-Market.

Open-Weight-Optionen

1. Llama 3 (Meta).

2. Mistral + Mixtral (FR).

3. DeepSeek-V3 + R1 (CN).

4. Phi (Microsoft).

5. Gemma (Google).

6. Qwen (Alibaba).

Infrastruktur

• Cloud-GPUs: AWS, Azure, GCP, Lambda-Labs, Coreweave.

• On-Premise: NVIDIA H100/H200/B100.

• Inference-Tools: vLLM, TGI, Ollama.

• Orchestration: Kubernetes, Ray.

• Monitoring: Langfuse, Helicone.

Kosten-Vergleich

• API: USD pro Million Tokens.

• Self-Hosted GPU: Stundensatz * Auslastung.

• Break-Even oft 100k-1M Tokens pro Tag.

• Plus Personal-Kosten.

Anti-Patterns

• Self-Host ohne MLOps-Skill.

• Self-Host bei niedrig-Volumen.

• Top-Modelle erwartet ohne Prüfung.

• Updates manuell ohne CI.

• Cost-Tracking fehlt.