Wann nutze ich Multi-Modal-Modelle (Text + Bild + Video)?

Was Multimodalität genau bedeutet und wie sich native von modularer Verarbeitung unterscheidet, erklärt der Glossareintrag Multimodalität.

Use-Cases

1. Dokument-Analyse mit Bildern.

2. Video-Verständnis.

3. Voice-Assistents.

4. Visual-Search.

5. Accessibility (Bilder-Beschreibung).

6. Multi-Modal-Chat.

Modelle

• GPT-4o: Bild + Sprach.

• Gemini-Ultra: stark in Multi-Modal.

• Claude Sonnet 3.5+: Bild + Text.

• Open-Source: LLaVA, IDEFICS.

• Pro Use-Case andere Stärken.

Dokument-Analyse

• PDFs mit Bildern.

• Tabellen-Extraktion.

• Diagramme verstehen.

• Schätzungen mit Sicherheit.

• Aufwand: niedriger als OCR + separate LLM.

Video-Verständnis

1. Frame-Sampling.

2. Audio-Transkription.

3. Inhalts-Analyse.

4. Highlights-Extraktion.

5. Untertitel-Generierung.

Risiken

• Halluzination in Bild-Beschreibung.

• Bias bei Personen-Erkennung.

• Datenschutz (Gesichts-Daten).

• EU-AI-Act-Pflichten (Emotion-Erkennung verboten am Arbeitsplatz).

• Cost-Explosion bei Video.

Best Practices

• Pro Use-Case Test.

• Mensch-Prüfung.

• Datenschutz prüfen.

• Cost-Tracking.

• EU-AI-Act-Konformität.

Anti-Patterns

• Multi-Modal für einfache Text-Aufgabe.

• Datenschutz ignoriert.

• Halluzination nicht beachtet.

• Cost-Tracking fehlt.

• Emotion-Erkennung am Arbeitsplatz.