Multimodalität
Multimodalität bezeichnet die Fähigkeit eines KI-Modells, mehrere Datenformate wie Text, Bild, Ton oder Video zu verarbeiten und aufeinander zu beziehen. Welche Formate ein Modell einlesen oder erzeugen kann, hängt vom jeweiligen Modell ab.
Lädst du ein Foto in einen Chat, behandelt ein multimodales Modell es ähnlich wie Text. Laut Lehrgang zerlegt es das Bild in Muster wie Farbflächen, Kanten und Formen und übersetzt diese in Zahlenreihen, also Embeddings. Weil dasselbe Verfahren auch Wörter übersetzt, landen das Foto eines Hundes und das Wort „Hund“ im Bedeutungsraum nah beieinander. Deshalb erkennt das Modell den Zusammenhang, auch wenn du ihn nicht eigens benennst.
Native und modulare Verarbeitung
Der Lehrgang unterscheidet zwei Bauweisen. Nativ heißt: Ein Modell nimmt Bild, Ton und Text selbst auf und bildet alles im selben Bedeutungsraum ab. So kann es auch Zwischentöne erfassen, etwa einen ironischen Tonfall oder die Anordnung von Elementen auf einem Bild. Modular heißt: Mehrere Spezialsysteme arbeiten nacheinander, typischerweise wandelt eines Sprache in Text um, und ein Sprachmodell verarbeitet danach nur noch diesen Text. Was beim Umwandeln nicht in Text übersetzt wird, fehlt im nächsten Schritt, zum Beispiel die Ironie in einer Stimme.
Abgrenzung
Dieser Eintrag erklärt nur den Begriff. Für welche Aufgaben multimodale Modelle in der Praxis taugen und welche Risiken dabei zu beachten sind, behandelt der Beitrag Wann nutze ich Multi-Modal-Modelle?
Beispiele aus der Praxis
Beispiel aus dem Lehrgang · Video mit Mimik: Ein Modell, das Video direkt verarbeitet, kann Gesichtsausdrücke einbeziehen. Bekommt das nachgeschaltete Sprachmodell nur die transkribierten Worte, können solche Signale fehlen.
Beispiel aus dem Lehrgang · Podcast mit Ironie: Ein Modell mit direkter Audioverarbeitung kann Betonung berücksichtigen. Erhält das nachgeschaltete Sprachmodell ausschließlich ein Transkript ohne zusätzliche Hinweise, können solche Signale fehlen, etwa ein sarkastischer Unterton.
Solche Begriffe sicher anwenden — im IHK-Lehrgang
„Multimodalität" ist einer von 9 Schlüsselbegriffen, die wir im Manager-Lehrgang in praxisnahen Modulen vertiefen. Hol dir das offizielle IHK-Zertifikat.
Kostenlos testenthekey.academy ist eine deutsche Online-Lernplattform für IHK-zertifizierte berufliche Weiterbildung — 24 Lehrgänge zu KI, Führung, Resilienz, Marketing und HR. 100 % online, self-paced, mit IHK-Zertifikat.