Multimodale KI bezieht sich auf Systeme und KI-Assistenten, die mehrere Arten von Daten (wie Text, Bild und Audio) gleichzeitig verarbeiten und miteinander verknüpfen können. Diese Fähigkeit ermöglicht es der KI, umfassendere und kontextreichere Analysen durchzuführen.

Durch die Integration dieser unterschiedlichen Modalitäten kann multimodale KI komplexe Aufgaben besser bewältigen, wie das Erkennen von Objekten in Bildern und das Verstehen von dazugehörigem Text oder das Generieren von Beschreibungen für visuelle Inhalte. Die meisten KI-Assistenten, die heute auf dem Markt sind, sind multimodal und können sowohl Text- als auch Bildinformationen verarbeiten. So können sie beispielsweise Bilder analysieren und dazu passende Textantworten generieren. Zum Beispiel kann ein multimodaler KI-Assistent ein Bild eines Hundes analysieren und die Rasse des Hundes identifizieren, eine Beschreibung des Bildes generieren und zusätzliche Informationen über Hunde bereitstellen.