Glossaire IA · Modèles
Modèle multimodal
En une phrase
Un modèle multimodal est un modèle d'IA capable de recevoir ou de produire plusieurs types de données, comme du texte, des images, du son ou de la vidéo, et de les relier entre eux. Il peut par exemple lire la photo d'une facture et répondre à des questions dessus.
Autres noms: IA multimodale · modèle de langage multimodal · MLLM · multimodal AI
Qu’est-ce qu’un modèle multimodal ?
Une « modalité », c’est un type de donnée : texte, image, son, vidéo. Les premiers LLM ne traitaient que du texte. Un modèle multimodal en ajoute d’autres et, surtout, les relie : il comprend que « la tache dans le coin » désigne une zone précise de la photo que vous venez d’envoyer.
Passez à la pratique
Des agents IA pour répondre à vos clients
Dès 49 €/mois + TVA
Voix, WhatsApp et e-mail avec la ligne incluse : agent, numéros et CRM dans le même abonnement.
Voir les tarifsIl existe des modèles multimodaux en entrée, qui reçoivent des images ou de l’audio et répondent par écrit, et d’autres qui génèrent aussi de l’image ou de la voix. Plusieurs familles connues, comme les versions récentes de GPT ou de Gemini, proposent ce type de capacités, avec des différences d’une version à l’autre.
En lien avec ce terme
Agents UTIO
- Disponibles 24h/24 en 26 langues
- Le monter vous-même : 0 €, à partir de votre site
- 14 jours d'essai sans carte
Dès 49 €/mois + TVA
Voir les tarifsComment ça marche
Le principe consiste à ramener toutes les modalités à une même « langue » interne faite de nombres :
- Encoder. Un composant spécialisé transforme chaque image ou extrait audio en une suite de vecteurs, comparables aux tokens du texte.
- Mélanger. Ces vecteurs entrent dans le modèle avec le texte, et le mécanisme d’attention du transformer les met en relation.
- Répondre. Le modèle produit du texte et, s’il est conçu pour, de l’image ou du son.
Pour y parvenir, il est entraîné sur de nombreux exemples appariés : des photos avec leur légende, des enregistrements avec leur transcription.
Exemple
Un petit cabinet de courtage en assurance de Tours reçoit des déclarations de sinistre par WhatsApp : une photo de la carrosserie abîmée, un message vocal racontant l’accident et parfois la photo du constat amiable rempli à la main.
Un système multimodal peut décrire les dégâts visibles, transcrire et résumer le message vocal, et extraire du constat les informations des conducteurs. Le gestionnaire reçoit un dossier ordonné plutôt que cinq fichiers épars. L’évaluation finale lui revient : le modèle prépare, il ne fixe pas l’indemnisation.
Ce que cela change pour votre entreprise
Vos clients n’écrivent pas seulement : ils envoient des photos, des messages vocaux, des documents scannés. Un système capable de lire plusieurs formats évite de tout retranscrire à la main.
Chez UTIO, ces capacités sont proposées séparément, avec une seule clé, dans l’API d’IA : transcription audio, synthèse vocale, texte, image, OCR pour les documents scannés et embeddings. Vous les combinez comme des briques. L’agent vocal suit la même logique de chaîne : il transcrit ce que dit votre client, le traite avec un modèle de langage et répond avec une voix de synthèse.
Questions fréquentes
Quelle différence entre un modèle multimodal et plusieurs modèles enchaînés ?
Un modèle multimodal traite les différents types de données au sein d'un seul modèle. L'alternative consiste à enchaîner des modèles spécialisés : l'un transcrit l'audio, un autre raisonne sur le texte, un troisième produit la voix. Les deux approches se valent ; la chaîne permet de choisir la meilleure brique à chaque étape.
Un modèle multimodal peut-il regarder une vidéo ?
Certains le peuvent, en général en analysant des images extraites de la vidéo avec la piste audio. Les capacités varient beaucoup selon les modèles et les versions : vérifiez les formats acceptés dans la documentation de chacun.
Termes associés
- LLM
Un LLM (large language model, grand modèle de langage) est un modèle d'IA entraîné sur d'immenses volumes de texte pour prédire le mot suivant. Cette capacité lui permet de rédiger, résumer, traduire, classer et converser.
- Vision par ordinateur
La vision par ordinateur est la branche de l'IA qui permet à un système d'interpréter images et vidéos : reconnaître des objets, lire du texte, détecter des défauts ou décrire une scène. Elle repose surtout sur des réseaux de neurones entraînés sur de nombreuses images.
- Speech to text
Le speech to text (STT) est la technologie qui convertit la parole en texte écrit. C'est la brique logicielle, en général un modèle accessible par API, qui « écoute » dans un voicebot, une dictée ou un outil de transcription, en temps réel ou sur des enregistrements.
- OCR
L'OCR (reconnaissance optique de caractères) est la technologie qui convertit le texte présent dans une image, un PDF scanné ou une photo en texte numérique modifiable, consultable et exploitable. Avec l'IA, il comprend aussi la structure du document.
- GPT
GPT (generative pre-trained transformer) désigne la famille de modèles de langage d'OpenAI. Le nom résume leur fonctionnement : ils génèrent du texte, sont pré-entraînés sur d'énormes volumes de données et reposent sur l'architecture transformer.
Mis à jour le