Modelo multimodal

¿Qué es un modelo multimodal?

«Modalidad» es cada tipo de dato: texto, imagen, audio, vídeo. Los primeros LLM solo trabajaban con texto. Un modelo multimodal añade otras modalidades y, lo más importante, las conecta: entiende que la frase «la mancha de la esquina» se refiere a una zona concreta de la foto que le acabas de enviar.

Hay modelos multimodales de entrada, que reciben imágenes o audio y responden con texto, y otros que además generan imagen o voz. Varias familias conocidas, como las versiones recientes de GPT o Gemini, ofrecen este tipo de capacidades, con diferencias entre versiones.

Cómo funciona

La idea de fondo es llevar todas las modalidades a un mismo «idioma» interno de números:

1. Codificar. Un componente especializado convierte cada imagen o fragmento de audio en una secuencia de vectores, parecida a los tokens de texto.
2. Mezclar. Esos vectores entran en el modelo junto con el texto, y el mecanismo de atención del transformer los relaciona entre sí.
3. Responder. El modelo genera texto y, si está preparado para ello, también imagen o audio.

Para que funcione, el modelo se entrena con muchos ejemplos emparejados: fotos con su descripción, audios con su transcripción.

Ejemplo

Una aseguradora pequeña de Valladolid recibe partes de siniestro por WhatsApp: una foto del golpe en el coche, una nota de voz explicando qué pasó y, a veces, una foto del parte amistoso rellenado a mano.

Un sistema multimodal puede describir los daños visibles en la foto, transcribir y resumir la nota de voz y extraer de la imagen del parte los datos de los conductores. El tramitador recibe un expediente ordenado en lugar de cinco archivos sueltos. La valoración final sigue siendo suya: el modelo ayuda a preparar, no decide la indemnización.

Cómo te afecta en tu empresa

Tus clientes no solo escriben: mandan fotos, audios y documentos escaneados. Un sistema que entienda varios formatos ahorra el paso manual de pasarlo todo a texto.

En UTIO esas capacidades se ofrecen por separado y con una sola clave en el API de IA: transcripción de audio, texto a voz, texto, imagen, OCR para documentos escaneados y embeddings. Puedes combinarlas como piezas. El agente de voz sigue esa misma lógica de cadena: transcribe lo que dice tu cliente, lo procesa con un modelo de lenguaje y responde con voz sintética.