Glosario de IA · Modelos
Transformer
En una frase
Un transformer es una arquitectura de red neuronal que procesa todas las palabras de un texto a la vez y usa un mecanismo de atención para decidir qué partes se relacionan entre sí. Es la base de casi todos los modelos de lenguaje actuales.
También se llama: arquitectura transformer · modelo transformer · transformador · red transformer
¿Qué es un transformer?
Antes del transformer, los modelos de lenguaje leían el texto palabra a palabra, de izquierda a derecha, y arrastraban un resumen de lo leído. En frases largas olvidaban el principio. Además, como el trabajo era secuencial, entrenarlos con muchos datos era lento.
Llévalo a tu empresa
Agentes de IA para atender a tus clientes
Desde 49 €/mes + IVA
Voz, WhatsApp y email con la línea incluida: agente, números y CRM en la misma cuota.
Ver planes y preciosEl transformer cambió las dos cosas. Mira el texto entero a la vez y, para cada palabra, calcula cuánto debe fijarse en cada una de las demás. Ese cálculo se llama atención. En «El cliente llamó al taller porque su coche no arrancaba», la atención ayuda a ligar «su» con «cliente» y no con «taller».
Como todas las posiciones se procesan en paralelo, se puede entrenar con volúmenes de texto enormes en tarjetas gráficas. Ahí está el origen de los LLM actuales y de familias como GPT.
Relacionado con este término
Agentes UTIO
- Atienden 24/7 en 26 idiomas
- Montarlo tú cuesta 0 €: se crea leyendo tu web
- Prueba de 14 días sin tarjeta
Desde 49 €/mes + IVA
Ver planes y preciosCómo funciona
De forma simplificada, un transformer hace esto:
- Convierte cada token en un vector de números y le añade información sobre su posición en la frase.
- Aplica atención: cada token mira a los demás y toma de ellos la información relevante. Lo hace varias veces en paralelo («atención multicabeza»), así capta relaciones distintas a la vez.
- Repite el proceso en muchas capas apiladas. Las primeras capturan relaciones simples; las últimas, significados más abstractos.
- Produce una probabilidad para cada posible token siguiente.
El diseño original tenía dos partes, un codificador y un decodificador, pensadas para traducir. Los modelos generativos de hoy suelen usar solo el decodificador. Variantes como mixture of experts modifican partes del bloque para ganar eficiencia.
Ejemplo
Una agencia de viajes de Granada recibe consultas como: «Quiero ir a Roma con mi madre en mayo, pero ella no puede andar mucho, ¿qué hotel nos recomendáis?». Para responder bien, el sistema tiene que relacionar «ella» con «mi madre» y «no puede andar mucho» con la elección de hotel, aunque estén separados en la frase.
Esa conexión entre partes lejanas del texto es justo lo que resuelve la atención del transformer. Por eso un asistente moderno entiende peticiones largas y enrevesadas que un sistema de palabras clave no captaría.
Cómo te afecta en tu empresa
No necesitas saber cómo se programa un transformer para usar IA. Sí conviene saber dos consecuencias prácticas. Una: el coste de la atención crece con la longitud del texto, por eso los modelos tienen una ventana de contexto limitada y por eso técnicas como RAG envían solo lo necesario. Dos: el modelo responde con lo que relaciona del texto, no con hechos verificados, de ahí las alucinaciones.
Cuando un agente de IA de UTIO entiende una frase larga de tu cliente por WhatsApp, hay un transformer haciendo ese trabajo por debajo.
Preguntas frecuentes
¿Qué significa la T de GPT?
Significa transformer. GPT son las siglas de generative pre-trained transformer: un modelo generativo, preentrenado con grandes cantidades de texto y construido con la arquitectura transformer.
¿Quién inventó el transformer?
Lo presentó un equipo de investigadores de Google en 2017, en el artículo «Attention Is All You Need». Se diseñó para traducción automática y después se adoptó para casi cualquier tarea de lenguaje, y también para imágenes y audio.
¿Hay alternativas al transformer?
Se investigan otras arquitecturas, como los modelos de espacio de estados, y algunos sistemas combinan ambas. Aun así, el transformer sigue siendo la base de la mayoría de modelos de lenguaje en uso.
Términos relacionados
- LLM
Un LLM (large language model, modelo de lenguaje grande) es un modelo de IA entrenado con enormes cantidades de texto para predecir la siguiente palabra. Esa capacidad le permite redactar, resumir, traducir, clasificar y conversar.
- GPT
GPT (generative pre-trained transformer) es la familia de modelos de lenguaje de OpenAI. El nombre resume cómo funcionan: generan texto, se preentrenan con grandes cantidades de datos y usan la arquitectura transformer.
- Red neuronal
Una red neuronal artificial es un modelo matemático formado por capas de unidades conectadas, llamadas neuronas, que transforman una entrada numérica en una salida. Aprende ajustando el peso de cada conexión a partir de ejemplos.
- Deep learning
El deep learning o aprendizaje profundo es un tipo de machine learning que usa redes neuronales con muchas capas. Cada capa extrae rasgos más abstractos de los datos, lo que permite trabajar con texto, voz e imágenes sin reglas escritas a mano.
- Token
Un token es el trozo de texto con el que trabaja un modelo de lenguaje: una palabra, parte de una palabra o un signo. El modelo lee, cuenta y cobra en tokens, no en palabras ni en caracteres.
Actualizado el