Mixture of experts (MoE)

¿Qué es mixture of experts?

En un LLM clásico, llamado «denso», cada token pasa por todos los parámetros del modelo. Si el modelo crece, cada respuesta cuesta más. Mixture of experts rompe esa relación: el modelo tiene muchos parámetros en total, pero solo usa una parte para cada token.

Por eso en los modelos MoE se habla de dos cifras: los parámetros totales, que miden su capacidad de almacenar conocimiento, y los parámetros activos, que determinan cuánto cálculo gasta cada token. Un MoE puede tener la capacidad de un modelo grande con un coste de cálculo por token más cercano al de uno mediano.

La idea viene de los años noventa, pero se popularizó en los modelos de lenguaje con publicaciones como Mixtral 8x7B, de Mistral AI, a finales de 2023. Hoy varios modelos conocidos, abiertos y cerrados, usan variantes de esta arquitectura.

Cómo funciona

Dentro de cada bloque del transformer, la capa que procesa los tokens después de la atención se sustituye por varias capas paralelas, los expertos. Y se añade una pieza pequeña, el enrutador:

1. Llega un token a la capa MoE.
2. El enrutador calcula qué expertos encajan mejor con ese token y elige unos pocos, a menudo dos.
3. Solo esos expertos procesan el token; sus resultados se combinan con un peso.
4. El siguiente token puede ir a expertos distintos.

Durante el entrenamiento se cuida que el reparto sea equilibrado, para que no acaben trabajando siempre los mismos expertos.

Ejemplo

Una empresa de software de gestión para clínicas veterinarias de Córdoba quiere añadir un asistente a su programa. Compara dos modelos de capacidad parecida: uno denso y uno MoE.

En sus pruebas, el MoE responde antes con el mismo hardware, porque cada token mueve menos cálculo. Pero para ejecutarlo en sus servidores necesita tarjetas con más memoria, porque todos los expertos tienen que estar cargados. Al final la decisión no es «cuál es mejor», sino qué le cuesta menos: memoria o tiempo de respuesta. Si contrata el modelo por API, esa cuenta la hace el proveedor y a ella solo le llega el precio.

Cómo te afecta en tu empresa

No necesitas elegir una arquitectura para usar IA. Pero entender MoE explica dos cosas que verás en las fichas de modelos: por qué algunos indican «parámetros totales» y «activos», y por qué un modelo muy grande puede responder rápido.

La velocidad de respuesta importa sobre todo en conversaciones en tiempo real, como las del agente de voz de UTIO. Y si ejecutas modelos en tu propia infraestructura, la memoria que ocupan se puede reducir con cuantización.