Glosario de IA · Modelos
Cuantización
En una frase
La cuantización es una técnica que guarda los parámetros de un modelo de IA con números de menor precisión, por ejemplo de 16 bits a 8 o 4 bits. El modelo ocupa menos memoria y suele responder más rápido, a cambio de una pérdida de calidad que puede ser pequeña.
También se llama: quantization · cuantificación de modelos · compresión de modelos · modelo cuantizado
¿Qué es la cuantización?
Un modelo de IA es, en el fondo, una enorme colección de números: sus parámetros. Normalmente cada uno se guarda con 16 bits de precisión. La cuantización los redondea para guardarlos con menos bits, igual que una foto se comprime para que pese menos.
Llévalo a tu empresa
La IA de UTIO, por API
Desde 29 €/mes + IVA
Para desarrolladores y agencias que montan sus propios productos.
Ver el API de IALa cuenta es sencilla. Un modelo de 7.000 millones de parámetros a 16 bits (2 bytes cada uno) ocupa unos 14 GB solo en pesos. A 4 bits, unos 3,5 GB. Esa diferencia decide si el modelo cabe en una tarjeta gráfica de consumo, en un portátil o solo en un servidor caro.
Además, mover menos datos entre la memoria y el procesador acelera la inferencia (el uso del modelo para responder), que es justo donde suele estar el cuello de botella.
Relacionado con este término
API de IA
- Transcripción, voz, texto, imagen, OCR y embeddings
- Claves por cliente con tope de gasto
- Monedero prepago: recarga mínima de 50 €
Desde 29 €/mes + IVA Cuenta con panel, más consumo
Ver el API de IACómo funciona
Hay dos grandes enfoques:
- Cuantización tras el entrenamiento. Se toma el modelo ya entrenado y se convierten sus pesos a menor precisión, a veces con un pequeño conjunto de datos de calibración para elegir bien cómo redondear. Es lo más habitual porque es rápido y barato.
- Entrenamiento consciente de la cuantización. El modelo se entrena o se reajusta sabiendo que va a funcionar con menos bits, y aprende a compensar el redondeo. Pierde menos calidad, pero cuesta más.
Se puede cuantizar solo los pesos o también los cálculos intermedios. Los métodos modernos protegen los valores más sensibles para que el redondeo afecte lo menos posible.
La cuantización se combina a menudo con modelos pequeños (SLM) y con modelos de IA open source, que se publican en versiones ya cuantizadas para ejecutarlos en equipos propios.
Ejemplo
Un despacho de abogados de Salamanca quiere usar IA para resumir expedientes, pero prefiere que los documentos no salgan de su oficina. Compra un ordenador con una tarjeta gráfica potente, pero la versión completa del modelo que ha elegido no cabe en su memoria.
Con una versión cuantizada a 4 bits, el modelo cabe y responde con soltura. Antes de adoptarlo, el despacho compara resúmenes de la versión cuantizada con los de la completa sobre veinte expedientes antiguos. La diferencia es mínima para su uso, así que sigue adelante, con un abogado revisando cada resumen.
La cuantización en UTIO
Si usas el API de IA de UTIO, no tienes que cuantizar nada ni gestionar tarjetas gráficas: el modelo se ejecuta en nuestra infraestructura. Lo que decides es el nivel de modelo para la generación de texto (básico, estándar o superior), que equilibra coste y capacidad igual que la cuantización equilibra memoria y calidad.
La cuantización te interesa si ejecutas modelos en tus propios equipos. En ese caso, prueba siempre la versión cuantizada con tus casos reales antes de ponerla delante de un cliente o dentro de un agente de IA.
Preguntas frecuentes
¿Cuánta calidad pierde un modelo cuantizado?
Depende del modelo, del método y de los bits. Con 8 bits la diferencia suele ser difícil de notar; con 4 bits, muchos modelos siguen funcionando bien en tareas habituales; por debajo, la degradación se nota más. Lo prudente es probar el modelo cuantizado con tus propios casos antes de usarlo.
¿Qué significan siglas como GGUF, GPTQ o AWQ?
Son formatos y métodos de cuantización. GGUF es el formato de archivo que usa llama.cpp para ejecutar modelos en ordenadores normales; GPTQ y AWQ son métodos para cuantizar los pesos intentando perder la menor calidad posible. Los verás en los nombres de los modelos que se publican ya cuantizados.
Términos relacionados
- Parámetros de un modelo
Los parámetros de un modelo son los valores numéricos internos, sobre todo los pesos de una red neuronal, que se ajustan durante el entrenamiento y guardan lo aprendido. Su número se usa como medida aproximada del tamaño del modelo.
- SLM (small language model)
Un SLM (small language model) es un modelo de lenguaje con muchos menos parámetros que un LLM. Sabe menos de todo, pero responde más rápido, cuesta menos y puede ejecutarse en un servidor modesto, un portátil o incluso un móvil.
- Inferencia
La inferencia es el momento en que un modelo de IA ya entrenado se usa: recibe una entrada nueva, como una pregunta, un audio o una imagen, y calcula la respuesta con lo que aprendió, sin cambiar sus parámetros.
- IA open source
La IA open source es la que publica su modelo para que cualquiera pueda usarlo, estudiarlo, modificarlo y compartirlo. En la práctica, muchos modelos llamados abiertos solo publican los pesos, no los datos ni todo el código de entrenamiento.
- Mixture of experts (MoE)
Mixture of experts (MoE, mezcla de expertos) es una arquitectura de modelo de IA dividida en varias subredes llamadas expertos. Para cada token, un enrutador activa solo unos pocos, así el modelo puede ser muy grande sin usar todo su cálculo en cada paso.
Actualizado el