Glosario de IA · Modelos
Inferencia
En una frase
La inferencia es el momento en que un modelo de IA ya entrenado se usa: recibe una entrada nueva, como una pregunta, un audio o una imagen, y calcula la respuesta con lo que aprendió, sin cambiar sus parámetros.
También se llama: inferencia de IA · inferencia del modelo · inference · predicción
¿Qué es la inferencia?
La vida de un modelo de IA tiene dos fases. En el entrenamiento, aprende. En la inferencia, trabaja. Cada vez que un asistente te contesta, que una llamada se transcribe o que un documento escaneado se convierte en texto, hay una inferencia detrás.
Llévalo a tu empresa
La IA de UTIO, por API
Desde 29 €/mes + IVA
Para desarrolladores y agencias que montan sus propios productos.
Ver el API de IALa palabra viene de la estadística: el modelo «infiere» una respuesta a partir de los patrones que aprendió. Durante la inferencia no aprende nada nuevo: sus parámetros quedan fijos. Si parece que «recuerda» algo de la conversación, es porque esa información viaja en su contexto con cada petición.
Relacionado con este término
API de IA
- Transcripción, voz, texto, imagen, OCR y embeddings
- Claves por cliente con tope de gasto
- Monedero prepago: recarga mínima de 50 €
Desde 29 €/mes + IVA Cuenta con panel, más consumo
Ver el API de IACómo funciona
- Entrada. Llega la petición: un texto, un audio o una imagen, convertida en números. En los modelos de texto, en tokens.
- Cálculo. Los datos atraviesan el modelo, capa a capa, usando sus parámetros. En un modelo de lenguaje, este paso se repite para generar la respuesta token a token.
- Salida. El resultado vuelve a un formato útil: texto, audio, una etiqueta o datos estructurados.
En la inferencia importan sobre todo dos cosas. La latencia, o cuánto tarda la respuesta, que es crítica en una llamada de voz. Y el coste, que depende del tamaño del modelo, de cuántos tokens entran y salen y del hardware. Para abaratarla se usan modelos más pequeños, técnicas como la cuantización o se elige un modelo distinto según la dificultad de cada tarea.
Ejemplo
Una empresa de reformas de Toledo usa IA para dos cosas. Por la noche transcribe y resume todas las llamadas del día: no tiene prisa, así que puede usar un modelo más lento y barato. Y durante el día un asistente contesta en directo por teléfono: ahí cada segundo cuenta, así que necesita una inferencia rápida.
El mismo tipo de tarea, «entender lenguaje», tiene necesidades distintas según el momento. Elegir el modelo adecuado para cada caso es, sobre todo, una decisión de inferencia: equilibrio entre calidad, velocidad y coste.
Inferencia en UTIO
Con el API de IA de UTIO pagas inferencia: cada transcripción, cada respuesta de texto, cada imagen o cada documento pasado por OCR. Una sola clave da acceso a todas las capacidades, y las tarifas por unidad, según el nivel de modelo (básico, estándar o superior), están publicadas en el panel. Así eliges un nivel alto donde la calidad manda y uno básico en tareas masivas y sencillas.
En los agentes es distinto: en el agente de voz, el minuto ya incluye el modelo, la voz, la transcripción y la telefonía, así que no calculas inferencias. Lo que sí notas es la latencia: en una llamada, el agente tiene que responder sin silencios incómodos.
Preguntas frecuentes
¿Qué diferencia hay entre inferencia y entrenamiento?
En el entrenamiento el modelo aprende: se ajustan sus parámetros con muchos ejemplos. En la inferencia el modelo trabaja: responde a entradas nuevas con los parámetros fijos. Entrenar se hace pocas veces y cuesta mucho de golpe; la inferencia se repite en cada uso y su coste crece con el volumen.
¿Por qué la inferencia de un modelo grande es más lenta y cara?
Porque cada respuesta exige hacer cálculos con todos o buena parte de sus parámetros, y en los modelos de lenguaje eso se repite por cada token generado. Más parámetros y respuestas más largas significan más cálculo, más tiempo y más coste.
¿Dónde se hace la inferencia?
Normalmente en servidores del proveedor, a los que llamas por API. Los modelos pequeños también pueden ejecutarse en tu propio servidor, en el portátil o en el móvil, lo que da más control sobre los datos pero exige hardware adecuado.
Términos relacionados
- Entrenamiento de un modelo
El entrenamiento de un modelo es el proceso en el que un modelo de IA aprende a partir de un dataset: se le muestran ejemplos, se mide cuánto se equivoca y se ajustan sus parámetros, una y otra vez, hasta que sus respuestas son buenas.
- Latencia
La latencia es el tiempo que pasa entre que haces una petición y empiezas a recibir la respuesta. En un agente de voz es el silencio desde que el cliente deja de hablar hasta que oye la primera palabra del agente, y decide si la conversación suena natural.
- Token
Un token es el trozo de texto con el que trabaja un modelo de lenguaje: una palabra, parte de una palabra o un signo. El modelo lee, cuenta y cobra en tokens, no en palabras ni en caracteres.
- Modelo de IA
Un modelo de IA es el programa que resulta de entrenar un algoritmo con datos: un conjunto de parámetros aprendidos que, al recibir una entrada nueva, produce una salida, como una predicción, una etiqueta, un texto o una imagen.
- Cuantización
La cuantización es una técnica que guarda los parámetros de un modelo de IA con números de menor precisión, por ejemplo de 16 bits a 8 o 4 bits. El modelo ocupa menos memoria y suele responder más rápido, a cambio de una pérdida de calidad que puede ser pequeña.
Actualizado el