Benchmark

¿Qué es un benchmark?

Cuando un proveedor anuncia un modelo nuevo, suele acompañarlo de una tabla con puntuaciones. Esas puntuaciones salen de benchmarks: exámenes iguales para todos los modelos, con las mismas preguntas y la misma forma de corregir.

Los hay de muchos tipos. Unos miden conocimiento general con preguntas tipo test. Otros, matemáticas, programación, comprensión lectora o capacidad de seguir instrucciones. Otros comprueban si el modelo se inventa datos o si muestra sesgos. Y existen clasificaciones en las que personas comparan dos respuestas sin saber qué modelo dio cada una.

Un benchmark es útil para orientarse, pero tiene límites. Las notas cambian con cada versión, los modelos se acaban «aprendiendo» las pruebas populares y una cifra alta no garantiza que el modelo funcione bien en tu caso.

Cómo funciona

1. Se define la tarea y se reúne un conjunto de preguntas con su respuesta correcta.
2. Se fija cómo se pregunta: las mismas instrucciones, el mismo número de ejemplos y los mismos ajustes, como la temperatura.
3. Se ejecuta cada modelo sobre todas las preguntas.
4. Se puntúa de forma automática (respuesta correcta o no, código que pasa los tests) o con evaluadores humanos o con otro modelo.

Dos problemas conocidos: la contaminación, cuando las preguntas se han filtrado al entrenamiento, y la saturación, cuando todos los modelos sacan casi la máxima nota y la prueba deja de distinguir. Por eso aparecen benchmarks nuevos y más difíciles, por ejemplo para modelos de razonamiento.

Ejemplo

Una academia de idiomas de Santander quiere un asistente que conteste dudas de sus alumnos sobre horarios, niveles y matrículas. Mira las tablas públicas y le atrae el modelo que encabeza una clasificación de razonamiento.

Antes de decidir, prepara su propio benchmark: cincuenta preguntas reales de alumnos con la respuesta correcta. Compara tres modelos. El que gana no es el primero de la tabla pública, sino uno que responde más rápido, sigue mejor las instrucciones y no se inventa horarios. Ese pequeño examen casero le dice más que cualquier ranking.

Cómo te afecta en tu empresa

Si vas a usar IA con clientes, tu mejor benchmark son tus propias conversaciones. Reúne preguntas reales, con sus respuestas correctas, y prueba con ellas. Fíjate también en lo que los rankings no miden: si el modelo admite que no sabe algo en vez de alucinar, cuánto tarda y cuánto cuesta.

Con UTIO puedes hacer esa prueba sin comprometerte: el alta incluye un periodo de prueba sin tarjeta, como verás en precios, para comprobar cómo responde el agente de IA con tu negocio antes de decidir.