Glosario de IA · Fundamentos
Token
En una frase
Un token es el trozo de texto con el que trabaja un modelo de lenguaje: una palabra, parte de una palabra o un signo. El modelo lee, cuenta y cobra en tokens, no en palabras ni en caracteres.
También se llama: token de IA · unidad de texto · tokens de un LLM
¿Qué es un token?
Un modelo de lenguaje no lee como tú. Antes de procesar una frase, la parte en piezas con una herramienta llamada tokenizador. Cada pieza es un token y tiene un número en el vocabulario del modelo. Las palabras frecuentes suelen ocupar un solo token. Las raras, los nombres propios o las formas verbales poco comunes se parten en dos o más. Los espacios y los signos de puntuación también cuentan.
Llévalo a tu empresa
Agentes de IA para atender a tus clientes
Desde 49 €/mes + IVA
Voz, WhatsApp y email con la línea incluida: agente, números y CRM en la misma cuota.
Ver planes y preciosPor eso el tamaño de un texto para una IA no se mide en palabras, sino en tokens. Y por eso dos textos con el mismo número de palabras pueden «pesar» distinto.
Relacionado con este término
Agentes UTIO
- Atienden 24/7 en 26 idiomas
- Montarlo tú cuesta 0 €: se crea leyendo tu web
- Prueba de 14 días sin tarjeta
Desde 49 €/mes + IVA
Ver planes y preciosCómo funciona
El proceso tiene tres pasos:
- Partir. El tokenizador divide el texto en tokens según el vocabulario que aprendió el modelo al entrenarse.
- Numerar. Cada token se convierte en un número. El modelo solo trabaja con esos números.
- Generar. El modelo predice el siguiente token, luego el siguiente, y así hasta completar la respuesta. Después se vuelve a convertir en texto.
Los tokens marcan dos límites prácticos. El primero es la ventana de contexto: cuántos tokens puede tener en cuenta el modelo a la vez, sumando tus instrucciones, los documentos que le pasas y la conversación. El segundo es el coste: la mayoría de proveedores cobra por token de entrada y por token de salida.
El idioma importa. Los tokenizadores se entrenan sobre todo con texto en inglés, así que el español suele necesitar algo más de tokens para decir lo mismo.
Ejemplo
Una clínica dental de Valencia quiere que un asistente conteste preguntas sobre sus tratamientos. Tiene un documento de precios y horarios de unas 3.000 palabras. Si se lo pasa entero al modelo en cada pregunta, cada consulta arrastra miles de tokens de entrada, aunque el paciente solo pregunte por el horario del sábado.
La solución habitual es no mandar el documento entero, sino solo el fragmento que responde a la pregunta. Eso es lo que hace la técnica RAG: busca primero y envía al modelo solo lo relevante. Menos tokens por pregunta, respuestas más centradas y menos coste.
Los tokens en UTIO
En los planes de UTIO no compras tokens. El agente de voz se contrata por minutos incluidos y el agente de WhatsApp por conversaciones de IA al mes: unidades que entiendes sin hacer cuentas de tokenizador. La IA va dentro de la cuota mensual, junto con la telefonía, los números y el CRM.
Si eres desarrollador y usas el API de IA, las tarifas por unidad dependen del nivel de modelo y están publicadas en el panel. Ahí también verás la palabra «token» con su otro significado: la clave de acceso que nace con el cliente grabado, su tope de gasto y su límite de peticiones.
Conocer qué es un token te sirve para entender por qué un agente de IA bien diseñado no le pasa al modelo todo lo que sabe, sino solo lo que necesita para cada respuesta.
Preguntas frecuentes
¿Cuántas palabras son 1.000 tokens?
Depende del idioma y del modelo. En inglés, 1.000 tokens rondan las 750 palabras. En español la cuenta sale algo más baja, porque las palabras son más largas y se parten más. Para saberlo con precisión, usa el contador de tokens del proveedor del modelo.
¿Un token es lo mismo que una clave de API?
No. En los modelos de lenguaje, un token es un trozo de texto. En muchas plataformas, «token» también se usa para la clave que identifica a quien llama a un API. Son dos significados distintos que comparten nombre.
¿Por qué los modelos cuentan en tokens y no en palabras?
Porque el modelo no ve letras ni palabras: ve números. Cada token es una entrada de su vocabulario con un número propio. Trabajar con trozos le permite manejar palabras nuevas, nombres propios o errores de escritura sin tener un diccionario infinito.
Términos relacionados
- RAG
RAG (generación aumentada por recuperación) es una técnica que hace que un modelo de lenguaje busque primero en tus documentos los fragmentos relevantes y redacte la respuesta a partir de ellos, en lugar de contestar solo de memoria.
- Agente de IA
Un agente de IA es un sistema que usa un modelo de lenguaje para entender una petición, decidir qué pasos dar y ejecutarlos con herramientas reales, como tu agenda o tu CRM, hasta completar la tarea, no solo para contestar.
Actualizado el