Glosario de IA · Fundamentos
Tokenización
En una frase
La tokenización es el proceso que divide un texto en tokens, las piezas que entiende un modelo de lenguaje, y asigna a cada una un número de su vocabulario. Es el primer paso antes de que el modelo pueda leer o escribir nada.
También se llama: tokenization · segmentación en tokens · tokenizador · tokenizer
¿Qué es la tokenización?
Un modelo de lenguaje solo trabaja con números. La tokenización es el puente entre tu texto y esos números: corta la frase en piezas, los tokens, y cambia cada pieza por su número en un vocabulario fijo. Al responder, el camino se hace al revés.
Llévalo a tu empresa
La IA de UTIO, por API
Desde 29 €/mes + IVA
Para desarrolladores y agencias que montan sus propios productos.
Ver el API de IALa herramienta que hace este trabajo se llama tokenizador. No es una parte que se pueda cambiar a voluntad: cada modelo se entrena con un tokenizador concreto y depende de él. Si el tokenizador parte mal un idioma, el modelo gasta más tokens para decir lo mismo y puede rendir peor en ese idioma.
Relacionado con este término
API de IA
- Transcripción, voz, texto, imagen, OCR y embeddings
- Claves por cliente con tope de gasto
- Monedero prepago: recarga mínima de 50 €
Desde 29 €/mes + IVA Cuenta con panel, más consumo
Ver el API de IACómo funciona
Los tokenizadores actuales trabajan con subpalabras: ni letras sueltas ni palabras completas, sino trozos intermedios. Así combinan dos ventajas: un vocabulario manejable y la capacidad de escribir cualquier palabra, aunque no la haya visto nunca, juntando piezas.
El método más extendido es BPE (byte pair encoding):
- Parte de los caracteres o bytes individuales.
- Busca en un gran corpus el par de piezas que más se repite juntas y lo fusiona en una pieza nueva.
- Repite hasta llegar al tamaño de vocabulario elegido, que suele ser de decenas o cientos de miles de piezas.
Existen variantes como WordPiece o Unigram, a menudo aplicadas con la librería SentencePiece. Todas buscan lo mismo: que las secuencias frecuentes ocupen pocas piezas.
El resultado práctico es que una palabra común como «gracias» puede ser un solo token, mientras que «electrodomésticos» o un apellido poco frecuente se parten en varios.
Ejemplo
Una tienda online de recambios de bicicleta de Girona usa un modelo para responder dudas. Sus fichas están llenas de referencias técnicas como «Shimano BR-M6100» o «cassette 11-51T». El tokenizador del modelo no conoce esas combinaciones y las parte en muchos trozos pequeños.
Consecuencias: las fichas gastan más tokens de lo que su longitud sugiere y, a veces, el modelo confunde referencias parecidas. La tienda lo resuelve buscando las referencias de forma exacta en su catálogo y pasando al modelo solo la ficha correcta, con RAG, en lugar de esperar que las «recuerde».
La tokenización en UTIO
En los planes de UTIO no tienes que pensar en la tokenización: los agentes se contratan por minutos o por conversaciones, no por tokens.
Si desarrollas con el API de IA, la tokenización ocurre dentro de cada capacidad. Por ejemplo, el endpoint de embeddings convierte tu texto en vectores para buscar en tu contenido; antes de calcularlos, lo tokeniza. Las tarifas por unidad según el nivel de modelo están publicadas en el panel. Conocer cómo se parte el texto te ayuda a preparar mejor los documentos que va a usar tu agente de IA.
Preguntas frecuentes
¿Todos los modelos tokenizan igual?
No. Cada familia de modelos tiene su propio tokenizador y su propio vocabulario. El mismo texto puede dar un número de tokens distinto en dos modelos, por eso los recuentos y los precios por token no se pueden comparar directamente entre proveedores.
¿Qué es BPE?
BPE (byte pair encoding) es uno de los métodos de tokenización más usados. Empieza con caracteres sueltos y va uniendo los pares que más se repiten en los textos de entrenamiento hasta formar un vocabulario de piezas frecuentes: sílabas, raíces, palabras completas.
¿Tokenización en IA es lo mismo que tokenización en pagos?
No. En pagos, tokenizar es sustituir un dato sensible, como el número de una tarjeta, por un código sin valor para un atacante. En IA es partir texto en piezas para un modelo. Comparten nombre, no función.
Términos relacionados
- Token
Un token es el trozo de texto con el que trabaja un modelo de lenguaje: una palabra, parte de una palabra o un signo. El modelo lee, cuenta y cobra en tokens, no en palabras ni en caracteres.
- LLM
Un LLM (large language model, modelo de lenguaje grande) es un modelo de IA entrenado con enormes cantidades de texto para predecir la siguiente palabra. Esa capacidad le permite redactar, resumir, traducir, clasificar y conversar.
- Embeddings
Un embedding es una lista de números que representa el significado de un texto, una imagen o un audio. Textos con significado parecido tienen embeddings cercanos, y eso permite buscar por sentido y no solo por palabras exactas.
- Ventana de contexto
La ventana de contexto es la cantidad máxima de texto, medida en tokens, que un modelo de lenguaje puede tener en cuenta a la vez: instrucciones, conversación, documentos y su propia respuesta. Lo que queda fuera, el modelo no lo ve.
- NLP (procesamiento del lenguaje natural)
El NLP (procesamiento del lenguaje natural) es la rama de la inteligencia artificial que permite a las máquinas trabajar con el lenguaje humano: leer, analizar, clasificar, traducir y generar texto o voz como lo usan las personas.
Actualizado el