Token

Qu’est-ce qu’un token ?

Un modèle de langage ne lit pas comme vous. Avant de traiter une phrase, il la découpe avec un outil appelé tokeniseur. Chaque morceau est un token, associé à un numéro dans le vocabulaire du modèle. Les mots courants tiennent souvent en un seul token. Les mots rares, les noms propres ou certaines conjugaisons sont coupés en deux ou plus. Les espaces et la ponctuation comptent aussi.

C’est pour cela que la taille d’un texte, pour une IA, se mesure en tokens et non en mots. Deux textes de même longueur peuvent donc « peser » différemment.

Comment ça marche

Le traitement se fait en trois temps :

1. Découper. Le tokeniseur divise le texte selon le vocabulaire appris pendant l’entraînement.
2. Numéroter. Chaque token devient un nombre. Le modèle ne travaille qu’avec ces nombres.
3. Générer. Le modèle prédit le token suivant, puis le suivant, jusqu’à la fin de la réponse, qui est ensuite reconvertie en texte.

Les tokens fixent deux limites très concrètes. D’abord la fenêtre de contexte : le nombre de tokens que le modèle peut prendre en compte d’un coup, instructions, documents et conversation compris. Ensuite le coût : la plupart des fournisseurs facturent au token d’entrée et au token de sortie.

La langue joue. Les tokeniseurs sont surtout entraînés sur de l’anglais : le français demande en général un peu plus de tokens pour dire la même chose.

Exemple

Un cabinet d’expertise comptable lyonnais veut un assistant qui réponde aux questions de ses clients sur les échéances fiscales. Sa documentation interne fait une quarantaine de pages. S’il l’envoie en entier au modèle à chaque question, chaque échange consomme des milliers de tokens, même pour demander la date limite de la TVA.

La bonne pratique consiste à n’envoyer que le passage utile. C’est le principe du RAG : chercher d’abord, puis transmettre au modèle uniquement ce qui répond à la question. Moins de tokens, des réponses plus précises, une facture plus légère.

Les tokens chez UTIO

Avec les forfaits UTIO, vous n’achetez pas de tokens. L’agent vocal se souscrit en minutes incluses et l’agent WhatsApp en conversations IA par mois : des unités lisibles, sans calcul de tokeniseur. L’IA est comprise dans l’abonnement, avec la téléphonie, les numéros et le CRM.

Si vous êtes développeur et passez par l’API d’IA, les tarifs à l’unité dépendent du niveau de modèle et sont publiés dans le panneau. Vous y croiserez aussi le mot « token » dans son autre sens : la clé d’accès créée pour un client, avec son plafond de dépense et sa limite de requêtes.

Comprendre les tokens aide à voir pourquoi un agent IA bien conçu ne transmet pas tout ce qu’il sait au modèle, mais seulement ce dont il a besoin pour chaque réponse.