Glossaire IA · Fondamentaux
Tokenisation
En une phrase
La tokenisation est l'étape qui découpe un texte en tokens, les morceaux que comprend un modèle de langage, et associe à chacun un numéro de son vocabulaire. C'est le passage obligé avant que le modèle puisse lire ou écrire quoi que ce soit.
Autres noms: tokenization · segmentation en tokens · tokeniseur · tokenizer
Qu’est-ce que la tokenisation ?
Un modèle de langage ne manipule que des nombres. La tokenisation fait le pont entre votre texte et ces nombres : elle coupe la phrase en morceaux, les tokens, et remplace chacun par son numéro dans un vocabulaire fixe. Pour la réponse, le chemin se fait en sens inverse.
Passez à la pratique
L'IA d'UTIO, par API
Dès 29 €/mois + TVA
Pour les développeurs et les agences qui construisent leurs propres produits.
Découvrir l'API d'IAL’outil qui s’en charge s’appelle le tokeniseur. On ne le change pas à volonté : chaque modèle est entraîné avec un tokeniseur précis et en dépend. Si celui-ci découpe mal une langue, le modèle consomme plus de tokens pour dire la même chose et peut s’y montrer moins performant.
En lien avec ce terme
API d'IA
- Transcription, voix, texte, image, OCR et embeddings
- Clés par client avec plafond de dépense
- Porte-monnaie prépayé : recharge minimale de 50 €
Dès 29 €/mois + TVA Compte avec panneau, plus la consommation
Découvrir l'API d'IAComment ça marche
Les tokeniseurs actuels travaillent avec des sous-mots : ni lettres isolées ni mots entiers, mais des fragments intermédiaires. Ils combinent ainsi deux atouts : un vocabulaire de taille raisonnable et la capacité d’écrire n’importe quel mot, même jamais vu, en assemblant des morceaux.
La méthode la plus répandue est le BPE (byte pair encoding) :
- On part des caractères ou octets individuels.
- On cherche dans un vaste corpus la paire de morceaux qui apparaît le plus souvent côte à côte, et on la fusionne en un nouveau morceau.
- On recommence jusqu’à atteindre la taille de vocabulaire visée, souvent des dizaines ou des centaines de milliers de morceaux.
Il existe des variantes comme WordPiece ou Unigram, souvent mises en œuvre avec la bibliothèque SentencePiece. Toutes visent le même but : que les séquences fréquentes occupent peu de morceaux.
Concrètement, un mot courant comme « merci » peut tenir en un seul token, tandis que « électroménager » ou un nom de famille rare sera découpé en plusieurs.
Exemple
Une boutique en ligne de pièces détachées de vélo, basée à Annecy, utilise un modèle pour répondre aux questions. Ses fiches regorgent de références techniques comme « Shimano BR-M6100 » ou « cassette 11-51T ». Le tokeniseur ne connaît pas ces combinaisons et les hache en petits morceaux.
Résultat : les fiches consomment plus de tokens que leur longueur ne le laisse penser, et le modèle confond parfois des références proches. La boutique règle le problème en cherchant les références de façon exacte dans son catalogue et en ne transmettant au modèle que la bonne fiche, via le RAG, au lieu de compter sur sa mémoire.
La tokenisation chez UTIO
Avec les forfaits UTIO, la tokenisation n’est pas votre sujet : les agents se souscrivent en minutes ou en conversations, pas en tokens.
Si vous développez avec l’API d’IA, la tokenisation a lieu à l’intérieur de chaque capacité. Par exemple, le point d’accès embeddings transforme votre texte en vecteurs pour chercher dans vos contenus ; il le tokenise avant de les calculer. Les tarifs à l’unité selon le niveau de modèle sont publiés dans le panneau. Comprendre comment le texte est découpé aide à mieux préparer les documents qu’utilisera votre agent IA.
Questions fréquentes
Tous les modèles tokenisent-ils de la même façon ?
Non. Chaque famille de modèles a son propre tokeniseur et son propre vocabulaire. Un même texte peut donner un nombre de tokens différent d'un modèle à l'autre : les comptes et les prix au token ne se comparent donc pas directement entre fournisseurs.
Qu'est-ce que le BPE ?
Le BPE (byte pair encoding) est l'une des méthodes de tokenisation les plus répandues. Il part des caractères isolés et fusionne peu à peu les paires les plus fréquentes dans les textes d'entraînement, jusqu'à obtenir un vocabulaire de morceaux courants : syllabes, racines, mots entiers.
La tokenisation en IA est-elle la même que dans les paiements ?
Non. Dans les paiements, tokeniser revient à remplacer une donnée sensible, comme un numéro de carte, par un code sans valeur pour un pirate. En IA, il s'agit de découper du texte pour un modèle. Même mot, autre fonction.
Termes associés
- Token
Un token est le morceau de texte que manipule un modèle de langage : un mot, une partie de mot ou un signe. Le modèle lit, compte et facture en tokens, pas en mots ni en caractères.
- LLM
Un LLM (large language model, grand modèle de langage) est un modèle d'IA entraîné sur d'immenses volumes de texte pour prédire le mot suivant. Cette capacité lui permet de rédiger, résumer, traduire, classer et converser.
- Embeddings
Un embedding est une suite de nombres qui représente le sens d'un texte, d'une image ou d'un son. Deux textes de sens proche ont des embeddings proches, ce qui permet de chercher par le sens et pas seulement par les mots exacts.
- Fenêtre de contexte
La fenêtre de contexte est la quantité maximale de texte, mesurée en tokens, qu'un modèle de langage peut prendre en compte d'un coup : consignes, conversation, documents et sa propre réponse. Ce qui en sort, le modèle ne le voit pas.
- NLP (traitement du langage naturel)
Le NLP (traitement du langage naturel) est la branche de l'intelligence artificielle qui permet aux machines de travailler avec le langage humain : lire, analyser, classer, traduire et produire du texte ou de la parole comme le font les personnes.
Mis à jour le