Glossaire IA · Modèles
Transformer
En une phrase
Un transformer est une architecture de réseau de neurones qui traite tous les mots d'un texte en même temps et s'appuie sur un mécanisme d'attention pour repérer quelles parties sont liées entre elles. C'est la base de presque tous les modèles de langage actuels.
Autres noms: architecture transformer · modèle transformer · transformeur · réseau transformer
Qu’est-ce qu’un transformer ?
Avant le transformer, les modèles de langage lisaient le texte mot après mot, de gauche à droite, en traînant un résumé de ce qu’ils avaient lu. Sur une phrase longue, le début s’effaçait. Et comme le travail était séquentiel, l’entraînement sur de gros volumes prenait un temps fou.
Passez à la pratique
Des agents IA pour répondre à vos clients
Dès 49 €/mois + TVA
Voix, WhatsApp et e-mail avec la ligne incluse : agent, numéros et CRM dans le même abonnement.
Voir les tarifsLe transformer a réglé les deux problèmes. Il regarde le texte en entier d’un coup et, pour chaque mot, calcule à quel point il doit tenir compte de chacun des autres. C’est ce qu’on appelle l’attention. Dans « La cliente a appelé le garage parce que sa voiture ne démarrait plus », l’attention aide à rattacher « sa » à « la cliente » plutôt qu’au « garage ».
Toutes les positions étant traitées en parallèle, on peut entraîner le modèle sur des masses de texte grâce aux cartes graphiques. C’est l’origine des LLM actuels et de familles comme GPT.
En lien avec ce terme
Agents UTIO
- Disponibles 24h/24 en 26 langues
- Le monter vous-même : 0 €, à partir de votre site
- 14 jours d'essai sans carte
Dès 49 €/mois + TVA
Voir les tarifsComment ça marche
En simplifiant, un transformer procède ainsi :
- Il convertit chaque token en vecteur de nombres et y ajoute sa position dans la phrase.
- Il applique l’attention : chaque token observe les autres et en retient l’information utile. L’opération se fait plusieurs fois en parallèle (« attention multi-têtes ») pour saisir différents types de liens à la fois.
- Il répète l’opération sur de nombreuses couches empilées. Les premières captent des relations simples, les dernières des sens plus abstraits.
- Il produit une probabilité pour chaque token suivant possible.
La conception d’origine comptait deux blocs, un encodeur et un décodeur, pensés pour la traduction. Les modèles génératifs actuels n’utilisent souvent que le décodeur. Des variantes comme le mixture of experts modifient une partie du bloc pour gagner en efficacité.
Exemple
Une agence de voyages d’Annecy reçoit des demandes comme : « Je voudrais emmener ma mère à Rome en mai, mais elle marche difficilement, quel hôtel nous conseillez-vous ? ». Pour bien répondre, le système doit relier « elle » à « ma mère », et « marche difficilement » au choix de l’hôtel, même si ces éléments sont éloignés dans la phrase.
Relier des passages distants, c’est précisément ce que permet l’attention du transformer. Voilà pourquoi un assistant moderne comprend des demandes longues et alambiquées qu’un système à mots-clés manquerait.
Ce que cela change pour votre entreprise
Pas besoin de savoir programmer un transformer pour utiliser l’IA. Deux conséquences pratiques méritent toutefois d’être connues. D’abord, le coût de l’attention augmente avec la longueur du texte : d’où une fenêtre de contexte limitée, et l’intérêt de techniques comme le RAG, qui n’envoient que l’utile. Ensuite, le modèle répond à partir des liens qu’il établit dans le texte, pas de faits vérifiés : d’où les hallucinations.
Quand un agent IA d’UTIO comprend la longue phrase d’un client sur WhatsApp, c’est un transformer qui fait ce travail en coulisses.
Questions fréquentes
Que signifie le T de GPT ?
Il signifie transformer. GPT est l'acronyme de generative pre-trained transformer : un modèle génératif, pré-entraîné sur de grands volumes de texte et construit sur l'architecture transformer.
Qui a inventé le transformer ?
Une équipe de chercheurs de Google l'a présenté en 2017 dans l'article « Attention Is All You Need ». Conçu pour la traduction automatique, il a ensuite été adopté pour presque toutes les tâches de langage, puis pour l'image et l'audio.
Existe-t-il des alternatives au transformer ?
D'autres architectures sont étudiées, comme les modèles à espace d'états, et certains systèmes les combinent avec le transformer. Celui-ci reste néanmoins la base de la plupart des modèles de langage utilisés aujourd'hui.
Termes associés
- LLM
Un LLM (large language model, grand modèle de langage) est un modèle d'IA entraîné sur d'immenses volumes de texte pour prédire le mot suivant. Cette capacité lui permet de rédiger, résumer, traduire, classer et converser.
- GPT
GPT (generative pre-trained transformer) désigne la famille de modèles de langage d'OpenAI. Le nom résume leur fonctionnement : ils génèrent du texte, sont pré-entraînés sur d'énormes volumes de données et reposent sur l'architecture transformer.
- Réseau de neurones
Un réseau de neurones artificiels est un modèle mathématique composé de couches d'unités reliées, appelées neurones, qui transforment une entrée numérique en sortie. Il apprend en ajustant le poids de chaque connexion à partir d'exemples.
- Deep learning
Le deep learning, ou apprentissage profond, est une forme de machine learning fondée sur des réseaux de neurones à nombreuses couches. Chaque couche extrait des caractéristiques plus abstraites, ce qui permet de traiter texte, voix et images sans règles écrites à la main.
- Token
Un token est le morceau de texte que manipule un modèle de langage : un mot, une partie de mot ou un signe. Le modèle lit, compte et facture en tokens, pas en mots ni en caractères.
Mis à jour le