Glossaire IA · Modèles
Quantification
En une phrase
La quantification est une technique qui stocke les paramètres d'un modèle d'IA avec des nombres moins précis, par exemple 8 ou 4 bits au lieu de 16. Le modèle occupe moins de mémoire et répond souvent plus vite, au prix d'une perte de qualité parfois minime.
Autres noms: quantization · quantisation · compression de modèle · modèle quantifié
Qu’est-ce que la quantification ?
Un modèle d’IA n’est, au fond, qu’une immense collection de nombres : ses paramètres. Chacun est en général stocké sur 16 bits. La quantification les arrondit pour les stocker sur moins de bits, un peu comme on compresse une photo pour l’alléger.
Passez à la pratique
L'IA d'UTIO, par API
Dès 29 €/mois + TVA
Pour les développeurs et les agences qui construisent leurs propres produits.
Découvrir l'API d'IALe calcul est simple. Un modèle de 7 milliards de paramètres en 16 bits (2 octets chacun) pèse environ 14 Go rien qu’en poids. En 4 bits, environ 3,5 Go. Cet écart décide si le modèle tient sur une carte graphique grand public, sur un portable, ou seulement sur un serveur coûteux.
En plus, déplacer moins de données entre la mémoire et le processeur accélère l’inférence, c’est-à-dire l’utilisation du modèle pour répondre, là où se trouve souvent le goulot d’étranglement.
En lien avec ce terme
API d'IA
- Transcription, voix, texte, image, OCR et embeddings
- Clés par client avec plafond de dépense
- Porte-monnaie prépayé : recharge minimale de 50 €
Dès 29 €/mois + TVA Compte avec panneau, plus la consommation
Découvrir l'API d'IAComment ça marche
Deux grandes approches coexistent :
- La quantification après entraînement. On prend le modèle entraîné et on convertit ses poids en plus faible précision, parfois avec un petit jeu de données de calibration pour bien choisir l’arrondi. C’est la méthode la plus courante, car rapide et peu coûteuse.
- L’entraînement tenant compte de la quantification. Le modèle est entraîné ou réajusté en sachant qu’il fonctionnera avec moins de bits, et apprend à compenser l’arrondi. La perte de qualité est moindre, mais l’opération coûte plus cher.
On peut quantifier les poids seuls ou aussi les calculs intermédiaires. Les méthodes récentes protègent les valeurs les plus sensibles pour que l’arrondi les touche le moins possible.
La quantification va souvent de pair avec les petits modèles (SLM) et avec l’IA open source, dont les modèles sont publiés en versions déjà quantifiées pour tourner sur ses propres machines.
Exemple
Un cabinet d’avocats de Dijon veut utiliser l’IA pour résumer des dossiers, mais préfère que les documents ne quittent pas ses locaux. Il achète un ordinateur avec une bonne carte graphique, mais la version complète du modèle choisi ne tient pas dans sa mémoire.
En version quantifiée sur 4 bits, le modèle tient et répond sans peine. Avant de l’adopter, le cabinet compare les résumés des deux versions sur vingt anciens dossiers. L’écart est négligeable pour son usage : il se lance, avec un avocat qui relit chaque résumé.
La quantification chez UTIO
Avec l’API d’IA d’UTIO, vous n’avez rien à quantifier ni de cartes graphiques à gérer : le modèle tourne sur notre infrastructure. Vous choisissez le niveau de modèle pour la génération de texte (basique, standard ou supérieur), qui arbitre entre coût et capacité comme la quantification arbitre entre mémoire et qualité.
La quantification vous concerne si vous faites tourner des modèles sur vos propres machines. Dans ce cas, testez toujours la version quantifiée sur vos cas réels avant de la mettre face à un client ou dans un agent IA.
Questions fréquentes
Quelle qualité perd un modèle quantifié ?
Cela dépend du modèle, de la méthode et du nombre de bits. En 8 bits, la différence est souvent difficile à percevoir ; en 4 bits, beaucoup de modèles restent bons sur les tâches courantes ; en dessous, la dégradation devient visible. Le plus sage est de tester la version quantifiée sur vos propres cas avant de l'adopter.
Que signifient GGUF, GPTQ ou AWQ ?
Ce sont des formats et des méthodes de quantification. GGUF est le format de fichier utilisé par llama.cpp pour faire tourner des modèles sur des ordinateurs classiques ; GPTQ et AWQ sont des méthodes qui quantifient les poids en limitant la perte de qualité. On les retrouve dans le nom des modèles publiés déjà quantifiés.
Termes associés
- Paramètres d'un modèle
Les paramètres d'un modèle sont les valeurs numériques internes, surtout les poids d'un réseau de neurones, ajustées pendant l'entraînement et qui stockent ce qu'il a appris. Leur nombre sert de mesure approximative de la taille du modèle.
- SLM (small language model)
Un SLM (small language model) est un modèle de langage doté de beaucoup moins de paramètres qu'un LLM. Il en sait moins sur tout, mais répond plus vite, coûte moins cher et peut tourner sur un serveur modeste, un ordinateur portable, voire un téléphone.
- Inférence
L'inférence est le moment où un modèle d'IA déjà entraîné est utilisé : il reçoit une entrée nouvelle, comme une question, un audio ou une image, et calcule la réponse avec ce qu'il a appris, sans modifier ses paramètres.
- IA open source
L'IA open source désigne un modèle publié pour que chacun puisse l'utiliser, l'étudier, le modifier et le partager. En pratique, beaucoup de modèles dits ouverts ne publient que leurs poids, pas les données ni tout le code d'entraînement.
- Mixture of experts (MoE)
Le mixture of experts (MoE, mélange d'experts) est une architecture de modèle d'IA découpée en plusieurs sous-réseaux appelés experts. Pour chaque token, un routeur n'en active que quelques-uns : le modèle peut être très grand sans mobiliser tout son calcul à chaque étape.
Mis à jour le