UTIO

Glossaire IA · Modèles

Paramètres d'un modèle

En une phrase

Les paramètres d'un modèle sont les valeurs numériques internes, surtout les poids d'un réseau de neurones, ajustées pendant l'entraînement et qui stockent ce qu'il a appris. Leur nombre sert de mesure approximative de la taille du modèle.

Autres noms: paramètres d'IA · poids du modèle · weights · nombre de paramètres

Que sont les paramètres d’un modèle ?

Imaginez une table de mixage dotée de milliards de potentiomètres. Au départ, ils sont tous réglés au hasard et l’on n’entend que du bruit. Entraîner, c’est tourner chaque potentiomètre d’un cran, des millions de fois, jusqu’à ce que la musique sonne juste. Ces boutons sont les paramètres, et leur position finale contient tout ce que sait le modèle.

Passez à la pratique

Des agents IA pour répondre à vos clients

Dès 49 €/mois + TVA

Voix, WhatsApp et e-mail avec la ligne incluse : agent, numéros et CRM dans le même abonnement.

Voir les tarifs

Dans un réseau de neurones, les paramètres sont surtout les poids des connexions entre neurones, plus des valeurs d’ajustement appelées biais (un terme technique, sans rapport avec le biais en IA). Le modèle ne stocke ni phrases ni documents : il stocke ces nombres.

En lien avec ce terme

Agents UTIO

  • Disponibles 24h/24 en 26 langues
  • Le monter vous-même : 0 €, à partir de votre site
  • 14 jours d'essai sans carte

Dès 49 €/mois + TVA

Voir les tarifs

Comment ça marche

  1. À l’entraînement, les paramètres évoluent. Chaque exemple du dataset les modifie légèrement pour réduire l’erreur. Voir entraînement d’un modèle.
  2. À l’usage, ils sont figés. Chaque réponse résulte d’un calcul entre l’entrée et ces valeurs. Voir inférence.

Le nombre de paramètres est devenu le raccourci pour décrire la taille d’un modèle. Pour repère, GPT-3 (2020) en comptait 175 milliards. Beaucoup d’éditeurs ne publient plus ce chiffre pour leurs modèles récents, et la taille n’explique plus tout : des architectures comme le mixture of experts n’activent qu’une partie des paramètres à chaque réponse.

La taille a des effets concrets. Chaque paramètre occupe de la mémoire : à 16 bits par paramètre, un modèle de 7 milliards demande environ 14 Go rien que pour être chargé. La quantification réduit cette précision pour le faire tenir sur du matériel plus modeste, au prix d’une légère perte de qualité.

Exemple

Une clinique vétérinaire de Caen veut un assistant qui trie les messages des clients : urgence, rendez-vous, ordonnance ou autre. Elle teste un grand modèle généraliste et un petit. Pour ce tri, le petit fait presque aussi bien, répond plus vite et coûte moins cher par message.

Pour rédiger des réponses longues et nuancées sur un traitement, en revanche, le grand modèle fait la différence. Leçon : le nombre de paramètres est un indicateur, pas une note de qualité.

Ce que ça change pour votre entreprise

Pour servir vos clients, inutile de comparer des modèles au nombre de paramètres. Ce qui compte : une réponse juste, rapide et fondée sur vos informations.

Avec les agents UTIO, comme l’agent vocal ou l’agent WhatsApp, le modèle est inclus et vous n’avez rien à comparer. Si vous développez avec l’API d’IA, vous choisissez le niveau de modèle (basique, standard ou supérieur) : une façon pratique de doser la capacité nécessaire à chaque tâche sans parler de milliards de paramètres.

Questions fréquentes

Que signifie 7B ou 70B pour un modèle d'IA ?

C'est le nombre de paramètres en milliards (« B » pour billion en anglais, soit un milliard). Un modèle 7B compte environ 7 milliards de paramètres ; un modèle 70B, environ 70 milliards.

Plus de paramètres, est-ce un meilleur modèle ?

Pas forcément. Davantage de paramètres donne plus de capacité, mais la qualité dépend aussi des données et de l'entraînement. Un petit modèle bien entraîné peut faire mieux qu'un grand sur une tâche précise, tout en étant plus rapide et moins coûteux.

Quelle différence entre paramètres et hyperparamètres ?

Les paramètres sont appris par le modèle lui-même pendant l'entraînement. Les hyperparamètres sont fixés par une personne avant l'entraînement, comme le nombre de couches ou le taux d'apprentissage. Des réglages comme la température d'une réponse ne sont pas non plus des paramètres du modèle, mais des options d'utilisation.

Termes associés

  • Modèle d'IA

    Un modèle d'IA est le programme obtenu en entraînant un algorithme sur des données : un ensemble de paramètres appris qui, face à une entrée nouvelle, produit un résultat comme une prédiction, une catégorie, un texte ou une image.

  • LLM

    Un LLM (large language model, grand modèle de langage) est un modèle d'IA entraîné sur d'immenses volumes de texte pour prédire le mot suivant. Cette capacité lui permet de rédiger, résumer, traduire, classer et converser.

  • Quantification

    La quantification est une technique qui stocke les paramètres d'un modèle d'IA avec des nombres moins précis, par exemple 8 ou 4 bits au lieu de 16. Le modèle occupe moins de mémoire et répond souvent plus vite, au prix d'une perte de qualité parfois minime.

  • Mixture of experts (MoE)

    Le mixture of experts (MoE, mélange d'experts) est une architecture de modèle d'IA découpée en plusieurs sous-réseaux appelés experts. Pour chaque token, un routeur n'en active que quelques-uns : le modèle peut être très grand sans mobiliser tout son calcul à chaque étape.

  • SLM (small language model)

    Un SLM (small language model) est un modèle de langage doté de beaucoup moins de paramètres qu'un LLM. Il en sait moins sur tout, mais répond plus vite, coûte moins cher et peut tourner sur un serveur modeste, un ordinateur portable, voire un téléphone.

Mis à jour le

← Retour au glossaire

UTIO est la ligne d'agents d'IA d'Universal Telecom, opérateur enregistré auprès de la CNMC.