Mixture of experts (MoE)

Qu’est-ce que le mixture of experts ?

Dans un LLM classique, dit « dense », chaque token traverse tous les paramètres du modèle. Plus le modèle grossit, plus chaque réponse coûte cher. Le mixture of experts casse ce lien : le modèle compte beaucoup de paramètres au total, mais n’en utilise qu’une partie pour chaque token.

On distingue donc deux chiffres pour un MoE : les paramètres totaux, qui mesurent sa capacité à stocker des connaissances, et les paramètres actifs, qui déterminent le calcul dépensé par token. Un MoE peut ainsi offrir la capacité d’un grand modèle pour un coût de calcul par token plus proche de celui d’un modèle moyen.

L’idée remonte aux années 1990, mais elle s’est imposée dans les modèles de langage avec des publications comme Mixtral 8x7B, de Mistral AI, fin 2023. Plusieurs modèles connus, ouverts ou fermés, utilisent aujourd’hui des variantes de cette architecture.

Comment ça marche

Dans chaque bloc du transformer, la couche qui traite les tokens après l’attention est remplacée par plusieurs couches parallèles, les experts. On y ajoute une petite pièce, le routeur :

1. Un token arrive dans la couche MoE.
2. Le routeur estime quels experts conviennent le mieux à ce token et en retient quelques-uns, souvent deux.
3. Seuls ces experts traitent le token ; leurs résultats sont combinés avec une pondération.
4. Le token suivant peut partir vers d’autres experts.

Pendant l’entraînement, on veille à équilibrer la répartition pour que ce ne soient pas toujours les mêmes experts qui travaillent.

Exemple

Un éditeur de logiciels de gestion pour cliniques vétérinaires, installé à Clermont-Ferrand, veut intégrer un assistant à son produit. Il compare deux modèles de capacité voisine : l’un dense, l’autre MoE.

Lors des tests, le MoE répond plus vite sur le même matériel, car chaque token mobilise moins de calcul. Mais pour le faire tourner sur ses propres serveurs, il lui faut des cartes avec davantage de mémoire, puisque tous les experts doivent être chargés. La question n’est donc pas « lequel est le meilleur », mais ce qui lui coûte le moins : la mémoire ou le temps de réponse. S’il passe par une API, c’est le fournisseur qui fait ce calcul et lui n’en voit que le prix.

Ce que cela change pour votre entreprise

Nul besoin de choisir une architecture pour utiliser l’IA. Mais comprendre le MoE éclaire deux choses que vous croiserez dans les fiches des modèles : pourquoi certaines indiquent des paramètres « totaux » et « actifs », et pourquoi un très grand modèle peut répondre vite.

La vitesse de réponse compte surtout dans les conversations en temps réel, comme celles de l’agent vocal d’UTIO. Et si vous faites tourner des modèles sur votre propre infrastructure, la mémoire qu’ils occupent peut être réduite par quantification.