Mixture of Experts (MoE) : l'architecture qui rend les LLM plus rapides et plus puissants

Le Mixture of Experts (MoE), c'est quoi exactement ?

Le Mixture of Experts (littéralement « mélange d'experts », abrégé MoE) est une architecture de réseau de neurones dans laquelle le modèle contient de nombreux sous-réseaux spécialisés, appelés experts, et un petit module d'aiguillage, le routeur (en anglais router ou gating network), qui décide lesquels activer pour chaque token traité.

Un token, rappelons-le, est l'unité de base que manipule un modèle de langage : un mot entier, une syllabe ou un fragment de mot. Un LLM génère son texte token par token.

Dans un modèle classique, dit dense, chaque token traverse la totalité des paramètres. Un modèle de 70 milliards de paramètres mobilise ses 70 milliards de paramètres pour produire un seul mot. Dans un modèle MoE, le même token ne traverse que 2, 4 ou 8 experts sur les 128, 256 ou 384 disponibles. Le reste du réseau reste au repos.

C'est ce qu'on appelle l'activation parcimonieuse (en anglais sparse activation) : le modèle est immense en capacité, mais léger en calcul. Et c'est précisément ce découplage qui a permis de franchir la barre du trillion de paramètres sans faire exploser la facture d'inférence.

Paramètres totaux et paramètres actifs : le chiffre à regarder

Depuis 2025, toutes les fiches de modèles MoE affichent deux nombres au lieu d'un. Comprendre ce que chacun signifie est la clé de lecture de tout le sujet.

• Les paramètres totaux : ils déterminent la quantité de connaissances encodée dans le modèle et, surtout, la mémoire GPU nécessaire pour le faire tourner. Tous les experts doivent être chargés quelque part, même ceux qui ne serviront pas.
• Les paramètres actifs : ils déterminent le coût de calcul et la vitesse. C'est le nombre de paramètres réellement mobilisés pour produire chaque token.

La conséquence est contre-intuitive mais décisive : votre facture d'inférence suit les paramètres actifs, pas les paramètres totaux. GLM-5.2, avec environ 750 milliards de paramètres, coûte à peu près ce que coûterait un modèle dense de 40 milliards. Vous payez au tarif d'un petit modèle et vous accédez à la profondeur d'un très gros.

Cette logique explique la convention de nommage qui s'est imposée chez Alibaba et ses concurrents. Quand vous lisez Qwen3-235B-A22B, le « A » signifie Active : 235 milliards de paramètres au total, 22 milliards actifs par token. Même chose pour Qwen3-Coder-480B-A35B ou Qwen3.6-35B-A3B.

Comment fonctionne une couche MoE, étape par étape

Pour comprendre le mécanisme, il faut savoir où le MoE s'insère dans un modèle. Dans un Transformer classique, chaque bloc alterne une couche d'attention (qui met les mots en relation) et une couche feed-forward ou FFN (un réseau dense qui stocke une grande partie des connaissances factuelles).

Le MoE remplace cette couche feed-forward unique par un ensemble d'experts plus un routeur. Voici ce qui se passe pour chaque token :

• 1. Le routeur note les experts : une petite couche linéaire attribue un score de pertinence à chacun des experts disponibles, à partir de la représentation mathématique du token. Ce calcul est très peu coûteux.
• 2. Le top-k est sélectionné : seuls les k experts les mieux notés sont activés. Mixtral 8x7B en retenait 2 sur 8. DeepSeek-V3 en retient 8 sur 256. GLM-5.2 en retient 8 sur 256 également. Le « top-k » désigne simplement cette sélection des k meilleurs.
• 3. L'expert partagé traite tout : de nombreux modèles récents (DeepSeek, Llama 4, Kimi K2.6, Qwen3.6) ajoutent un expert partagé (shared expert) toujours actif, qui voit passer chaque token. Il fournit une base commune et stable, ce qui permet aux experts routés de se spécialiser plus agressivement sans que le modèle perde ses réflexes de base.
• 4. Les sorties sont recombinées : les résultats des experts sélectionnés sont additionnés, pondérés par leurs scores, puis transmis à la couche suivante.

Un point important, souvent mal compris : les experts ne sont pas des spécialistes au sens humain. Il n'y a pas « l'expert maths » ni « l'expert code ». Leur spécialisation est statistique et émergente. Les travaux d'interprétabilité menés sur OLMoE et sur les variantes Qwen3 montrent que certains experts se comportent plutôt comme des détecteurs de familles de sous-mots, de noms propres, de langues ou de types d'entités. La métaphore du comité d'experts est pratique, mais elle reste une approximation.

D'où vient le MoE ? Une idée de 1991 devenue le standard en 2026

Le Mixture of Experts n'a rien d'une invention récente. C'est une idée patiemment redécouverte.

• 1991 : Robert Jacobs, Michael Jordan, Steven Nowlan et Geoffrey Hinton publient Adaptive Mixtures of Local Experts. Le principe du routage vers des sous-réseaux spécialisés est posé, mais les moyens de calcul de l'époque le cantonnent à des usages restreints.
• 2017 : Noam Shazeer et ses collègues de Google publient Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. C'est le vrai point de bascule : le MoE devient un levier de passage à l'échelle pour l'apprentissage profond.
• 2020-2022 : GShard puis le Switch Transformer (William Fedus, Barret Zoph, Noam Shazeer) franchissent la barre du trillion de paramètres et règlent une partie des problèmes de stabilité à l'entraînement.
• Décembre 2023 : Mixtral 8x7B de Mistral AI démocratise le MoE en open weights. Avec 46,7 milliards de paramètres totaux et 12,9 milliards actifs, il surpasse Llama 2 70B sur la plupart des benchmarks tout en tournant environ six fois plus vite.
• 2024-2025 : DeepSeekMoE introduit deux idées structurantes qui deviendront la norme : les experts à granularité fine (beaucoup de petits experts plutôt que quelques gros) et l'expert partagé isolé. DeepSeek-V3 les applique à l'échelle de production avec 671 milliards de paramètres totaux et 37 milliards actifs.
• 2026 : le MoE n'est plus une option. C'est l'architecture par défaut de pratiquement tous les modèles de pointe, ouverts comme fermés.

La bascule s'est jouée en moins de trois ans. En 2024, les modèles denses restaient majoritaires. Aujourd'hui, sortir un modèle frontière dense relève de l'exception.

Quels modèles utilisent le MoE en 2026 ?

Voici l'état des lieux des principales architectures MoE dont les caractéristiques sont publiques, à la date de rédaction de cet article.

• DeepSeek V4-Pro (avril 2026) : 1 600 milliards de paramètres totaux, 49 milliards actifs, fenêtre de contexte d'un million de tokens, licence MIT. Environ 0,38 € par million de tokens en entrée et 0,75 € en sortie, ce qui en fait le modèle de niveau frontière le moins cher du marché. Une variante Flash existe à 284 milliards de paramètres totaux pour 13 milliards actifs.
• GLM-5.2 (Z.ai, juin 2026) : environ 750 milliards de paramètres totaux, 40 milliards actifs, contexte d'un million de tokens, poids publiés sous licence MIT. C'est aujourd'hui le score le plus élevé jamais atteint par un modèle open weights sur l'indice Artificial Analysis.
• Mistral Large 3 (décembre 2025) : 675 milliards de paramètres totaux, 41 milliards actifs, architecture MoE dite granulaire, contexte de 256 000 tokens, licence Apache 2.0. Entraîné depuis zéro sur 3 000 GPU NVIDIA H200. C'est le retour de Mistral AI au MoE depuis la série Mixtral, et le champion européen sur ce terrain.
• Kimi K2.6 (Moonshot AI, avril 2026) : 1 000 milliards de paramètres totaux, 32 milliards actifs, 384 experts routés plus un expert partagé, 8 experts sélectionnés par token.
• Llama 4 Maverick (Meta) : 400 milliards de paramètres totaux, 17 milliards actifs, 128 experts routés plus un expert partagé, avec une alternance de couches denses et de couches MoE. La variante Scout descend à 109 milliards de paramètres totaux pour les mêmes 17 milliards actifs.
• gpt-oss-120b (OpenAI, août 2025) : 117 milliards de paramètres totaux, 5,1 milliards actifs seulement, 128 experts par couche dont 4 activés. C'est la première confirmation officielle et documentée qu'OpenAI construit en MoE. Le modèle tient sur un seul GPU de 80 Go grâce à une quantification MXFP4.
• Qwen3.6-35B-A3B (Alibaba) : 35 milliards de paramètres totaux, 3 milliards actifs, 256 experts. Il tourne à environ 120 tokens par seconde sur une RTX 4090 grand public en version quantifiée. La démonstration que le MoE descend jusqu'au matériel domestique.
• MiniMax M3 (juin 2026) : 229,9 milliards de paramètres totaux, 9,8 milliards actifs répartis sur 256 experts à granularité fine, avec entrée image et vidéo native.

Côté modèles fermés, la transparence est nettement moindre. L'architecture de GPT-4 n'a jamais été confirmée par OpenAI, même si les analyses de coûts d'inférence ont rendu l'hypothèse MoE largement crédible dès 2023. Anthropic et Google ne publient pas non plus le détail architectural de Claude et de Gemini. Sur ce point, l'écosystème open weights est aujourd'hui la seule source d'information fiable.

Chez Digital-m, nous suivons ces évolutions architecturales de près, non par curiosité technique mais parce qu'elles conditionnent le coût, la latence et la disponibilité des IA que nos clients intègrent dans leurs process. Notre formation GEO certifiée Qualiopi consacre un module entier au fonctionnement interne des LLM, parce qu'on optimise mal ce qu'on ne comprend pas.

Pourquoi le MoE rend les LLM plus rapides et moins chers

Les gains sont mesurables et se répartissent sur trois plans.

Le coût de calcul par token

À qualité comparable, un modèle MoE consomme jusqu'à 70 % de calcul en moins qu'un modèle dense de taille équivalente. Mixtral 8x7B avait donné la première démonstration publique du phénomène en 2023 : environ six fois plus rapide que Llama 2 70B, pour une qualité supérieure. Le mécanisme est simple : un modèle qui active 37 milliards de paramètres sur 671 fait dix-huit fois moins de calculs qu'un dense de 671 milliards.

Le prix payé par l'utilisateur final

C'est la traduction commerciale directe. À titre de comparaison, DeepSeek V4-Pro facture ses tokens de sortie autour de 0,75 € le million, contre plusieurs dizaines d'euros pour les modèles propriétaires haut de gamme. Mistral Large 3 se situe autour de 0,43 € en entrée et 1,30 € en sortie par million de tokens. Cette compression des prix est directement imputable à la parcimonie de l'architecture.

La spécialisation interne

Un modèle moderne doit gérer du code, des mathématiques, de la conversation, du multilingue, de la vision et des tâches agentiques. Dans un réseau dense, tout cela transite par les mêmes paramètres et se gêne mutuellement. C'est ce qu'on appelle l'interférence. Le MoE crée des chemins distincts pour des types d'entrées différents, ce qui réduit ce conflit sans faire grimper le calcul par token.

Les limites du MoE : mémoire, équilibrage et « super experts »

Le MoE n'est pas un repas gratuit. Trois contraintes structurelles méritent d'être connues avant de se lancer.

Le paradoxe de la mémoire

C'est la limite la plus concrète. Le calcul par token est faible, mais l'intégralité des experts doit être chargée en mémoire. La VRAM (la mémoire vive de la carte graphique) reste dimensionnée par les paramètres totaux, pas par les actifs. DeepSeek V4-Pro en précision native réclame de l'ordre de 3,2 To de mémoire : impossible à faire tenir sur un seul nœud de 8 GPU H100. Un modèle MoE est peu coûteux à faire tourner, mais cher à héberger.

L'équilibrage de charge

Si le routeur prend l'habitude d'envoyer la majorité des tokens vers une poignée d'experts favoris, la capacité du modèle s'effondre. Ce problème d'équilibrage de charge (load balancing) est le défi central de l'entraînement d'un MoE. La méthode historique consiste à ajouter une fonction de perte auxiliaire qui pénalise les routages déséquilibrés. Les architectures inspirées de DeepSeek utilisent désormais un équilibrage sans perte auxiliaire, qui vise une vraie spécialisation plutôt qu'une uniformité artificielle.

Les « super experts » : une découverte de 2026

C'est le résultat de recherche le plus marquant de l'année sur le sujet. Une étude menée par Zunhai Su et ses coauteurs, publiée sur arXiv sous la référence 2507.23279 et présentée en conférence, identifie une infime minorité d'experts qui jouent un rôle disproportionné dans l'inférence.

Le chiffre est spectaculaire : supprimer seulement 3 experts sur les 6 144 que compte Qwen3-30B-A3B suffit à faire produire au modèle des sorties répétitives et vides de sens. Ces « super experts » sont caractérisés par des pics d'activation extrêmes en sortie de projection, ils sont propres à chaque modèle, indépendants des données, et ne bougent pas lors du post-entraînement. Leur compression fait s'effondrer les mécanismes d'attention du modèle.

La conséquence pratique est directe pour quiconque envisage d'alléger un modèle MoE : l'élagage naïf d'experts est dangereux. Toutes les stratégies de compression de 2026 s'articulent désormais autour de la préservation de ces super experts. Si le sujet de l'allègement des modèles vous intéresse, notre article sur la quantization des LLM détaille les techniques complémentaires.

MoE ou dense : lequel choisir pour votre entreprise ?

Si vous évaluez un modèle pour un usage professionnel, voici les critères qui tranchent réellement.

• Vous consommez une API : le MoE est presque toujours gagnant. Vous ne supportez pas la contrainte mémoire, vous profitez seulement de la baisse de prix. C'est le scénario de l'écrasante majorité des PME.
• Vous hébergez en interne : regardez d'abord les paramètres totaux, ils dimensionnent votre budget matériel. Un Qwen3.6-35B-A3B ou un gpt-oss-120b offrent un excellent compromis, là où un modèle de 1 600 milliards de paramètres suppose une infrastructure de centre de données.
• Vous voulez personnaliser le modèle : le fine-tuning d'un MoE reste plus complexe que celui d'un modèle dense. Il faut tenir compte du comportement du routeur, de l'équilibre entre experts et de la cible des adaptateurs. Pour une tâche métier étroite avec une infrastructure limitée, un petit modèle dense peut rester le choix le plus simple.
• Vous êtes soumis au RGPD ou à l'AI Act : les modèles MoE en poids ouverts (Mistral Large 3 sous Apache 2.0, DeepSeek V4 sous MIT, la gamme Qwen sous Apache 2.0) autorisent un déploiement sur votre propre infrastructure, donc un contrôle total sur les données. Un point que notre article sur les LLM open-weights examine en détail, licences comprises.

Une dernière remarque qui vaut pour tous les cas de figure : l'architecture ne dit pas tout. Un modèle MoE bien entraîné bat un dense de compute équivalent, mais le score sur un benchmark ne prédit pas la performance sur votre cas d'usage. Testez sur vos propres données avant de vous engager.

Conclusion : la parcimonie est devenue la norme

Le Mixture of Experts a fait passer l'industrie d'une question simple, « combien de paramètres ce modèle a-t-il ? », à une question à trois étages : combien sont actifs, où sont stockés les experts, et à quelle vitesse peut-on les router. C'est autant un problème d'infrastructure qu'une avancée de modélisation.

Ce qu'il faut retenir : les paramètres totaux mesurent la connaissance et la mémoire nécessaire, les paramètres actifs mesurent le coût et la vitesse. Le rapport entre les deux, parfois supérieur à 30, est toute la valeur capturée par l'architecture. C'est ce qui a permis à des modèles ouverts de rattraper les modèles fermés en dix-huit mois, et à des IA de niveau frontière de coûter moins d'un euro le million de tokens.

Comprendre cette mécanique n'est pas un exercice académique. Elle détermine quel modèle vous pouvez héberger, combien vous paierez, et à quelle vitesse vos utilisateurs obtiendront leur réponse. Chez Digital-m, nous accompagnons les entreprises dans ce choix et dans l'optimisation de leur visibilité auprès de ces mêmes modèles. Notre agence GEO vous aide à structurer vos contenus pour qu'ils soient repris par ChatGPT, Gemini, Mistral ou Perplexity, et notre formation GEO forme vos équipes en une à deux journées. Parlons-en.