#Nextquick MoE : c’est quoi cette mixture d’experts pour les IA génératives ?

Mistral remet en lumière une architecture d'intelligence artificielle vieille de plus de 30 ans avec la sortie de son modèle Small 4 : la Mixture of Experts (MoE), ou mélange d'experts. Loin d'être une nouveauté, cette technique connaît un regain d'intérêt majeur dans le domaine des grands modèles de langage, où elle s'impose comme une alternative efficace aux architectures denses traditionnelles.

Le principe est élégant : plutôt que d'activer l'intégralité des paramètres d'un modèle pour chaque requête, la MoE ne sollicite qu'un sous-ensemble d'experts spécialisés, sélectionnés dynamiquement par un routeur entraîné conjointement avec le modèle. L'analogie hospitalière est parlante — des centaines de médecins disponibles, mais seuls les spécialistes pertinents examinent le patient. Résultat : une réduction significative du coût computationnel à l'inférence, sans sacrifier la capacité globale du modèle.

L'exemple le plus emblématique reste Mixtral 8x7B, l'un des premiers modèles open source à populariser cette approche. Contrairement à ce que son nom suggère, il ne totalise pas 56 milliards de paramètres mais 46,7 milliards — chaque expert ne disposant que de 5,6 milliards de paramètres, les couches d'attention, d'embeddings et de normalisation étant partagées entre tous. Ce modèle a depuis été supplanté par Mixtral 8x22B, qui pousse l'architecture encore plus loin.

L'intégration de la MoE dans Mistral Small 4 confirme que cette architecture est désormais au cœur de la stratégie des labs d'IA pour concilier performance et efficacité. À mesure que les modèles grossissent, le mélange d'experts s'impose comme l'une des réponses les plus prometteuses au défi du passage à l'échelle — sans exploser les coûts d'entraînement ni d'inférence.