Distillation LLM : comment fabriquer une IA plus légère ?

La distillation d'un LLM, c'est quoi exactement ?

La distillation LLM est une technique d'entraînement dans laquelle un grand modèle déjà performant, appelé modèle enseignant (« teacher »), sert de source d'apprentissage à un modèle beaucoup plus petit, le modèle élève (« student »). L'élève n'apprend pas sur les données brutes d'internet : il apprend à reproduire le comportement de son professeur. Le terme anglais consacré est « knowledge distillation », littéralement distillation de connaissance.

L'image de la distillation est juste : on chauffe un très gros volume de savoir pour n'en garder que la fraction utile, plus concentrée et plus facile à transporter. Le modèle obtenu tient sur une machine plus modeste, répond plus vite et coûte moins cher à faire tourner.

• Le modèle enseignant : un grand modèle figé, dont les poids ne bougent plus pendant l'opération. Il sert uniquement de référence.
• Le modèle élève : un modèle nettement plus petit, entraîné à imiter les sorties de l'enseignant plutôt qu'à deviner seul la bonne réponse.
• Le résultat : un modèle compact qui conserve l'essentiel des compétences de l'enseignant sur les tâches visées, mais pas sa culture générale complète.

Attention à ne pas confondre la distillation avec le fine-tuning, qui spécialise un modèle existant sur vos propres données. La distillation fabrique un modèle plus petit, le fine-tuning ajuste un modèle de taille inchangée.

Pourquoi copier les hésitations du professeur plutôt que ses réponses ?

Parce que l'hésitation contient plus d'information que la réponse. C'est le cœur de la méthode : au lieu d'apprendre à l'élève que la bonne réponse est « Paris », on lui montre la distribution complète produite par l'enseignant, par exemple 92 % pour « Paris », 5 % pour « Lyon », 3 % pour « France ». Ces probabilités s'appellent des soft targets (cibles souples), par opposition aux « hard labels » qui ne donnent que la bonne case.

Ces valeurs révèlent la géographie mentale du gros modèle : quelles alternatives il jugeait plausibles, et à quel point. Un élève entraîné sur cette information apprend beaucoup plus vite qu'un élève entraîné sur des réponses binaires, et avec beaucoup moins d'exemples.

• Les logits : les valeurs brutes produites par le réseau avant leur transformation en probabilités. C'est la matière première de la distillation.
• La température : un paramètre qui aplatit la distribution pour faire ressortir les alternatives. Les travaux fondateurs utilisaient des valeurs élevées, autour de 20, là où l'usage courant reste à 1.
• La fonction de perte combinée : l'élève est noté à la fois sur sa ressemblance avec l'enseignant et sur son exactitude factuelle, avec un facteur d'équilibre généralement compris entre 0,3 et 0,7.

C'est exactement le même réglage de température que celui qui rend une IA plus ou moins créative en conversation. Si le mécanisme vous intrigue, nous l'avons détaillé dans notre article sur la température d'un LLM et la manière dont l'IA choisit ses mots. Autre avantage rarement mis en avant : les approches récentes atteignent des résultats corrects avec moins de 3 % des données d'entraînement d'origine, selon la synthèse publiée par Redis en 2026.

COMPRENDRE LES LLM · SEPTEMBRE 2026

Distiller un LLM : ce qu'il reste du modèle d'origine

• 97 % de la précision de BERT conservée par DistilBERT sur le benchmark GLUE
• -40 % de taille pour DistilBERT face à BERT-base
• < 3 % des données d'entraînement d'origine suffisent aux méthodes récentes

Plus la barre est courte, plus le modèle distillé est léger

Part des paramètres et du temps d'inférence conservés après distillation, en pourcentage de BERT-base pris comme référence à 100. Source : synthèse Redis 2026 sur la distillation de modèles.

• DistilBERT, paramètres 60 %
• DistilBERT, temps d'inférence 40 %
• TinyBERT-4, paramètres 13,3 %
• TinyBERT-4, temps d'inférence 10,6 %

À retenir : un modèle distillé garde l'essentiel du savoir de son enseignant pour une fraction du calcul. Pour une PME, c'est souvent la différence entre une IA facturée au million de tokens et une IA qui tourne sur une machine que vous contrôlez.

Télécharger l'infographie (PNG)

Quels gains réels attendre d'un modèle distillé ?

Les gains documentés portent sur trois axes : la taille, la vitesse et le coût. Le cas d'école reste DistilBERT, qui affiche 40 % de paramètres en moins, une inférence environ 60 % plus rapide et 97 % de la précision de BERT-base sur le benchmark GLUE. Ces chiffres datent des travaux fondateurs mais restent la référence citée en 2026 pour illustrer le compromis.

Les architectures plus agressives vont beaucoup plus loin. TinyBERT-4 ne conserve que 13,3 % des paramètres de BERT-base et 10,6 % de son temps d'inférence. TinyBERT-6, plus prudent, égale les performances de BERT-base sur GLUE avec environ 28 % des paramètres des méthodes de distillation concurrentes.

Sur le plan financier, la règle est mécanique : un modèle trois fois plus rapide traite la même charge de travail pour environ un tiers du coût de calcul. C'est ce rapport qui explique pourquoi les gammes « Flash », « mini » et « Lite » de tous les éditeurs sont vendues cinq à dix fois moins cher que leurs grands frères.

Distillation, quantization, élagage : trois compressions à ne pas confondre

Ces trois techniques réduisent la facture, mais elles n'agissent pas sur le même levier. La distillation réduit le nombre de neurones, la quantization réduit la précision des nombres stockés, l'élagage (« pruning ») supprime les connexions jugées inutiles. Elles se combinent très bien, à condition de respecter un ordre précis.

Dans quel ordre faut-il les appliquer ?

L'ordre recommandé est élagage, puis distillation, puis quantization. Ce n'est pas un détail de laboratoire : quantifier avant de distiller fait grimper la perplexité du modèle d'un ordre de grandeur, alors que quantifier après préserve la qualité. Si le sujet vous parle, notre article sur la quantization des LLM et son effet sur la précision explique la mécanique des poids en 4 bits.

Qui distille quoi en 2026 ?

Presque tous les éditeurs, et de façon assumée. La synthèse publiée sur Hugging Face en 2026 distingue trois familles de pratiques chez les modèles dits « frontier-class » (les modèles de tout premier plan), et les exemples nommés ne manquent pas.

• Distillation hors ligne classique : Gemma 3 et Gemma 4 de Google s'appuient sur une version améliorée de la distillation depuis un grand enseignant instruit. DeepSeek-R1-Distill injecte les traces de raisonnement de R1 dans des modèles Qwen et Llama compacts.
• Distillation en ligne multi-experts : l'approche dominante en 2026. DeepSeek-V4 entraîne des experts par domaine (mathématiques, code, tâches agentiques) puis les fusionne. Nemotron 3 Ultra de NVIDIA fait guider un élève unique par plus de dix enseignants spécialisés.
• Auto-distillation : Cursor Composer 2.5 s'enseigne à lui-même en s'appuyant sur des indices contextuels pendant l'entraînement, puis reproduit le comportement sans ces indices au moment de l'inférence.

Le chiffre le plus parlant vient de Qwen3 : la distillation y aurait coûté environ un dixième des heures de GPU consommées par l'apprentissage par renforcement, pour de meilleurs résultats. Chez Zhipu AI, GLM-5 utilise la distillation pour récupérer des capacités dégradées entre deux phases successives d'entraînement. Ce sont des chiffres communiqués par les éditeurs, non vérifiés par un tiers indépendant, et il faut les lire comme tels.

Cette généralisation explique aussi pourquoi l'architecture Transformer, socle commun de tous ces modèles, se prête aussi bien à l'exercice : l'élève peut reprendre la même structure que l'enseignant avec moins de couches.

Ce que la distillation change concrètement pour une entreprise

Pour une PME, la distillation se traduit par trois décisions très concrètes, et aucune ne demande de savoir entraîner un modèle. La première est le choix du modèle : sur une tâche répétitive et bien cadrée, un modèle distillé fait souvent aussi bien qu'un modèle haut de gamme pour une fraction du prix.

• Classer, trier, extraire : tri d'e-mails, extraction de données de factures, catégorisation de tickets. Un modèle distillé suffit largement et répond en quelques dizaines de millisecondes.
• Rédiger et raisonner : pour la production éditoriale ou l'analyse complexe, l'écart avec un grand modèle reste visible. Gardez le modèle haut de gamme sur ces usages.
• Traiter des données sensibles : un modèle distillé tient sur un serveur interne, ce qui règle une partie des questions de confidentialité sans passer par une API externe.

Chez Digital-m, nous auditons régulièrement des stacks IA de PME où le même modèle premium sert à tout, du résumé de réunion à la classification de formulaires. Le simple fait de basculer les tâches mécaniques sur un modèle distillé divise la facture mensuelle sans que les utilisateurs voient la différence. C'est le premier arbitrage que nous regardons.

Les limites : ce qu'un modèle distillé ne saura pas faire

Un élève ne dépasse jamais son professeur. C'est la limite structurelle de la méthode : la performance de l'enseignant constitue un plafond, et si l'enseignant se trompe, l'élève apprend l'erreur avec application. Distiller depuis un modèle médiocre produit un modèle médiocre et rapide.

• La culture générale s'appauvrit : les connaissances rares, les langues peu représentées et les domaines de niche sont les premiers sacrifiés.
• Les hallucinations ne disparaissent pas : elles peuvent même augmenter sur les sujets où l'élève a perdu de la matière. La vigilance reste la même qu'avec un grand modèle.
• Le cadre juridique compte : distiller depuis l'API d'un concurrent est interdit par les conditions d'utilisation de la plupart des éditeurs commerciaux. Le sujet a déjà provoqué plusieurs différends publics entre laboratoires.

Dernier point souvent négligé : un modèle distillé se périme comme les autres. Quand l'enseignant est mis à jour, l'élève reste figé sur la version qui lui a servi de référence.

Ce qu'il faut retenir

La distillation transfère le savoir d'un grand modèle vers un petit en lui apprenant à reproduire ses probabilités de sortie, pas seulement ses réponses. Les gains documentés vont de 40 % de taille en moins avec 97 % de la précision conservée (DistilBERT) à des réductions de 85 % et plus sur les architectures les plus agressives (TinyBERT-4). En 2026, la méthode est utilisée par Google sur Gemma, par DeepSeek, par Qwen, par NVIDIA et par Zhipu AI, et elle explique la quasi-totalité des gammes économiques du marché.

Retenez surtout l'arbitrage : un modèle distillé excelle sur des tâches cadrées et répétitives, il déçoit sur le raisonnement long et les connaissances rares. Le bon réflexe n'est pas de tout basculer, mais de répartir. Vous voulez savoir quels usages de votre entreprise peuvent passer sur un modèle plus léger, et lesquels doivent rester sur un modèle haut de gamme ? Demandez-nous un audit de votre stack IA, ou formez vos équipes avec notre formation GEO certifiée Qualiopi pour comprendre comment ces modèles choisissent et citent leurs sources.