Tokens LLM : comment l'IA découpe et facture le texte

Un token, c'est quoi exactement ?

Un token est la plus petite unité de texte qu'un modèle de langage manipule. Ce n'est ni une lettre, ni forcément un mot entier, mais un fragment : souvent un mot court, un bout de mot long, un espace, ou un signe de ponctuation. Le mot « inoubliable » peut par exemple devenir trois tokens (« in », « oubli », « able »). Avant tout calcul, l'IA convertit votre phrase en une suite de ces fragments, puis remplace chacun par un numéro tiré de son vocabulaire.

Pourquoi ce découpage ? Parce qu'un modèle ne comprend pas les mots, il manipule des nombres. Les tokens sont l'étape de traduction entre votre langage et les mathématiques de la machine. Chaque token reçoit ensuite un embedding (une représentation vectorielle), sujet que nous détaillons dans notre article sur les embeddings et la façon dont les LLM transforment les mots en mathématiques. Retenez l'ordre : d'abord le texte devient des tokens, ensuite les tokens deviennent des vecteurs.

• Le token : un fragment de texte (mot, morceau de mot, espace, ponctuation) que le modèle sait reconnaître.
• Le vocabulaire : la liste finie de tokens que le modèle connaît, souvent 50 000 à 200 000 entrées selon les modèles.
• L'ID : le numéro attribué à chaque token, la seule chose que le réseau manipule réellement.

Comment un LLM découpe votre texte : le Byte Pair Encoding

La méthode la plus répandue pour créer ces tokens s'appelle le Byte Pair Encoding (BPE), littéralement « encodage par paires d'octets ». L'idée est simple : partir des caractères individuels, puis fusionner de façon répétée les paires de fragments les plus fréquentes dans un immense corpus de textes, jusqu'à obtenir un vocabulaire de la taille voulue. Les modèles de la famille GPT, ainsi que Llama, reposent sur cette logique, comme le rappelle la documentation technique sur la tokenisation.

Résultat concret : les mots courants (« le », « avec », « maison ») deviennent un seul token, parce qu'ils reviennent souvent. Les mots rares, techniques ou étrangers sont éclatés en plusieurs morceaux. C'est pour cela qu'un nom propre inhabituel ou un terme scientifique coûte plus de tokens qu'un mot du quotidien. Le tokenizer favorise ce qu'il a beaucoup vu pendant l'entraînement.

Un vocabulaire figé une fois pour toutes

Le vocabulaire de tokens est décidé avant l'entraînement du modèle et ne change plus ensuite. Un mot apparu après cette date, un néologisme ou une marque récente, sera systématiquement découpé en plusieurs fragments. Cela influence la vitesse, le coût et parfois même la qualité de compréhension. Chez Digital-m, nous auditons régulièrement des contenus dont les intitulés très techniques gonflent inutilement la longueur des prompts de nos clients, sans qu'ils s'en rendent compte.

COMPRENDRE LES LLM · AOÛT 2026

Le prix caché des tokens : le français coûte plus cher que l'anglais

• ≈ 4 caractères pour 1 token en anglais
• 75 mots environ pour 100 tokens en anglais
• +60 % de tokens en français par rapport à l'anglais
• 1 M tokens de contexte sur les modèles phares 2026

Un même texte, un nombre de tokens très différent selon la langue

Indice du nombre de tokens pour un contenu équivalent, base 100 = anglais. Tokenizer cl100k (GPT-4). Source : Petrov et al., 2023.

• Anglais 100
• Allemand 137
• Français 160
• Italien 218
• Espagnol 223

À retenir : un texte en français consomme environ 60 % de tokens de plus que le même texte en anglais. Sur une facture API facturée au token, ou dans une fenêtre de contexte limitée, cet écart se paie comptant.

Tokens et mots : la règle des 4 caractères

La règle de conversion la plus utile à mémoriser est la suivante : en anglais, 1 token vaut environ 4 caractères, et 100 tokens correspondent à peu près à 75 mots. Autrement dit, un token équivaut en moyenne aux trois quarts d'un mot. Cette approximation vient de la documentation d'OpenAI et reste un repère fiable pour estimer rapidement une longueur.

Attention, ce ratio dépend du type de contenu. Le texte courant reste économe, mais tout ce qui est structuré ou symbolique explose le compteur. Voici des ordres de grandeur pour 1 000 caractères :

• Texte anglais courant : environ 250 tokens.
• Code Python : 350 à 500 tokens, à cause des indentations et des symboles.
• JSON ou XML : 400 à 600 tokens, les balises et guillemets coûtent cher.
• Texte chinois : 600 à 1 000 tokens, chaque idéogramme pèse lourd.

Ce détail a des conséquences directes en GEO. Un contenu propre et bien structuré est plus léger en tokens, donc plus facile à traiter et à citer par un moteur génératif. C'est l'une des raisons pour lesquelles nous recommandons le format Markdown, que les IA adorent : il exprime la structure avec très peu de caractères parasites.

Pourquoi le français coûte plus cher que l'anglais

Les tokenizers actuels ont été optimisés d'abord sur l'anglais, ce qui crée une véritable inégalité entre les langues. Une étude de référence menée par Aleksandar Petrov et son équipe (2023) a mesuré, avec le tokenizer de GPT-4, combien de tokens sont nécessaires pour dire la même chose dans différentes langues. Le français demande 1,6 fois plus de tokens que l'anglais, l'allemand 1,37 fois, l'italien 2,18 fois et l'espagnol 2,23 fois.

Concrètement, un artisan qui rédige ses prompts et son contenu en français paie une sorte de « taxe token » invisible à chaque requête payante et remplit sa fenêtre de contexte plus vite. Les tokenizers plus récents ont réduit l'écart, mais il n'a pas disparu. C'est un point que peu d'entreprises françaises intègrent dans leur calcul de coût quand elles industrialisent l'usage de l'IA.

Cette inefficacité linguistique explique aussi certaines maladresses de traduction ou de compréhension sur des langues peu représentées, un phénomène cousin de celui décrit dans notre article sur les hallucinations des LLM.

Le problème « strawberry » : compter les lettres, mission impossible

Reprenons la question du début. Si un LLM se trompe sur le nombre de r dans « strawberry », c'est parce qu'il ne voit jamais le mot lettre par lettre. Il voit des tokens, par exemple « str », « aw », « berry ». La structure caractère lui est en grande partie invisible, donc compter des lettres revient pour lui à deviner à l'aveugle.

Ce phénomène éclaire une catégorie entière d'erreurs : compter des caractères, inverser un mot, repérer une faute de frappe précise, ou manipuler des chiffres position par position. Ce ne sont pas des défauts d'intelligence, mais des angles morts liés à la tokenisation. Le même mécanisme aide à comprendre pourquoi les LLM sont si mauvais aux échecs, où chaque case doit être suivie avec une précision symbolique que les tokens ne garantissent pas.

Comment les modèles récents s'en sortent

Pour contourner le problème, les modèles récents s'appuient sur des étapes de raisonnement, sur du code exécuté en interne, ou sur des outils dédiés. Quand vous demandez à GPT, Gemini ou Mistral de compter précisément quelque chose, le meilleur réflexe reste de lui demander de « poser le calcul » étape par étape, ou d'utiliser un outil de calcul, plutôt que de lui faire confiance d'un coup.

Tokens et fenêtre de contexte : ce que votre prompt peut contenir

La fenêtre de contexte est la quantité maximale de tokens qu'un modèle peut traiter en une fois, votre requête et sa réponse comprises. En 2026, la barre du million de tokens est devenue courante : Gemini 3.1 Pro, GPT-5, Claude Opus, DeepSeek V4 ou Qwen affichent 1 million de tokens, pendant que Llama 4 Scout annonce jusqu'à 10 millions en open weights (poids ouverts, c'est-à-dire librement téléchargeables).

Un million de tokens, cela représente grossièrement 700 000 à 750 000 mots en anglais, soit plusieurs gros livres. Mais souvenez-vous de la taxe token : en français, cette même fenêtre contiendra nettement moins de contenu réel. Nous détaillons ce mécanisme dans notre article dédié à la fenêtre de contexte et pourquoi elle compte en 2026. À noter aussi que capacité annoncée et capacité réellement exploitable ne sont pas toujours identiques : au-delà d'un certain volume, la qualité d'attention du modèle se dégrade.

Combien coûtent les tokens ? Le prix caché de vos requêtes

Sur les API, tout se facture au token, avec un tarif d'entrée (votre prompt) et un tarif de sortie (la réponse), presque toujours plus élevé. Voici quelques repères de prix pour un million de tokens en 2026, convertis en euros au cours d'août 2026 (environ 1 dollar pour 0,92 euro). Ces tarifs évoluent vite, vérifiez toujours la grille officielle de l'éditeur.

La leçon est claire : entre un petit modèle économique et un modèle haut de gamme, le prix au token varie d'un facteur 30 ou plus. Pour une PME qui automatise des milliers de requêtes, le choix du modèle et la sobriété des prompts pèsent directement sur la facture. Réduire le nombre de tokens, c'est réduire le coût, tout simplement.

Trois réflexes pour dépenser moins de tokens

• Aller à l'essentiel : un prompt clair et court coûte moins qu'un pavé qui répète le contexte à chaque appel.
• Structurer proprement : Markdown et listes plutôt que HTML lourd ou JSON verbeux.
• Choisir le bon modèle : un petit modèle suffit souvent pour trier, résumer ou classer, sans mobiliser un modèle premium.

GEO : ce que les tokens changent pour votre contenu

Comprendre les tokens n'est pas qu'un exercice technique, c'est un levier de visibilité dans les moteurs génératifs. Un moteur comme ChatGPT, Perplexity ou Gemini lit votre page en tokens avant de décider s'il vous cite. Un contenu clair, découpé en paragraphes autonomes et bien structuré est plus économe en tokens et plus facile à extraire pour une citation.

C'est exactement la logique du GEO (Generative Engine Optimization), l'optimisation pour les moteurs génératifs. Chez Digital-m, nous constatons sur nos audits qu'un contenu allégé, avec des affirmations précises et sourçables placées tôt dans la page, est nettement mieux repris par les IA qu'un texte long et dilué. Si vous voulez transformer cette compréhension en visibilité concrète, notre agence GEO accompagne les PME, artisans et commerçants partout en France, et notre formation GEO certifiée Qualiopi permet à vos équipes de monter en compétence.

Ce qu'il faut retenir

Le token est l'unité invisible qui commande tout dans un LLM : la compréhension, le coût et la longueur de contexte. Un token vaut environ 4 caractères ou 0,75 mot en anglais, le français consomme à peu près 60 % de tokens en plus, et les modèles perdent la vue au niveau des lettres, d'où le fameux ratage sur « strawberry ». Côté budget, tout se facture au token, avec des écarts de prix considérables d'un modèle à l'autre. Et côté visibilité, un contenu léger et structuré se fait mieux citer par les IA.

Vous voulez savoir si vos contenus sont réellement lisibles et citables par les moteurs génératifs ? Demandez un audit GEO personnalisé à Digital-m, ou formez vos équipes avec notre formation dédiée. C'est le meilleur moyen de transformer ces mécanismes en trafic qualifié.