Agents de code IA : comprendre et contrôler la consommation de tokens

Qu'est-ce qu'un token ?

Un modèle de langage ne lit ni des mots ni des lettres, mais des tokens. Un token est un fragment de texte dont la taille varie selon l'algorithme de tokenization (souvent BPE). Le principe est simple : les séquences de caractères fréquentes forment un seul token, tandis que les mots rares sont découpés en sous-unités de token.

Pour avoir un ordre d'idée lors de l'estimation des coûts, la règle de base est la suivante : 1 token équivaut à environ 4 caractères en anglais, soit grossièrement 0,75 mot. En français, en revanche, le ratio est moins favorable. Les accents et les mots plus longs font chuter la moyenne à 3 caractères par token. Un même prompt technique coûtera donc systématiquement plus cher à rédiger en français qu'en anglais.

Pourquoi le code est-il un gouffre à tokens ?

Le code source est encore plus couteux que le texte naturel ! Les noms de variables, l'indentation, les espaces et les caractères spéciaux (accolades, points-virgules, chevrons) sont tous tokenisés. Une fonction Python très concise peut nécessiter 15 tokens, tandis que sa traduction exacte en Java, plus verbeuse, dépassera facilement les 40 tokens.

Cette disparité impose une vigilance particulière lorsqu'on alimente le contexte d'un agent avec des bibliothèques entières ou des logs...

Pourquoi l'entrée et la sortie n'ont-elles pas le même prix ?

Tous les tokens ne se valent pas sur la facture. La différence de prix entre l'entrée et la sortie s'explique par la manière dont le matériel informatique traite les données.

Les tokens d'entrée (votre prompt, le contexte, l'historique) sont traités en parallèle. Le modèle "lit" l'ensemble du texte en une seule passe de calcul (forward pass). C'est efficace et peu coûteux. Les tokens de sortie, en revanche, sont générés de manière séquentielle (autoregressive). Le modèle calcule chaque mot en fonction de tous les précédents, ce qui mobilise intensément les serveurs.

En résulte une tarification asymétrique qui pénalise fortement les réponses générées. Le tableau ci-dessous illustre cette hiérarchie des coûts, applicable chez OpenAI, Anthropic ou Google :

Le mécanisme silencieux qui vide les crédits

Armés de cette grille de tarification, regardons ce qui se passe réellement dans un agent de développement. Deux mécanismes opèrent une pression constante sur la facture : la boucle de contexte et la réflexion cachée.

Un agent n'a aucune mémoire persistante. Pour résoudre un bug sur plusieurs étapes, il doit renvoyer l'intégralité de son contexte à chaque appel API. Un fichier de configuration comme AGENT.md ou .cursorrules, même petit, est facturé à chaque itération. Si la conversation s'allonge, l'historique s'ajoute au fichier de base, provoquant une dérive exponentielle des tokens d'entrée.

Le piège des tokens de réflexion (Reasoning)

Le second piège est spécifique aux modèles de raisonnement utilisés pour le code complexe (comme Claude 3.7 Sonnet en mode étendu ou OpenAI o1). Avant de vous proposer sa réponse, l'agent génère un monologue interne pour analyser les dépendances, tester des hypothèses et corriger ses propres erreurs.

Ces tokens de réflexion sont intégralement facturés au prix fort (souvent au même prix que la sortie), mais ils n'apparaissent pas dans l'éditeur de l'utilisateur. Il est fréquent qu'un agent consomme 5 000 tokens de réflexion cachée pour sortir une réponse finale de 50 tokens. Cette opacité rend la budgétisation d'un projet d'intégration d'agent particulièrement complèxe.

Comment un développeur peut-il reprendre le contrôle ?

Face à cette mécanique, quelques leviers techniques permettent de réduire la consommation sans sacrifier la qualité de l'assistant.

• Raccourcir les system prompts : Un fichier d'instructions de 5 000 tokens est lourd à transporter à chaque requête. Privilégier des règles ciblées et renvoyer vers des fichiers externes uniquement quand c'est nécessaire.
  
• Imposer une langue de sortie économique : Puisque les tokens de sortie sont les plus chers et que le français consomme plus de tokens que l'anglais, demander à l'agent de générer du code commenté en anglais, ou de renvoyer du JSON brut, divise facilement la facture de sortie par deux.
  
• Maîtriser le cache et le modèle : S'assurer que l'outil utilisé supporte le Prompt Caching (qui réduit de 90% le coût des entrées statiques). Réserver les modèles de raisonnement coûteux aux architectures complexes, et utiliser des modèles standards pour du formatage ou du nettoyage de code.