Pourquoi ChatGPT ou Claude répondent parfois en chinois ?
Un utilisateur pose une question à Claude ou à ChatGPT. La réponse arrive cohérente, sauf qu'un caractère chinois s'est glissé entre deux mots, sans rapport avec le sujet traité ni avec la langue utilisée. Le cas circule régulièrement sur les réseaux sociaux et les forums de développeurs. Il touche les modèles chinois comme les modèles occidentaux, quelle que soit la langue de la conversation, et la raison tient à la manière dont ces systèmes sont entraînés et dont ils raisonnent en interne.
Un caractère chinois s'invite dans une réponse : que se passe-t-il ?
Certains signalements décrivent des caractères chinois qui clignotent brièvement à l'écran avant de disparaître, un artefact de rendu côté interface qui n'a rien à voir avec le modèle. Le cas qui intrigue le plus reste différent : le caractère demeure dans le texte final, intégré à la phrase, parfois au cœur même d'un mot.
Un signalement posté sur le forum développeur d'OpenAI illustre ce second cas : un caractère chinois inséré au milieu d'un mot russe, dans une citation connue. Le modèle a donc réellement généré ce token, quelle que soit la langue de la réponse.
Le tokenizer et le poids du chinois dans les corpus d'entraînement
Les modèles de langage découpent le texte en unités appelées tokens avant de le traiter. Pour le chinois, un seul caractère porte souvent un sens complet et fonctionne comme un token à part entière. Les corpus d'entraînement des grands modèles restent dominés par l'anglais et le chinois, loin devant les autres langues.
Ce déséquilibre crée des points où un token chinois devient un candidat statistiquement proche d'un concept déjà rencontré en anglais, surtout quand le modèle a vu la même idée exprimée des milliers de fois dans les deux langues côte à côte. Un mot isolé se retrouve alors remplacé par son équivalent chinois, sans lien avec la requête posée.
Pourquoi les modèles de raisonnement comme DeepSeek-R1 changent de langue en cours de réflexion
Le phénomène gagne en visibilité avec les modèles entraînés à produire de longues chaînes de raisonnement interne. DeepSeek l'a documenté dans sa publication sur R1 : la première version, R1-Zero, combinait anglais et chinois dans une même trace de raisonnement. Le problème persiste pour des requêtes posées dans une troisième langue, faute d'un entraînement suffisant dans cette langue.
Des travaux de recherche plus récents apportent un résultat contre-intuitif. Sur des problèmes de mathématiques, un modèle qui alterne anglais et chinois pendant sa réflexion obtient parfois de meilleurs résultats qu'un modèle contraint à une seule langue, à l'image d'une personne bilingue qui jongle entre deux langues pour résoudre un problème complexe. Le mélange linguistique agit alors comme un sous-produit de l'entraînement par renforcement, avec un bénéfice mesurable sur certaines tâches plutôt qu'un simple défaut.
Claude et ChatGPT peuvent aussi produire du chinois : la question de la distillation
Le sens inverse existe. Une capture d'écran diffusée sur X montre Claude Opus 5 insérer le caractère chinois signifiant "besoin" au milieu d'une phrase anglaise. L'exemple circule en anglais, mais le mécanisme n'a rien de spécifique à cette langue : les modèles occidentaux raisonnent presque exclusivement en anglais en interne, quelle que soit la langue de sortie demandée, français compris, et leurs corpus d'entraînement contiennent une part de texte chinois ainsi qu'un volume croissant de texte généré par d'autres modèles et republié sur le web.
Ce constat a nourri des spéculations sur une distillation, c'est-à-dire l'hypothèse qu'un modèle occidental aurait absorbé des traces de raisonnement issues d'un modèle chinois.
Une fuite de token dans une langue donnée reste un signal faible : elle peut provenir d'un texte web ordinaire, d'une donnée synthétique, d'un prompt fragile, ou d'exemples bilingues présents en nombre dans le corpus. La contamination croisée entre modèles complique la tâche pour tous les laboratoires. Une fois publiées sur le web, les sorties d'un modèle deviennent des données d'entraînement pour les modèles suivants, et la provenance devient plus difficile à établir avec le temps.
Le phénomène plus large des tokens glitch
Ce mélange de langues rejoint une catégorie identifiée par les chercheurs sous le nom de tokens glitch : des tokens rares ou mal représentés dans le corpus d'entraînement, à l'origine de sorties inattendues comme des répétitions, des hallucinations ou l'insertion de caractères sans rapport avec le contexte. Certains caractères chinois, nombreux dans le vocabulaire du tokenizer mais peu utilisés hors contexte chinois, se comportent comme des tokens à la probabilité mal calibrée, plus susceptibles de surgir au mauvais endroit d'une génération.
Sources
- DeepSeek-AI, arXiv 2501.12948 : publication de recherche sur DeepSeek-R1 et le mélange de langues dans les traces de raisonnement.
- Li et al., arXiv 2507.15849 : étude sur l'effet du mélange linguistique sur le raisonnement des modèles bilingues.
- Rai et al., arXiv 2404.09894 : catégorisation et détection des tokens glitch dans les grands modèles de langage.
- Wikipedia, Glitch token : définition générale et exemples de tokens glitch.
Pourquoi ChatGPT insère-t-il parfois un caractère chinois dans une réponse ?
Le tokenizer traite un caractère chinois comme une unité à part entière, et les corpus d'entraînement contiennent une grande quantité de texte chinois. À certains points de la génération, un token chinois devient statistiquement proche d'un mot déjà vu dans le même contexte, y compris quand le modèle raisonne en anglais en interne, ce qui provoque son insertion inattendue dans la réponse finale.
Le mélange de langues dans les réponses d'une IA est-il un bug ?
Pas toujours. Dans les traces de raisonnement de modèles comme DeepSeek-R1, le mélange entre anglais et chinois peut même améliorer les résultats sur certaines tâches de mathématiques, en agissant comme un raisonnement bilingue plutôt que comme une erreur.
Un caractère chinois dans une réponse de Claude prouve-t-il une distillation ?
Non. Une fuite de token dans une langue donnée est un signal faible qui peut venir de texte web ordinaire, de données synthétiques ou d'exemples bilingues du corpus d'entraînement. Elle ne constitue pas une preuve de distillation à elle seule.
Qu'est-ce qu'un token glitch ?
Un token glitch est un token rare ou mal représenté dans le corpus d'entraînement d'un modèle, à l'origine de sorties inattendues comme des répétitions, des hallucinations ou l'insertion de caractères sans rapport avec le contexte de la conversation.
