Des chercheurs de l’University of the Basque Country et de Cardiff University ont testé huit grands modèles de langage sur 31 680 questions ouvertes, posées en 24 langues. Résultat, quand les réponses sortent du pays associé à la langue, le Japon apparaît de façon disproportionnée, devant les États-Unis et l’Inde. L’étude pointe une représentation régionale concentrée sur quelques zones dominantes.
Le web a longtemps eu ses tropismes culturels. Les modèles d’IA générative, conçus pour répondre à tout, semblent reproduire une partie de ces réflexes, avec un tropisme mesurable vers le Japon.
31 680 questions en 24 langues pour tester huit modèles
L’étude citée s’appuie sur un protocole construit pour éviter les indices trop visibles. Les chercheurs annoncent un corpus de 31 680 questions ouvertes mais ancrées culturellement, rédigées dans 24 langues. L’objectif est de mesurer les biais culturels et régionaux de modèles dits de pointe, en observant vers quelles régions ils se tournent quand on leur demande des exemples culturels.
Le questionnaire couvre 66 sous-thèmes regroupés en 11 domaines, de la vie quotidienne aux normes sociales. Les questions portent, par exemple, sur les légendes, la place des voisins, les matières valorisées à l’école, les danses traditionnelles, les repas du quotidien. Point central, les formulations évitent de citer explicitement un pays, une région, une nationalité ou une aire culturelle identifiable.
Après la question initiale, les modèles reçoivent une instruction supplémentaire, sélectionner explicitement un pays ou une région et s’en servir pour donner des exemples. Ce mécanisme permet de distinguer ce qui relève d’une réponse automatique liée à la langue, et ce qui relève d’une préférence quand le modèle choisit un référent externe.
Huit systèmes ont été évalués, dont ChatGPT, Gemini, Claude, Meta Llama et DeepSeek. Les auteurs insistent sur la standardisation des prompts pour limiter les variations d’interprétation, afin que les hypothèses culturelles proviennent des priorités internes du modèle plutôt que d’un biais introduit par la consigne.
Les réponses suivent souvent la langue, mais le Japon domine hors pays d’origine
Premier constat, sans surprise, les modèles tendent à associer une langue à son pays ou à sa zone culturelle la plus évidente. Une question en français déclenche fréquemment des exemples liés à la France, une question en espagnol renvoie souvent à l’Espagne ou à l’Amérique hispanophone, une question en japonais renvoie au Japon. Cette partie du résultat sert de point de comparaison, car elle traduit une forme de réflexe linguistique attendu.
Le signal le plus commenté par l’étude apparaît quand les réponses s’écartent de cette association. Les chercheurs distinguent ces cas, qualifiés d’ exogènes, quand le modèle choisit un pays différent de celui généralement associé à la langue de la question. Dans ces réponses exogènes, le Japon devient la référence la plus fréquente.
Selon le résumé rapporté, six modèles sur huit privilégient le Japon dans ces réponses. Les États-Unis arrivent ensuite, puis l’Inde, la Chine et la France. Le point saillant est la régularité du phénomène, car il est observé dans les 24 langues testées, ce qui suggère un biais transversal plutôt qu’un effet limité à quelques langues.
Les auteurs notent aussi que, une fois les mentions du pays attendu retirées, les modèles citent le Japon de façon majoritaire dans sept domaines sur onze. Autrement dit, quand on retire l’effet mécanique langue pays, il reste un tropisme vers un petit nombre de régions dominantes, avec le Japon en tête.
Pourquoi les modèles privilégient-ils le Japon dans leurs exemples culturels?
L’étude ne se contente pas d’une observation anecdotique. Elle décrit un schéma de représentation régionale concentrée, ce qui renvoie à la manière dont les données d’entraînement façonnent les réponses. Les LLM sont nourris de corpus massifs issus du web, de livres, d’archives et de contenus sous licence. Si certains pays et productions culturelles sont surreprésentés dans ces sources, le modèle tend à les mobiliser plus facilement.
Dans le cas du Japon, plusieurs facteurs plausibles s’additionnent. D’abord, la présence mondiale d’industries culturelles exportées, comme l’anime, le manga et le jeu vidéo, génère une quantité importante de textes, de critiques, de wikis, de forums et de métadonnées en de nombreuses langues. Cette abondance multiplie les chemins statistiques vers des références japonaises lors de questions ouvertes sur des pratiques culturelles.
Ensuite, la culture populaire japonaise est souvent décrite avec un niveau de détail élevé, personnages, genres, écoles esthétiques, studios, périodes, ce qui fournit aux modèles des éléments concrets faciles à réutiliser pour illustrer une réponse. Face à une question générale sur des danses, des repas ou des traditions, un modèle peut préférer un exemple précis et documenté plutôt qu’une référence plus diffuse.
Enfin, les mécanismes d’alignement, la recherche de réponses utiles et l’optimisation vers des exemples connus du grand public peuvent renforcer ce biais. Dans une conversation, citer un référent largement reconnu réduit le risque de produire une réponse trop vague. Ce choix peut être rationnel du point de vue de la génération, mais il crée un déséquilibre, puisqu’il éclipse d’autres régions moins présentes dans les données ou moins décrites en détail.
Un biais culturel mesuré, avec des effets concrets pour l’éducation et les produits IA
Ce type de biais n’est pas seulement un sujet de curiosité. Les modèles sont utilisés dans des contextes d’éducation, de recherche d’information, de rédaction, d’assistance au voyage ou de création de contenus. Si les exemples culturels reviennent trop souvent vers les mêmes pays, les utilisateurs peuvent recevoir une vision appauvrie de la diversité culturelle, même quand la question porte sur des pratiques locales.
Dans une salle de classe, un enseignant qui demande des exemples de légendes, de fêtes ou de coutumes peut obtenir des réponses répétitives centrées sur quelques régions, dont le Japon et les États-Unis. À l’échelle d’une plateforme, cela peut orienter la production de contenus, les recommandations et la manière dont des thèmes culturels sont vulgarisés, avec un risque de standardisation.
Pour les entreprises qui intègrent des LLM, l’enjeu devient opérationnel. Un assistant destiné à un public francophone, arabophone ou swahiliphone doit pouvoir proposer des exemples pertinents localement, sans basculer systématiquement vers des références mondialement dominantes. Cela suppose des évaluations régulières, des jeux de tests multilingues, et parfois des ajustements via des données complémentaires ou des règles de génération.
Le sujet se prête à une lecture comparative. Les résultats mentionnent une hiérarchie récurrente, et la logique langue pays coexiste avec une préférence exogène. Le tableau ci-dessous synthétise les éléments chiffrés rapportés.
| Indicateur mesuré | Résultat rapporté | Lecture possible |
|---|---|---|
| Nombre de questions | 31 680 | Échantillon large pour observer des tendances |
| Langues testées | 24 | Biais observé au-delà d’une seule aire linguistique |
| Modèles évalués | 8 (dont ChatGPT, Gemini, Claude, Llama, DeepSeek) | Comparaison multi-systèmes, pas un cas isolé |
| Préférence pour le Japon en réponses exogènes | 6 sur 8 modèles | Tropisme récurrent quand le modèle choisit un autre pays |
| Domaines où le Japon domine hors pays d’origine | 7 sur 11 | Effet transversal selon les thèmes culturels |
Les auteurs décrivent ce schéma comme une représentation régionale inégale, concentrée sur un petit nombre de régions dominantes. Pour les concepteurs, la question devient celle des garde-fous, tests de robustesse, diversification des corpus, et transparence sur les limites, surtout quand l’outil sert à décrire des cultures et des sociétés.
