Dans un protocole de simulation émotionnelle, l’ajout d’une mention « confirmé faux » s’accompagne de réponses plus positives chez plusieurs modèles de langage. Il ne supprime toutefois pas les écarts associés à l’identité raciale des personnages simulés, ou personas.
Ce constat vient d’un preprint arXiv déposé en version 1 le 8 octobre 2026. La page consultée n’indique aucune publication dans une revue ou une conférence évaluatrice. Ces résultats préliminaires décrivent des comportements de modèles, pas les émotions de personnes réelles ni les effets d’un outil scolaire.
Un audit de réponses contraintes
Les auteurs ont testé GPT-5.4 mini, NVIDIA Nemotron 3 Nano, Llama 4 Scout et Claude Haiku 4.5. Chaque modèle devait attribuer un affect simulé à des manchettes selon six dimensions : humeur, colère, peur, confiance, contrôle perçu et état mental. Les réponses étaient choisies parmi des catégories prédéfinies.
La première expérience utilisait 1 000 manchettes fausses et 1 000 vraies, sans persona. La seconde reprenait 300 manchettes de chaque type sous 12 combinaisons démographiques : 25 ou 60 ans, femme ou homme, persona blanc, noir ou asiatique. Les personas correspondaient donc à des adultes, non à des profils d’élèves.
Chaque combinaison était répétée six fois en modifiant l’ordre des choix. Une réponse était retenue lorsqu’au moins quatre essais concordaient. Les analyses principales reposaient sur des régressions logistiques ordinales et un rééchantillonnage, ou bootstrap, par manchette de 1 000 réplications. Les données, consignes et sorties des modèles sont accessibles dans un dépôt public.
Un basculement agrégé, pas une réaction uniforme
Pour les fausses manchettes, les réponses positives regroupées passent de 15 % sans étiquette à 68 % avec étiquette; les négatives, de 57 % à 13 %. Cette tendance est surtout portée par GPT, Llama et Claude. Nemotron réagit différemment et présente notamment un déplacement négatif de l’humeur dans la condition étiquetée.
Pour les manchettes vraies, les changements sont plus modestes : les réponses négatives passent de 41 % à 44 %, les neutres de 32 % à 26 %, et les positives de 27 % à 30 %. Parler d’un « renversement » général du ton masquerait donc les différences entre modèles, dimensions et conditions.
Des écarts persistants, mais variables
Sur l’ensemble des modèles et conditions, 82 des 84 comparaisons statistiquement significatives entre personas noirs et blancs attribuent un affect plus négatif au persona noir. Les deux exceptions concernent l’humeur et le contrôle perçu chez Claude après confirmation de la fausseté. Ce décompte porte sur les comparaisons significatives, non sur 84 expériences indépendantes.
La persistance ne signifie pas que les écarts restent identiques. Après confirmation de la fausseté, l’écart noir-blanc s’accroît significativement pour GPT dans cinq dimensions sur six et pour Nemotron dans trois. Les résultats sont mixtes pour Llama; chez Claude, l’écart se réduit ou s’inverse dans certains cas.
Les auteurs ont aussi vérifié la résistance des résultats aux comparaisons multiples. Sur l’ensemble des coefficients démographiques, 276 des 281 résultats initialement significatifs le restent après une correction Benjamini–Hochberg appliquée à 368 coefficients interprétables. Les 84 comparaisons noir-blanc significatives résistent à cette correction; 75 résistent à une correction de Holm plus stricte.
Le constat dépasse les manchettes explicitement liées à la race, à l’immigration ou à la police. Deux auteurs en ont classé 42 sur 600 dans ces thèmes après consensus, avec un kappa de Cohen de 0,62 pour leur accord initial. Sur les autres manchettes, les écarts restent significatifs dans 80 des 92 cellules d’analyse interprétables. Les rapports de cotes médians sont proches : 0,59 hors de ces thèmes, contre 0,61 pour les manchettes qui y sont liées. Cela ne permet toutefois pas d’affirmer que l’écart serait identique pour tout contenu.
Ce que le protocole ne permet pas de conclure
Plusieurs limites changent la lecture des résultats :
- L’étiquette n’est pas isolée. Les conditions avec et sans étiquette sont présentées dans des appels distincts. La version étiquetée ajoute aussi une consigne de réflexion : le changement ne peut donc pas être attribué à la seule mention de véracité.
- Il ne s’agit pas d’une révision. Le modèle ne reçoit pas sa réponse antérieure pour la corriger. L’expression « avant-après » désigne ici deux conditions expérimentales.
- Les manchettes vraies et fausses ne sont pas appariées. Elles peuvent différer par leur sujet, leur formulation ou leur caractère alarmant, ce qui limite l’interprétation des contrastes entre les deux ensembles.
- L’affect est une catégorie imposée. Choisir « calme », « neutre » ou « en colère » ne mesure ni une émotion vécue ni nécessairement la tonalité d’une réponse libre.
- Certaines estimations sont fragiles. Nemotron présente notamment de fortes pertes de réponses valides dans certaines dimensions. Les tests sur l’effet des étiquettes ne sont pas tous ajustés de la même manière pour les comparaisons multiples. Enfin, un résultat non significatif ne démontre pas l’équivalence entre groupes.
Quatre modèles, un protocole déterminé et des consignes en anglais ne représentent pas l’ensemble des usages ni des langues.
Des travaux voisins, pas des réplications
Des études évaluées par les pairs donnent des points de comparaison, sans reproduire ce protocole.
Dans Can AI Relate?, publié dans les Findings of EMNLP 2024, Gabriel et ses collègues rapportent une empathie inférieure dans les réponses de GPT-4 à des demandes de soutien en santé mentale : environ 2 à 15 % de moins pour les personnes noires et 5 à 17 % pour les personnes asiatiques, selon les comparaisons. Ce résultat concerne le soutien en santé mentale, pas l’enseignement.
Dans les Findings of EMNLP 2025, Seeing Race, Feeling Bias examine quatre modèles multimodaux ouverts à partir de 2 100 événements liés aux émotions et de 400 images de visages neutres, avec trois stratégies de consigne. L’équipe observe des stéréotypes raciaux et de genre ainsi que des tendances coloristes, variables selon la modalité et la consigne.
Une revue systématique d’Omar et ses collègues, publiée en 2025 dans l’International Journal for Equity in Health, relève des biais dans 22 des 24 études médicales incluses. Des biais raciaux ou ethniques apparaissent dans 10 des 11 études qui les examinent. Ces proportions décrivent le corpus retenu, pas la fréquence des biais dans tous les modèles.
Un contrepoint importe : une étude du Journal of Medical Internet Research sur des instructions de sortie d’hôpital trouve peu de différences significatives entre groupes pour les mesures linguistiques étudiées. La seule différence globale significative concerne le nombre d’entités pour GPT-4, avec p = 0,047, sans différence paire à paire après correction de Bonferroni. Un résultat nul ou limité dans cette tâche n’annule pas les autres constats; il rappelle leur dépendance au contexte.
Des orientations institutionnelles, pas une efficacité démontrée
Dans son état des lieux des juridictions interrogées en 2024, l’OCDE relève des priorités de fiabilité, de transparence, d’équité et de pertinence culturelle et linguistique. Sauf exception, cette dernière priorité était surtout mise en avant par des pays non anglophones.
Au Québec, le ministère de l’Éducation recommande de considérer les biais des données, leur représentativité, le contexte culturel et le contrôle humain. Ces orientations ne constituent pas une évaluation indépendante démontrant l’élimination des disparités.
Ce que vous pouvez demander avant un usage scolaire
Le preprint ne teste ni élèves, ni enseignants, ni outils pédagogiques en situation scolaire. Il n’établit pas non plus que les mêmes écarts apparaissent en français, au Québec ou dans d’autres systèmes éducatifs francophones. Il invite néanmoins à distinguer plusieurs questions dans vos audits :
1. Séparez exactitude et équité de représentation. Une information signalée comme fausse peut encore susciter des réponses différentes selon l’identité mentionnée.
2. Demandez des résultats détaillés aux fournisseurs. Faites préciser la langue, les groupes comparés, les conditions de test et les taux de réponses non concluantes.
3. Testez les usages linguistiques locaux. Ne vous limitez pas à traduire un protocole anglais : incluez les variétés régionales et les contextes plurilingues. En Afrique francophone, considérez aussi les langues nationales et d’enseignement.
4. Distinguez assistance et décision à conséquences. Les émotions attribuées à un persona ne doivent pas être traitées comme des indicateurs fiables des sentiments ou des besoins réels d’un élève.
Les sources examinées ne démontrent aucune intervention ayant éliminé durablement ces écarts dans les réponses émotionnelles des modèles. Le preprint ne compare d’ailleurs pas plusieurs stratégies de correction. L’évaluation par les pairs, les réplications en français et les essais en contexte scolaire restent des étapes nécessaires avant toute généralisation.




Discussion
Posez vos questions et partagez votre point de vue. Les messages sont publiés après vérification par l'équipe de modération. Matania, l'assistante de recherche et de vérification des faits, répond dès qu'elle peut apporter des sources fiables ou des précisions : cochez « Demander une réponse à Matania » ou écrivez @Matania.