IA en sciences sociales : vérifier les sources au-delà des biais nationaux
Pratiques pédagogiques

IA en sciences sociales : vérifier les sources au-delà des biais nationaux

États-UnisChine
Votre avis sur cet article

Sur 200 réponses à des questions de sciences sociales, les auteurs d’un preprint n’ont pas repéré de biais national manifeste et généralisé en faveur du pays d’origine des modèles. Ils ont néanmoins classé neuf réponses comme présentant un penchant modéré vers les États-Unis ou la Chine. Leur analyse relève aussi des différences dans les sources et les cadres d’interprétation mobilisés. Pour les équipes enseignantes, ces observations offrent des pistes de travail critique, mais aucune preuve d’efficacité pédagogique.

Un audit limité, pas un certificat de neutralité

Le travail intitulé « Can AI be a ‘Researcher Without Borders’? » est une prépublication dont la version arXiv consultée est datée du 10 novembre 2026. Aucune publication dans une revue ni aucune évaluation par les pairs n’est établie dans le dossier disponible. Il faut donc éviter de présenter son statut comme celui d’une étude évaluée.

Le protocole croise cinq modèles — deux développés aux États-Unis, deux en Chine et un en Europe —, dix questions de sciences sociales et quatre conditions de formulation, soit 200 réponses générées. Certaines questions comparent les États-Unis et la Chine; d’autres concernent un seul pays ou des enjeux généraux. Les consignes sont en anglais.

Les réponses ont été produites avec la recherche Web activée, par l’intermédiaire d’OpenRouter. Les moteurs de recherche et leurs configurations différaient selon les modèles. L’audit examine donc des ensembles associant un modèle et des outils de recherche, plutôt que des modèles placés dans des conditions techniques identiques.

Des penchants ponctuels et des cadrages différents

Les auteurs ont codé quatre réponses comme penchant vers les États-Unis et cinq vers la Chine. Ces nombres reposent sur leur appréciation humaine : ils ne constituent pas une mesure indépendante ou officielle du biais.

Le résultat ne permet ni de déclarer les modèles exempts de biais ni d’étendre le constat à tous les sujets, toutes les langues ou tous les usages. Dans cet échantillon, le protocole n’a simplement pas identifié de biais national fort et généralisé.

L’origine nationale ne suffit pas non plus à expliquer les différences observées. Les deux modèles américains se distinguaient notamment par les catégories de sources utilisées. Il serait donc injustifié de supposer que des outils développés dans un même pays proposent des réponses semblables.

Davantage de références ne signifie pas davantage de fiabilité

Les auteurs ont recensé 2 466 entrées de sources, dont 59,2 % de sources académiques. Il s’agit d’un décompte d’entrées, pas nécessairement de références distinctes. Surtout, leur exactitude, leur pertinence et leur qualité n’ont pas été évaluées.

La présentation des références varie selon les conditions de formulation. Des citations intégrées au texte apparaissent dans 24 % des réponses de la condition de base, contre 52 à 66 % dans les conditions attribuant au modèle une identité de chercheur. Le nombre moyen de sources varie de 6,98 à 15,04 selon les conditions.

Ces écarts ne démontrent toutefois pas l’effet propre de l’identité assignée. La condition de base différait aussi par la demande de rédaction académique : la comparaison ne permet pas d’isoler ce qui relève de l’une ou de l’autre composante de la consigne.

Les différences entre modèles sont également importantes. Selon le codage des auteurs, GPT présentait des citations intégrées dans 95 % des réponses, contre aucune pour Gemini, qui fournissait néanmoins des sources séparées. Cet indicateur décrit une forme de présentation, pas un classement de fiabilité scientifique.

Un codage et des comparaisons à interpréter prudemment

Après un essai pilote, deux chercheurs ont codé indépendamment un sous-ensemble de 30 réponses. Leur accord atteignait 73,9 % pour les catégories de sources, avec un kappa de Cohen de 0,649. Pour la présence et le type de présentation des sources, l’accord était de 100 %, avec un kappa de 1,000. Un seul codeur a ensuite annoté 150 réponses.

Deux précautions en découlent. La majorité des réponses n’a pas fait l’objet d’un double codage. Et le kappa de 0,649 concerne les catégories de sources : il ne mesure pas la fiabilité du classement des biais nationaux.

Outre les différences entre outils de recherche, la température était laissée aux réglages par défaut des fournisseurs. Les écarts observés ne peuvent donc pas être attribués uniquement au modèle ou à son origine géographique. Les auteurs ne peuvent pas davantage déterminer s’ils proviennent des données d’entraînement, du post-entraînement ou des outils de recherche. Ils n’ont testé aucune méthode de réduction des biais.

Ce que les recherches pédagogiques apportent — et ne prouvent pas

Le lien avec l’enseignement reste indirect : le preprint examine des réponses à des questions de sciences sociales, pas les résultats d’une intervention en classe.

Deux travaux évalués par les pairs apportent un complément. Dans Education and Information Technologies en 2024, Bower et ses collègues présentent une étude mixte portant sur les perceptions de 318 éducateurs, issus de niveaux, disciplines et régions variés. Les répondants mettent notamment l’accent sur l’apprentissage avec l’IA, la pensée de haut niveau, les valeurs éthiques, les processus d’apprentissage et les relations en présence. Il s’agit de perceptions et de pratiques envisagées, non d’une estimation expérimentale des effets sur les apprentissages.

La revue systématique et bibliométrique d’Ogunleye et de ses collègues, publiée dans Education Sciences en 2024, a repéré 625 notices dans Scopus et retenu 355 articles, selon une démarche suivant PRISMA. Elle cartographie les publications, les thèmes et les collaborations en enseignement supérieur, dont un thème « biais et inclusion ». Ce n’est pas une méta-analyse d’effets pédagogiques. Sa dimension internationale ne permet pas non plus de comparer directement l’efficacité des pratiques entre systèmes éducatifs.

Un cadre international, sans classement des pays

L’UNESCO recommande de vérifier les biais et la représentativité des systèmes, de former les enseignants et les chercheurs, et de préserver la diversité linguistique et culturelle. Ces orientations institutionnelles ne constituent pas une évaluation indépendante de l’efficacité d’une méthode pédagogique précise.

L’organisation rapporte aussi qu’en mai 2023, moins de 10 % des plus de 450 établissements répondants disposaient de politiques ou de directives formelles sur l’IA générative. L’enquête concernait ses réseaux d’écoles associées et de chaires universitaires, pas un échantillon permettant de décrire tous les établissements du monde.

La répartition des répondants était de 44 % en Europe et en Amérique du Nord, 23 % en Asie-Pacifique, 17 % en Amérique latine et dans les Caraïbes, 11 % en Afrique et 5 % dans les États arabes. Ces proportions décrivent la participation à l’enquête. Elles ne permettent pas de conclure que les régions moins représentées avaient moins de directives. Ce résultat de 2023 ne décrit pas non plus la situation actuelle au Québec ou ailleurs.

Quatre pistes pour vos cours francophones

Le preprint ne mesure pas de réponses en français. Il ne permet donc aucune conclusion propre au Québec, à la France, à la Belgique, à la Suisse ou à l’Afrique francophone. Les activités suivantes sont des propositions déduites des limites observées, et non des interventions validées par cette étude.

  • Comparer les réponses. Soumettez une même question à plusieurs modèles, puis demandez aux étudiants de relever les cadres théoriques, les désaccords et les voix absentes. L’objectif proposé est d’examiner les choix d’analyse, pas de désigner automatiquement un outil gagnant.
  • Vérifier les références. Faites distinguer leur existence, leur contenu et leur pertinence pour l’argument avancé. Une bibliographie abondante ne dispense pas de cette vérification : l’audit n’a pas mesuré la qualité des sources.
  • Cartographier la couverture linguistique. Demandez aux étudiants de distinguer les sources francophones, anglophones et autres, puis leurs catégories, académiques ou médiatiques notamment. Cette exploration peut rendre visibles des asymétries, sans présumer de leur ampleur en français.
  • Documenter les conditions de production. Faites consigner le modèle, la formulation exacte de la demande et l’activation de la recherche Web. Si plusieurs éléments changent simultanément, demandez aux étudiants de ne pas attribuer les écarts à un seul facteur.

La leçon n’est donc pas que les IA seraient « sans frontières » ou sans biais. Ce protocole invite plutôt à examiner ensemble leurs réponses, leurs références et leurs conditions de production. Pour savoir si les activités proposées améliorent réellement les apprentissages, il faudra des évaluations pédagogiques, notamment en français, que les travaux présentés ici ne fournissent pas.

Sources citées

Corpus de veille

Fils consultés pour choisir l'angle. Ils documentent la matière première, pas des citations du texte.

Discussion

Posez vos questions et partagez votre point de vue. Les messages sont publiés après vérification par l'équipe de modération. Matania, l'assistante de recherche et de vérification des faits, répond dès qu'elle peut apporter des sources fiables ou des précisions : cochez « Demander une réponse à Matania » ou écrivez @Matania.