L'intégration fulgurante des grands modèles de langage (LLM) dans le travail quotidien des chercheurs pose un défi inédit aux institutions universitaires. Comment former efficacement de futurs chercheurs à l'éthique de l'intelligence artificielle alors que leurs niveaux de pratique et de perception sont extrêmement disparates ? Pour répondre à cette question, des chercheurs ont exploré une piste innovante : utiliser l'intensité d'engagement des étudiants comme signal de modélisation pour adapter l'enseignement.
Une étude récente, diffusée sous forme de preprint sur la plateforme arXiv, apporte des éclairages sur la manière d'évaluer le profil des apprenants avant une formation. Ses conclusions bousculent certaines idées reçues : pour concevoir un enseignement adaptatif efficace, il s'avère bien plus utile de demander à un étudiant à quelle fréquence il utilise ChatGPT que de lui demander s'il a déjà suivi un cours sur l'IA.
L'expérience : décoder le profil des apprenants
L'étude, intitulée "Engagement Intensity as a Learner-Modeling Signal for Adaptive AI Ethics Instruction", s'est penchée sur un groupe de 93 doctorants et postdoctorants en biosciences inscrits à un cours obligatoire d'éthique de la recherche. L'objectif des chercheurs était d'identifier le meilleur indicateur initial (ou intake feature) permettant de prédire les perceptions, les attentes et le niveau de confiance des étudiants vis-à-vis des LLM, afin d'ajuster le contenu du cours en conséquence.
Pour ce faire, l'équipe de recherche a comparé l'efficacité de trois indicateurs distincts recueillis via un court questionnaire d'entrée :
1. La fréquence d'utilisation autodéclarée (l'intensité d'engagement pratique avec les LLM).
2. La familiarité auto-évaluée (la perception subjective qu'a l'étudiant de sa propre connaissance des LLM).
3. La formation antérieure en IA (le fait d'avoir déjà suivi des cours ou assisté à des ateliers sur le sujet).
Ces trois indicateurs ont été mis en corrélation avec cinq variables de perception de l'IA, notamment l'intérêt pour la formation, la confiance accordée à l'exactitude des résultats générés par les LLM, et la sensibilité aux biais algorithmiques.
Les résultats : l'usage réel l'emporte sur le diplôme
Les conclusions de cette recherche sont particulièrement instructives pour les concepteurs de programmes pédagogiques. Contre toute attente, l'existence d'une formation antérieure en IA n'a montré aucune association statistiquement significative avec les cinq variables de perception des étudiants. En d'autres termes, savoir qu'un étudiant a déjà suivi un atelier sur l'IA ne permet absolument pas de deviner son attitude, ses attentes ou ses biais de confiance actuels face aux LLM.
A l'inverse, la fréquence d'utilisation s'est révélée être l'indicateur le plus puissant. Après application des corrections statistiques rigoureuses de Holm, la fréquence d'usage présente des associations significatives avec l'ensemble des cinq variables de perception étudiées. La familiarité auto-évaluée, quant à elle, n'était corrélée qu'à trois d'entre elles.
L'étude met également en évidence un "effet de seuil" marqué, plutôt qu'un gradient uniforme. Les utilisateurs très occasionnels ou novices affichent des profils radicalement différents des utilisateurs réguliers, notamment en ce qui concerne leur intérêt pour la formation et leur niveau de confiance dans l'exactitude des données générées. Cet effet de seuil suggère qu'un simple questionnaire binaire ou à choix multiples sur la fréquence d'usage suffit à segmenter efficacement une cohorte pour lui proposer des parcours d'apprentissage différenciés.
Le contexte : l'urgence d'une acculturation éthique sur mesure
Cette recherche s'inscrit dans un contexte mondial de structuration de l'enseignement de l'IA. Les institutions internationales, à l'instar de l'UNESCO avec ses récents référentiels de compétences en IA pour les élèves et les enseignants, soulignent la nécessité d'intégrer une dimension éthique forte dès le plus jeune âge et tout au long de l'enseignement supérieur.
Dans le domaine de la recherche scientifique, cette nécessité est encore plus pressante. L'usage non régulé ou mal compris des LLM dans la rédaction d'articles, la revue par les pairs ou l'analyse de données pose des risques majeurs d'hallucinations scientifiques, de reproduction de biais et de violation de la propriété intellectuelle. Cependant, proposer une formation uniforme à l'éthique de l'IA s'avère souvent contre-productif : les étudiants experts s'y ennuient, tandis que les novices se sentent dépassés par des concepts trop abstraits. La personnalisation de ces parcours est donc devenue le nouveau défi des universités.
Limites méthodologiques d'un travail en cours
En tant que professionnels de la veille éducative, il convient toutefois d'analyser ces résultats avec la prudence méthodologique nécessaire. Ce document est un preprint, ce qui signifie qu'il n'a pas encore été soumis à une évaluation rigoureuse par les pairs (peer-review) au moment de sa diffusion sur arXiv. Ses conclusions, bien que stimulantes, doivent être considérées comme provisoires.
De plus, l'échantillon de l'étude est relativement restreint (93 participants) et très ciblé (doctorants et postdoctorants en biosciences au sein d'une seule et même institution). Les comportements et perceptions de ce public hautement qualifié ne sont pas nécessairement transposables à des étudiants de licence ou à des filières en sciences humaines. Enfin, l'étude repose sur des données autodéclarées, un format qui comporte intrinsèquement des biais de désirabilité sociale ou de perception de soi.
Quelles perspectives pour l'espace francophone ?
Malgré ces limites, cette recherche offre des pistes d'action concrètes et immédiatement transférables pour les équipes pédagogiques des universités et grandes écoles francophones.
Lors de la mise en place de modules de formation à l'intégrité scientifique ou à l'usage éthique des technologies de rupture, il est fréquent de vouloir évaluer le niveau des étudiants à travers leurs acquis académiques théoriques. Cette étude suggère qu'il est plus pertinent, plus rapide et moins coûteux de mettre en place un micro-diagnostic basé sur la pratique réelle.
En intégrant une simple question sur la fréquence d'utilisation des LLM lors de l'inscription à un cours, les enseignants peuvent :
- Créer des groupes de niveau éthique : séparer les utilisateurs intensifs (qui ont besoin d'une réflexion poussée sur les biais subtils et la propriété intellectuelle) des utilisateurs novices (qui doivent d'abord comprendre le fonctionnement technique et les limites de fiabilité de base).
- Optimiser le temps d'enseignement : éviter de dispenser des rappels théoriques inutiles à des étudiants qui pratiquent quotidiennement, pour se concentrer sur des études de cas pratiques.
- Responsabiliser l'étudiant : l'amener à réfléchir sur son propre rapport de dépendance à l'outil informatique.
À l'heure où les universités francophones cherchent à standardiser leurs chartes d'usage de l'IA générative, cette approche pragmatique centrée sur l'expérience vécue de l'apprenant pourrait bien être la clé d'une formation éthique véritablement efficace et acceptée par les étudiants.
Discussion
Posez vos questions et partagez votre point de vue. Matania, l'assistante de recherche et de vérification des faits, lit les commentaires et y répond dès qu'elle peut apporter des sources fiables ou des précisions. Les liens ne sont pas autorisés : citez vos sources par leur nom.