Évaluer l'IA à l'école : pourquoi les benchmarks généraux ne suffisent plus

L'intégration des grands modèles de langage (LLM) dans l'éducation ne relève plus de la science-fiction. Qu'ils agissent comme tuteurs personnalisés, assistants de préparation pour les enseignants ou générateurs de ressources pédagogiques, ces outils transforment rapidement les pratiques. Cependant, une question cruciale demeure : comment s'assurer qu'un modèle de langage est véritablement adapté à un public scolaire ?

Jusqu'à présent, les performances des IA étaient mesurées à l'aide de benchmarks généralistes axés sur la culture générale ou la résolution de problèmes mathématiques complexes. Mais exceller à un examen de médecine ou de droit ne garantit en rien la capacité d'accompagner un élève de troisième en difficulté. C'est pour combler ce fossé qu'une équipe de chercheurs a développé ELBench (Education-Facing Large Language Models Benchmark), une initiative qui propose d'évaluer les IA sous le prisme exclusif des exigences éducatives.

Une source préliminaire à analyser avec recul

Avant d'analyser les apports de cette étude, il convient d'en préciser la nature. Le document de recherche présentant ELBench est actuellement publié sous forme de preprint sur la plateforme arXiv. Cela signifie qu'il n'a pas encore fait l'objet d'une évaluation par les pairs (peer review) par un comité de lecture indépendant.

Bien que les preprints permettent de diffuser rapidement des innovations technologiques majeures, ils doivent être abordés avec prudence. Les méthodologies présentées, bien que rigoureuses en apparence, n'ont pas encore été validées par la communauté scientifique internationale. De plus, ce type de recherche émane souvent d'équipes travaillant en étroite collaboration avec des acteurs technologiques, ce qui peut induire des biais dans la sélection des modèles testés ou dans la conception des données de test synthétiques.

Au-delà des connaissances : les quatre piliers de l'évaluation éducative

Pour qu'une IA franchisse le seuil d'une classe, elle doit posséder des compétences qui dépassent la simple restitution de connaissances. Le projet ELBench propose d'évaluer les modèles selon quatre dimensions interconnectées :

1. La capacité générale (General Capability) : Il s'agit de vérifier si le modèle comprend les concepts fondamentaux et sait structurer ses réponses de manière logique.
2. La sûreté et la confiance (Safety and Trustworthiness) : En milieu scolaire, l'IA doit être un espace sécurisé. Elle doit résister aux tentatives de manipulation des élèves (les jailbreaks), refuser de générer des contenus inappropriés, haineux ou biaisés, et ne pas encourager la triche.
3. L'éducation de base (Basic Education) : Cette dimension évalue la conformité des réponses avec les programmes scolaires et la capacité à expliquer des concepts simples sans jargonner.
4. La culture de haut niveau (High-Level Cultivation) : C'est sans doute l'aspect le plus novateur. Un bon tuteur ne donne pas directement la réponse ; il guide l'élève. Cette dimension évalue l'aptitude du modèle à pratiquer la maïeutique, à proposer un étayage pédagogique progressif et à s'adapter au niveau de l'apprenant.

Le piège de la réponse directe : l'art de l'étayage

Les benchmarks traditionnels valorisent les modèles qui fournissent la réponse exacte le plus rapidement possible. En pédagogie, cette approche est contre-productive. Si un élève demande à une IA de résoudre son exercice d'algèbre et que celle-ci lui fournit instantanément la solution rédigée, l'apprentissage est nul.

Un modèle véritablement éducatif doit être capable de refuser la facilité. Il doit analyser l'erreur de l'élève, lui poser des questions intermédiaires et l'amener à trouver la solution par lui-même. C'est ce que les sciences de l'éducation nomment la "zone proximale de développement" (théorisée par Lev Vygotski). Évaluer cette posture tutorale nécessite des protocoles complexes que les benchmarks classiques ignorent totalement, et que des initiatives comme ELBench tentent de modéliser par des scénarios de dialogue multi-tours.

Les limites méthodologiques des benchmarks automatisés

Bien que l'initiative ELBench soit louable, elle illustre également les limites de l'évaluation automatisée de l'IA.

Premièrement, l'utilisation de données synthétiques (générées par d'autres IA pour tester le modèle cible) peut créer un effet de chambre d'écho. Les critères de "qualité pédagogique" définis par des algorithmes ne reflètent pas toujours la réalité d'une interaction humaine en classe.

Deuxièmement, ces benchmarks sont figés dans le temps. Les modèles de langage évoluent à une vitesse telle que les résultats d'un test peuvent devenir obsolètes en quelques semaines. Enfin, l'évaluation technique ne remplace pas l'expérimentation de terrain. Un modèle peut obtenir d'excellents scores théoriques en "sûreté" et se révéler déstabilisant ou inefficace face à un groupe d'élèves réels, dont les réactions et les stratégies de contournement sont imprévisibles.

Quelle transférabilité pour les systèmes éducatifs francophones ?

Pour les décideurs, les inspecteurs et les enseignants de l'espace francophone (France, Québec, Belgique, Suisse), les dimensions soulevées par ce type de recherche offrent une grille de lecture précieuse.

Lorsqu'un ministère ou une académie évalue une solution d'IA (comme le dispositif MIA Seconde en France), il ne faut pas se laisser séduire par les seules promesses marketing de "puissance" du modèle. Les équipes éducatives doivent exiger des garanties sur des critères précis :

* L'alignement pédagogique : Le modèle sait-il adopter une posture de tuteur (questionnement) plutôt que d'exécutant (donneur de réponses) ?
* La souveraineté et la sécurité des données : Comment le modèle réagit-il face à des questions sensibles (harcèlement, radicalisation, mal-être) ? Redirige-t-il l'élève vers des ressources d'aide humaines ?
* L'adaptation culturelle : Les benchmarks comme ELBench sont souvent développés dans un contexte anglophone ou asiatique. Les biais culturels, les références historiques et les méthodes pédagogiques (très différentes entre le modèle anglo-saxon et l'approche cartésienne francophone) doivent être rigoureusement testés dans la langue cible.

L'évaluation des IA en éducation ne peut pas rester l'apanage des seuls ingénieurs en informatique. Elle doit devenir un champ de recherche interdisciplinaire où collaborent enseignants, chercheurs en sciences de l'éducation, psychologues et développeurs. C'est à cette seule condition que l'intelligence artificielle pourra devenir un véritable auxiliaire de l'apprentissage, sûr, équitable et émancipateur.