L'intelligence artificielle peut-elle corriger nos examens ? Ce que révèle le benchmark des GCSE britanniques

L'évaluation des élèves est l'un des piliers les plus sensibles de tout système éducatif. Garantir l'équité, la précision et la rapidité de la correction des examens nationaux représente un défi logistique et humain colossal chaque année. Dans ce contexte, l'intégration de l'intelligence artificielle (IA) suscite autant d'espoirs que de craintes. Une étude récente, publiée sous forme de prépublication (preprint) sur la plateforme arXiv, apporte un éclairage inédit et particulièrement documenté sur la capacité des grands modèles de langage (LLM) à corriger des copies d'élèves.

Cette recherche s'appuie sur un jeu de données exceptionnel : 32 534 réponses réelles et doublement corrigées par des examinateurs humains lors d'examens blancs du GCSE (General Certificate of Secondary Education), l'équivalent britannique du brevet des collèges, passé vers l'âge de 16 ans. Les résultats bousculent les idées reçues et interrogent directement l'avenir de l'évaluation scolaire.

Un benchmark d'une ampleur inédite sur des copies réelles

Jusqu'à présent, les évaluations des capacités de correction des IA reposaient souvent sur des échantillons restreints ou des données synthétiques. L'étude "LLM Performance on a Real, Double-Marked GCSE Benchmark" change la donne. Elle analyse les performances de modèles de langage prêts à l'emploi sur 328 questions différentes, réparties dans cinq matières, incluant des matières scientifiques comme les mathématiques et des disciplines plus subjectives comme l'anglais.

Le jeu de données comprend également des travaux manuscrits, un défi de taille pour les technologies de reconnaissance optique de caractères (OCR) combinées aux LLM. Les chercheurs ont cherché à savoir si les modèles d'IA pouvaient s'aligner sur le consensus des examinateurs humains aussi fidèlement que deux correcteurs humains s'accordent entre eux.

Il convient toutefois de rappeler la nature de cette source : il s'agit d'un preprint, c'est-à-dire d'un travail scientifique qui n'a pas encore été formellement évalué par les pairs. Bien que les données soient massives et la méthodologie rigoureuse, ces conclusions doivent être accueillies avec la prudence scientifique de rigueur.

Des performances qui rivalisent avec les correcteurs humains

Les conclusions de l'étude sont frappantes. Les modèles de langage les plus performants du marché obtiennent des scores d'accord avec les examinateurs humains qui égalent, et parfois dépassent, le niveau d'accord entre les deux correcteurs humains eux-mêmes.

Cette réussite se manifeste dans deux domaines particulièrement complexes :

• Les tâches subjectives : Contrairement aux attentes, les LLM s'en sortent remarquablement bien pour évaluer des rédactions en anglais, un exercice qui fait pourtant appel à la sensibilité littéraire, à la structure argumentative et à la subtilité du langage.


• Les mathématiques manuscrites : Malgré des copies parfois raturées ou peu lisibles, les modèles parviennent à analyser le raisonnement étape par étape et à attribuer une note cohérente avec le barème officiel.

De plus, l'étude révèle que la taille du modèle n'est pas toujours le facteur déterminant pour obtenir une bonne correction. Des modèles plus légers et donc plus économiques obtiennent des résultats très proches des géants du secteur, ce qui ouvre la voie à des solutions de correction automatisée à faible coût et à grande échelle.

Les limites techniques et éthiques : l'illusion de la compréhension

Si ces résultats techniques sont impressionnants, ils ne doivent pas masquer les risques et les limites inhérents à l'usage de l'IA dans l'évaluation scolaire. Le premier risque est celui de l'alignement aveugle. Un LLM ne "comprend" pas la copie de l'élève au sens humain ; il prédit la suite de mots ou la note la plus probable en fonction de ses données d'entraînement.

Plusieurs points de vigilance majeurs doivent être soulignés :


• Les biais algorithmiques : Les modèles peuvent reproduire, voire amplifier, des biais présents dans leurs données d'apprentissage. Par exemple, une syntaxe non standard, des régionalismes ou des tournures de phrases propres à certaines minorités peuvent être pénalisés de manière disproportionnée par l'IA, là où un correcteur humain ferait preuve de bienveillance ou de discernement culturel.


• Le manque de transparence : Le fonctionnement interne des LLM reste une "boîte noire". Expliquer à un élève ou à ses parents pourquoi une IA a attribué une note de 12/20 plutôt que 14/20 s'avère extrêmement difficile si le modèle ne peut pas fournir une justification pédagogique claire et constante.


• L'effet de lissage : Les IA ont tendance à converger vers la moyenne, ce qui pourrait pénaliser les élèves particulièrement originaux ou hors normes, dont le style ou le raisonnement s'écarte des standards statistiques.

Quelles perspectives pour les systèmes éducatifs francophones ?

Pour les pays francophones, comme la France ou le Québec, ces résultats offrent des pistes de réflexion cruciales. À l'heure où les ministères de l'Éducation cherchent à optimiser les processus d'évaluation (comme pour le Baccalauréat en France ou les épreuves ministérielles au Québec), l'IA ne doit pas être vue comme un remplaçant du correcteur, mais comme un assistant de confiance.

Voici comment ces technologies pourraient être transférées et exploitées par les équipes éducatives :

1. La double correction assistée : Au lieu de mobiliser deux enseignants pour corriger une même copie, l'IA pourrait assurer la première ou la seconde correction. En cas d'écart significatif entre la note de l'enseignant et celle de l'IA, un tiers humain interviendrait pour trancher. Cela permettrait de diviser par deux le temps de correction tout en maintenant un haut niveau d'équité.
2. Un outil de rétroaction rapide : Durant l'année scolaire, les enseignants pourraient utiliser ces outils pour offrir aux élèves des retours détaillés et instantanés sur leurs devoirs d'entraînement, libérant ainsi du temps pour l'accompagnement personnalisé en classe.
3. L'harmonisation des corrections : L'IA peut aider à détecter les correcteurs humains trop sévères ou trop indulgents au sein d'une même académie, garantissant ainsi une meilleure égalité de traitement entre les candidats.

Vers une évaluation hybride et éthique

L'usage de l'IA pour la correction des examens ne pourra se faire sans un cadre éthique et réglementaire strict. Comme le souligne l'UNESCO dans ses recommandations sur l'IA générative en éducation, l'humain doit impérativement garder le contrôle final (human-in-the-loop). L'évaluation n'est pas seulement un acte technique de comptabilisation des points ; c'est un acte pédagogique qui nécessite de l'empathie, de la compréhension du parcours de l'élève et une responsabilité institutionnelle que l'on ne peut déléguer à une machine.

Le benchmark des GCSE montre que la technologie est prête sur le plan technique. Il appartient désormais aux décideurs politiques, aux chercheurs et aux enseignants de définir la place que nous souhaitons lui accorder dans nos écoles.