Comment évaluer, de manière juste, standardisée et à grande échelle, les compétences en programmation des élèves ? Alors que l'apprentissage du code s'est généralisé dans les programmes scolaires mondiaux, les enseignants se retrouvent souvent démunis face à la correction de dizaines de projets créatifs réalisés sur Scratch. Corriger du code prend du temps, et l'évaluation qualitative de la pensée informatique reste hautement subjective.
Une équipe de chercheurs vient de publier une étude particulièrement ambitieuse sur la plateforme de preprints arXiv. Leur idée ? Transposer le Cadre européen commun de référence pour les langues (CECR) – habituellement réservé à l'apprentissage de l'anglais, de l'espagnol ou du français – à l'évaluation du code Scratch, le tout automatisé par un algorithme de classification statistique. Si la promesse d'une évaluation instantanée et personnalisée fait rêver, cette approche soulève également des questions méthodologiques et éthiques majeures.
Le concept : du niveau A1 au C2 en programmation
Le Cadre européen commun de référence pour les langues (CECR) est mondialement reconnu pour sa grille de progression (de l'utilisateur élémentaire A1 à l'utilisateur expérimenté C2). Les auteurs de l'étude partent d'un postulat stimulant : programmer est, par bien des aspects, comparable à l'apprentissage d'une nouvelle langue. Il y a une syntaxe, une grammaire (les structures de contrôle, les variables) et une dimension sémantique (la logique algorithmique).
Pour tester cette analogie, les chercheurs ont analysé un corpus gigantesque de plus de deux millions de projets Scratch (exactement 2 008 246 projets). Pour ce faire, ils ont utilisé l'outil d'analyse statique bien connu "Dr. Scratch", qui attribue des scores basés sur sept dimensions de la pensée informatique (comme l'abstraction, la logique, la synchronisation ou la représentation des données).
C'est ici qu'intervient l'innovation technique : plutôt que de fixer des seuils arbitraires pour définir si un élève est "débutant" ou "avancé", les chercheurs ont appliqué un algorithme de partitionnement de données appelé Fuzzy C-Means (ou clustering flou). Contrairement à une classification stricte, cette méthode permet à un projet d'appartenir simultanément à plusieurs niveaux avec des degrés de certitude différents. Un élève peut ainsi être évalué comme "en transition" entre le niveau A2 et le niveau B1, offrant une finesse de suivi inédite pour l'enseignant.
Le diagnostic : le "goulot d'étranglement" du niveau B2
L'analyse de ce volume massif de données a permis de mettre en lumière un phénomène systémique que les concepteurs de programmes scolaires soupçonnaient déjà : le "goulot d'étranglement" du niveau B2.
Selon les résultats de l'étude, une immense majorité de projets d'élèves stagne aux niveaux élémentaires (A1, A2) et intermédiaires (B1). Très peu parviennent à franchir le cap du niveau B2, qui exige la maîtrise de concepts plus complexes comme la création de blocs personnalisés (les fonctions), le clonage d'objets ou la gestion fine d'événements parallèles.
Ce blocage n'est pas nécessairement dû à un manque de capacités des élèves, mais plutôt à une lacune dans la conception des curricula. Les activités proposées en classe guident souvent les élèves jusqu'à un certain niveau de confort (B1), puis les laissent face à une marche trop haute pour atteindre l'autonomie créative et technique (B2 et au-delà). Disposer d'un tel diagnostic à l'échelle d'un système éducatif permettrait de réajuster les progressions pédagogiques et de concevoir des ressources d'accompagnement ciblées.
Ce que cela apporte aux enseignants et aux concepteurs de programmes
Pour les équipes éducatives, les apports potentiels d'un tel cadre sont multiples :
1. Une évaluation formative continue : Au lieu d'une note finale couperet, l'élève reçoit un retour d'information immédiat sur son niveau de compétence actuel et sur les concepts spécifiques qu'il doit acquérir pour passer au niveau supérieur.
2. La détection des élèves en transition : Grâce à la logique floue, l'enseignant peut repérer les élèves qui sont "sur le point de" franchir un palier et leur proposer un étayage (scaffolding) personnalisé.
3. Une standardisation internationale : Tout comme le CECR permet à un recruteur de comprendre instantanément le niveau d'anglais d'un candidat, un cadre similaire pour Scratch faciliterait la continuité pédagogique lors des changements de classe ou d'établissement.
Les limites cruciales d'un modèle automatisé non validé par les pairs
Malgré l'enthousiasme que peut susciter cette étude, une extrême prudence est de mise. Il s'agit d'un preprint, c'est-à-dire d'un article scientifique publié avant d'avoir été évalué et validé par un comité de lecture indépendant. En tant que professionnels de l'éducation, vous devez considérer ces résultats comme des pistes de réflexion et non comme des vérités scientifiques établies.
De plus, l'automatisation de l'évaluation par des outils comme Dr. Scratch comporte des biais intrinsèques bien documentés par la recherche en éducation aux technologies :
* La confusion entre complexité du code et pensée informatique : Un élève peut copier-coller du code complexe sans le comprendre, ce qui trompera l'algorithme de diagnostic. À l'inverse, un projet d'une grande élégance logique, mais utilisant peu de blocs différents, pourrait être sous-évalué.
* L'absence de prise en compte de la créativité : Scratch est avant tout un outil d'expression personnelle (art, narration, jeux). Un algorithme ne peut pas évaluer la pertinence esthétique, l'originalité du scénario ou l'expérience utilisateur d'un projet.
* Le risque d'enseigner pour le test ("teaching to the test") : Si les élèves savent que leur note dépend des critères de Dr. Scratch, ils risquent de concevoir des projets uniquement pour maximiser le score de l'algorithme, au détriment de leur véritable intention créative.
Quelle transférabilité pour l'espace francophone ?
Dans les systèmes éducatifs francophones (en France, en Belgique ou au Québec), l'apprentissage du code et de la pensée informatique est désormais solidement ancré dans les programmes, souvent dès le cycle 3 (CM1-CM2-Sixième en France) et tout au long du collège. Scratch y est l'outil de référence.
Pour les formateurs d'enseignants et les conseillers pédagogiques, l'idée d'adapter le CECR à la programmation est une piste de travail inspirante. Elle permet d'utiliser un vocabulaire d'évaluation déjà parfaitement maîtrisé par les enseignants du primaire et du secondaire.
Cependant, plutôt que de confier aveuglément l'évaluation à un algorithme, la meilleure approche consiste à utiliser ces outils automatisés comme des assistants de diagnostic. L'enseignant reste le seul juge capable de croiser le score technique fourni par la machine avec l'observation directe de l'élève en activité, son argumentation orale et sa démarche de résolution de problèmes. L'évaluation de la programmation doit rester humaine, bienveillante et globale.
Discussion
Posez vos questions et partagez votre point de vue. Matania, l'assistante de recherche et de vérification des faits, lit les commentaires et y répond dès qu'elle peut apporter des sources fiables ou des précisions. Les liens ne sont pas autorisés : citez vos sources par leur nom.