L'évaluation des travaux des étudiants en informatique, en particulier lorsqu'il s'agit de modélisation et de conception logicielle, représente un défi de taille pour les équipes pédagogiques. La correction des diagrammes de classes UML (Unified Modeling Language) ne se résume pas à une simple vérification binaire de type « correct ou incorrect ». Elle exige une appréciation sémantique, une compréhension des choix de conception et une analyse de la cohérence globale du système proposé.
Face à la hausse des effectifs dans les filières technologiques, l'automatisation de cette tâche est devenue un sujet de recherche majeur. Une étude récente s'est penchée sur l'utilisation de modèles de langage de grande taille (LLM) open source pour assister ou remplacer les assistants d'enseignement (TAs) dans cette tâche délicate. Il convient de préciser d'emblée que cette recherche, publiée sur la plateforme arXiv, est un preprint. Elle n'a pas encore été validée par un comité de lecture académique indépendant et doit donc être interprétée avec la prudence scientifique de rigueur. Néanmoins, ses conclusions ouvrent un débat crucial sur ce que signifie réellement « bien corriger » avec une intelligence artificielle.
Le choix stratégique de l'open source à l'université
La majorité des travaux antérieurs sur l'évaluation automatisée par IA s'appuient sur des modèles propriétaires et fermés, tels que ceux développés par OpenAI ou Google. Bien que performants, ces modèles posent des problèmes éthiques, financiers et juridiques majeurs pour les institutions publiques d'enseignement supérieur.
D'une part, l'envoi de copies d'étudiants vers des serveurs tiers soulève des questions de conformité avec le Règlement général sur la protection des données (RGPD) en Europe. D'autre part, la dépendance à des API payantes expose les universités à des fluctuations de coûts imprévisibles.
C'est pourquoi les auteurs de l'étude ont choisi d'évaluer six modèles de langage open source. Ces modèles présentent l'avantage de pouvoir être hébergés localement sur les serveurs de l'université, garantissant ainsi la souveraineté des données et la gratuité d'utilisation après l'investissement initial dans l'infrastructure de calcul. L'expérimentation a porté sur un corpus de 92 diagrammes de classes UML soumis par des étudiants dans le cadre d'un cours de conception logicielle.
Au-delà de la note globale : l'analyse par critères
La principale originalité de cette étude réside dans sa méthodologie. Plutôt que de comparer uniquement la note finale attribuée par l'IA et par les correcteurs humains, les chercheurs ont découpé l'évaluation en critères précis : identification des classes, pertinence des attributs, définition des méthodes, exactitude des relations (héritage, association, composition) et respect des contraintes du cahier des charges.
Cette approche granulaire permet de mesurer l'alignement réel entre l'humain et la machine. En effet, deux correcteurs peuvent attribuer la même note globale pour des raisons totalement différentes. Pour qu'une évaluation automatisée soit pédagogiquement utile, l'IA doit être capable d'identifier précisément les mêmes forces et faiblesses qu'un enseignant humain.
Les résultats de l'étude montrent que si certains modèles open source parviennent à s'approcher de la moyenne des notes attribuées par les assistants d'enseignement, l'alignement qualitatif reste fragile. Les divergences apparaissent dès que l'on analyse les critères spécifiques. Par exemple, l'évaluation des relations de conception complexes ou l'appréciation de l'élégance d'une solution logicielle restent des zones de friction où la sensibilité humaine surpasse largement les capacités de déduction des modèles testés.
Les limites d'une délégation partielle de l'évaluation
L'analyse fine des résultats met en lumière plusieurs limites inhérentes à l'usage des LLM pour la correction :
- Le manque de cohérence inter-critères : Un modèle peut pénaliser un étudiant pour l'absence d'une classe dans une section de sa grille d'évaluation, tout en validant les méthodes de cette même classe inexistante dans une autre section. Ce manque de logique globale nuit à la crédibilité du retour pédagogique.
- La sensibilité au prompt : La formulation des instructions de correction (le prompt) influence de manière disproportionnée les résultats de l'IA. Un léger changement de formulation peut faire basculer l'évaluation d'un critère de « satisfaisant » à « insuffisant ».
- L'absence de rétroaction constructive : Si l'IA parvient parfois à détecter une erreur, elle peine à expliquer pourquoi le choix de l'étudiant est sous-optimal et comment y remédier de manière personnalisée, ce qui constitue pourtant le cœur de la mission d'un assistant d'enseignement.
Ces constats interrogent la viabilité d'une délégation, même partielle, de l'évaluation. Remplacer ou assister un correcteur par une IA qui valide des critères de manière incohérente risque de générer de l'incompréhension, voire un sentiment d'injustice chez les apprenants.
Quelles perspectives pour les équipes éducatives francophones ?
Pour les universités, écoles d'ingénieurs et instituts de technologie en France et dans l'espace francophone, cette étude offre des enseignements précieux pour concevoir de futurs dispositifs d'apprentissage assistés par IA :
1. Privilégier l'évaluation formative plutôt que sommative : L'état actuel de la technologie, en particulier sur les modèles ouverts, ne permet pas d'utiliser l'IA pour attribuer des notes finales de manière autonome. En revanche, elle peut être un excellent outil d'auto-évaluation pour les étudiants, leur permettant de tester leurs diagrammes UML en amont du rendu officiel pour obtenir des premiers retours structurels.
2. Développer des grilles d'évaluation extrêmement formalisées : Pour maximiser l'alignement d'un LLM avec les attentes des enseignants, les critères de correction doivent être dénués de toute ambiguïté. Plus la grille est explicite et quantitative, plus le modèle open source sera performant.
3. Investir dans l'hébergement de modèles souverains : L'expérimentation montre que des modèles open source de taille intermédiaire, correctement configurés, offrent une alternative crédible aux géants du secteur. Les établissements francophones ont tout intérêt à mutualiser leurs ressources pour déployer des serveurs de calcul locaux capables de faire tourner ces modèles en toute sécurité, conformément aux recommandations de la CNIL en France.
4. Former les enseignants à la rétro-ingénierie des prompts : La correction par IA ne s'improvise pas. Les équipes pédagogiques doivent être formées pour comprendre comment les modèles interprètent les consignes de notation afin de limiter les biais de correction.
En conclusion, si l'évaluation automatisée des diagrammes UML par des LLM open source représente une piste prometteuse pour réduire la charge de travail des enseignants, elle ne saurait remplacer l'expertise humaine. L'avenir réside probablement dans des systèmes hybrides où l'IA effectue un premier filtre technique, laissant à l'enseignant le soin d'apporter la nuance, la perspective globale et l'accompagnement bienveillant indispensables à la réussite des étudiants.
Discussion
Posez vos questions et partagez votre point de vue. Matania, l'assistante de recherche et de vérification des faits, lit les commentaires et y répond dès qu'elle peut apporter des sources fiables ou des précisions. Les liens ne sont pas autorisés : citez vos sources par leur nom.