L'avènement des grands modèles de langage et des assistants de programmation comme GitHub Copilot ou ChatGPT a plongé l'enseignement de l'informatique dans une crise existentielle sans précédent. Pendant des décennies, évaluer un étudiant en informatique consistait principalement à lui demander d'écrire du code pour résoudre un problème donné. Aujourd'hui, n'importe quel étudiant équipé d'un smartphone peut générer un code fonctionnel et optimisé en quelques secondes. Face à cette réalité, interdire l'accès à ces technologies s'avère aussi illusoire qu'inefficace à long terme. La véritable question qui se pose désormais aux enseignants est la suivante : comment concevoir des évaluations « résilientes à l'IA », capables de mesurer des compétences réellement humaines et professionnelles ?
Une piste de réponse particulièrement innovante vient d'être formulée dans une étude publiée sur la plateforme de prépublication arXiv. Intitulé « Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World », ce travail propose de repenser fondamentalement la notation en intégrant l'IA non pas comme une menace, mais comme le nouveau niveau de référence (la « baseline ») à partir duquel l'étudiant doit apporter sa propre valeur ajoutée. Il convient toutefois de noter que ce document est un « preprint » qui n'a pas encore fait l'objet d'une évaluation par les pairs, mais les concepts qu'il développe offrent un cadre conceptuel précieux pour les départements de sciences informatiques.
Le constat d'une rupture technologique majeure
Dans les cours d'informatique traditionnels, les projets de programmation et les examens de codage constituaient le cœur de l'évaluation. Or, les modèles d'IA actuels excellent précisément dans ces tâches de bas niveau : écriture de fonctions standard, débogage de syntaxe ou création d'applications web simples. Si un étudiant peut obtenir une note maximale simplement en copiant-collant des consignes dans un outil d'IA générative, la note ne reflète plus ses compétences, mais plutôt sa capacité à formuler des requêtes (le « prompt engineering »), voire simplement son accès à des outils payants plus performants.
Cette situation crée une profonde iniquité et vide le diplôme de sa valeur sur le marché du travail. Les entreprises ne recherchent plus des professionnels capables de mémoriser de la syntaxe, mais des ingénieurs capables de concevoir des architectures complexes, de garantir la sécurité des systèmes, de valider la robustesse du code et de collaborer en équipe. L'évaluation universitaire doit donc s'aligner sur ces compétences de haut niveau.
Le concept de « surplus de Pareto » appliqué à la notation
Pour résoudre ce dilemme, les auteurs de l'étude d'arXiv proposent un cadre formel basé sur ce qu'ils nomment le « surplus de Pareto ». L'idée centrale est simple mais révolutionnaire : au lieu d'interdire l'IA, l'enseignant définit explicitement ce qu'une IA standard (la ligne de base) peut produire pour le projet donné. Cette production de l'IA définit une « frontière d'efficacité » en termes de temps de calcul, de mémoire utilisée, de lisibilité ou de fonctionnalités de base.
L'étudiant est alors autorisé à utiliser librement l'IA, mais sa note dépendra exclusivement du « surplus » qu'il parvient à générer par rapport à cette frontière de base. Par exemple, si l'IA génère un code qui résout le problème à 80 %, l'étudiant sera évalué sur les 20 % restants : sa capacité à optimiser les performances énergétiques du programme, à concevoir des cas de test complexes que l'IA n'a pas anticipés, ou à adapter l'architecture pour qu'elle soit facilement maintenable par des humains.
Ce modèle de notation présente un double avantage. D'une part, il neutralise l'avantage concurrentiel que pourrait avoir un étudiant disposant d'un abonnement à une IA plus coûteuse, puisque la ligne de base est la même pour tous. D'autre part, il pousse l'étudiant à développer un esprit critique aiguisé vis-à-vis des suggestions de la machine, une compétence devenue cruciale dans l'industrie moderne.
Au-delà du code : évaluer l'architecture et la pensée critique
Cette approche s'inscrit dans un mouvement mondial de transformation des pratiques pédagogiques en informatique. De nombreuses universités à travers le monde, notamment en Amérique du Nord et en Europe, expérimentent déjà des formats d'évaluation alternatifs.
Le célèbre cours d'introduction à l'informatique de l'Université Harvard, CS50, a par exemple introduit son propre assistant IA (le « CS50 Duck ») conçu pour guider les étudiants sans leur donner directement les réponses, tout en maintenant des examens sur table pour valider les compétences fondamentales. D'autres institutions font le choix de remplacer les examens écrits par des soutenances orales (les « vivas »), où l'étudiant doit expliquer la structure de son code, justifier ses choix d'architecture et réagir en direct à des modifications de consignes imposées par l'examinateur.
L'Association for Computing Machinery (ACM), à travers ses conférences sur l'enseignement de l'informatique, souligne régulièrement l'importance de déplacer le curseur de l'évaluation vers la lecture et la critique de code plutôt que sa simple écriture. Savoir lire un code généré par une IA, y détecter les failles de sécurité subtiles et les biais logiques devient une compétence bien plus précieuse que de savoir écrire ce même code à partir d'une page blanche.
Quelles pistes pour les équipes éducatives francophones ?
Pour les universités, écoles d'ingénieurs et instituts de technologie de l'espace francophone, cette transition représente un défi de taille, mais aussi une opportunité de moderniser les curriculums. Plusieurs pistes concrètes et transférables peuvent être envisagées :
1. L'évaluation par le test et la validation : Plutôt que de noter le code produit, les enseignants peuvent fournir un code volontairement défaillant ou incomplet (généré par IA) et noter les étudiants sur leur capacité à concevoir un plan de test rigoureux pour identifier et corriger les erreurs.
2. Les examens de refactorisation : Demander aux étudiants de prendre un projet fonctionnel mais mal structuré produit par une IA de bas niveau, et de le réorganiser selon les meilleures pratiques de l'ingénierie logicielle (Clean Code, design patterns).
3. La soutenance de conception : Valoriser la phase amont (conception UML, choix technologiques, analyse d'impact environnemental) et la phase aval (déploiement, intégration continue) plutôt que la phase intermédiaire de codage pur.
4. L'intégration éthique et réglementaire : Évaluer la capacité des étudiants à auditer un système informatique au regard des réglementations sur la protection des données (comme le RGPD en Europe) ou de l'éthique des algorithmes, des domaines où l'IA ne peut se substituer au jugement humain.
Vers une redéfinition du rôle de l'ingénieur
En fin de compte, la nécessité de concevoir des évaluations résilientes à l'IA nous oblige à redéfinir ce que signifie « apprendre l'informatique ». L'analogie avec l'introduction de la calculatrice dans les cours de mathématiques est souvent citée, mais elle s'avère ici insuffisante. L'IA générative ne se contente pas de calculer plus vite ; elle propose des solutions conceptuelles complètes.
Pour les futurs diplômés, la maîtrise de ces outils ne sera pas une option, mais un prérequis. En adaptant nos méthodes d'évaluation pour valoriser le « surplus humain » – la créativité, l'esprit critique, la responsabilité éthique et la vision systémique –, nous ne nous contentons pas de sécuriser l'intégrité des examens. Nous formons des professionnels mieux armés pour piloter la transformation numérique de notre société, en collaboration étroite et intelligente avec les machines.
Discussion
Posez vos questions et partagez votre point de vue. Matania, l'assistante de recherche et de vérification des faits, lit les commentaires et y répond dès qu'elle peut apporter des sources fiables ou des précisions. Les liens ne sont pas autorisés : citez vos sources par leur nom.