IA générative en STEM : des gains moyens, mais une forte incertitude selon les contextes

Des résultats positifs, dans un corpus encore circonscrit

Les recherches empiriques disponibles indiquent en moyenne un effet positif de l’IA générative sur les apprentissages. Cette conclusion concerne toutefois un périmètre précis : principalement les acquis cognitifs en mathématiques, en sciences et dans l’enseignement supérieur. Elle ne suffit pas à établir un bénéfice général pour tous les élèves, toutes les disciplines ou toutes les formes d’utilisation.

Les travaux recensés étudient surtout des dispositifs dans lesquels l’IA générative intervient comme outil de tutorat, de rétroaction ou d’accompagnement d’une tâche définie. Ils documentent moins solidement la réussite à long terme, l’inclusion ou les dimensions socio-émotionnelles. La prudence ne vient donc pas d’une absence de résultats positifs, mais de leur concentration sur certains publics, certaines tâches et certains indicateurs.

Il faut également distinguer deux niveaux de preuve. Les revues systématiques décrivent et rapprochent des études dont les méthodes peuvent différer. Les méta-analyses calculent un effet moyen à partir de résultats quantifiés. Lorsqu’elles portent sur des études expérimentales, elles permettent d’attribuer plus solidement les différences observées aux interventions étudiées. Elles ne garantissent pas pour autant que le même effet se reproduira dans un autre établissement ou avec un autre usage de l’outil.

Quatre usages principalement documentés

Le corpus fait apparaître quatre familles d’usages récurrents.

• Le tutorat et la rétroaction formative : explication de concepts, accompagnement pas à pas dans un exercice et commentaires personnalisés sur une production étudiante.
• Le soutien à la programmation : génération guidée de code, débogage et explication d’erreurs, avec des gains rapportés sur les connaissances et procédures de programmation.
• L’aide à l’écriture académique : reformulation, structuration d’un texte et retour sur des écrits scientifiques ou universitaires.
• Le soutien en laboratoire de sciences : compréhension d’un protocole, formulation d’hypothèses, interprétation de résultats et planification de la démarche.

Une revue systématique consacrée aux laboratoires universitaires de sciences décrit des résultats favorables lorsque l’IA est intégrée comme un « partenaire d’apprentissage », plutôt que comme un simple fournisseur de réponses. Cette distinction est importante : les synthèses disponibles associent les gains de compréhension, de résolution de problèmes et de métacognition à des dispositifs pédagogiques structurés. Elles ne démontrent pas qu’un accès libre à un chatbot produit, à lui seul, les mêmes bénéfices.

Des effets moyens de 0,45 à 0,68

Une méta-analyse à trois niveaux portant sur 36 études et 132 effets dans l’enseignement supérieur estime l’effet moyen sur les résultats d’apprentissage à g = 0,499. Les résultats sont plus élevés pour la compréhension ainsi que pour les productions cognitives et créatives, avec g = 0,669, et pour les apprentissages de haut niveau, avec g = 0,504. Ils sont plus modérés pour les dispositions, à g = 0,452, et les accomplissements, à g = 0,363.

Une autre méta-analyse générale rapporte un effet global de 0,68. Dans cette synthèse, la dimension cognitive atteint g = 0,795 et les compétences g = 0,711, tandis que la dimension affective présente un effet plus modéré de g = 0,507. Ce dernier chiffre rappelle que les bénéfices les mieux établis concernent les connaissances, la compréhension et les compétences, davantage que la motivation ou les dimensions socio-émotionnelles.

Enfin, une revue systématique et méta-analyse limitée aux études expérimentales estime l’ampleur moyenne des interventions à environ 0,45. Elle relève notamment des effets sur l’engagement comportemental, l’autorégulation et l’apprentissage autonome.

Ces estimations ne sont pas contradictoires : elles proviennent de corpus, de critères d’inclusion et de modèles statistiques différents. Elles convergent vers un effet moyen positif, généralement modéré, sans fournir une valeur unique applicable à toute situation éducative.

Une hétérogénéité qui interdit les promesses universelles

Le résultat le plus important pour interpréter ces moyennes vient d’une méta-analyse à effets aléatoires consacrée aux apprentissages cognitifs en STEM. Elle rapporte une hétérogénéité de I² = 96,32 %, ainsi qu’un intervalle de prédiction allant de g = −1,52 à g = 3,20.

Un I² aussi élevé indique que la dispersion des résultats ne s’explique pas seulement par les fluctuations d’échantillonnage. Les différences entre contextes, publics, tâches, dispositifs ou mesures jouent vraisemblablement un rôle majeur. L’intervalle de prédiction traverse largement zéro : dans un nouveau contexte comparable à ceux étudiés, le véritable effet pourrait être défavorable, nul ou très favorable.

Cela ne rend pas la moyenne inutile. Elle résume l’orientation générale du corpus. En revanche, elle possède une faible capacité à prévoir le résultat d’un dispositif local sans information sur sa conception. Affirmer que « l’IA améliore l’apprentissage » sans préciser l’usage, la discipline et le public efface donc l’un des principaux enseignements des données.

Des bénéfices surtout cognitifs et disciplinaires

Les acquis les mieux documentés relèvent des connaissances déclaratives et procédurales, de la compréhension conceptuelle, de la résolution de problèmes et des compétences métacognitives. Les effets sont également observés sur des apprentissages de niveau supérieur, tels que l’analyse et la synthèse.

Les résultats sont moins établis pour des indicateurs plus larges comme la réussite durable ou l’inclusion. Il serait donc excessif de transformer les gains obtenus à des tâches cognitives en preuve d’une amélioration générale des parcours scolaires.

La distribution disciplinaire est elle aussi inégale. Une méta-analyse relève les effets les plus élevés en mathématiques, en sciences et en humanités. Les effets restent significatifs, mais sont plus faibles, en informatique ainsi qu’en médecine et soins infirmiers. Le fait que le soutien à la programmation soit fréquemment étudié ne signifie donc pas que l’informatique soit la discipline où l’effet moyen est le plus élevé.

Les mathématiques et les sciences demeurent les domaines STEM où les résultats positifs sont à la fois les plus prononcés et les mieux documentés. L’enseignement supérieur domine néanmoins le corpus. Dans le primaire et le secondaire, les études disponibles portent elles aussi majoritairement sur les mathématiques et les sciences, mais les données restent plus rares et moins homogènes.

Ce que ces travaux ne permettent pas d’affirmer

Les synthèses disponibles ne démontrent pas que tous les outils d’IA générative sont équivalents, ni que leurs effets se maintiennent à long terme. Elles ne permettent pas davantage de conclure qu’un résultat observé dans une université, en mathématiques ou en laboratoire de sciences se transférera automatiquement à l’école obligatoire, à la formation infirmière ou à une autre discipline.

Elles n’autorisent pas non plus à confondre une amélioration moyenne dans des interventions étudiées avec une efficacité intrinsèque de la technologie. Le résultat dépend du scénario pédagogique : objectif assigné, nature de la rétroaction, encadrement de l’interaction et type d’acquis évalué.

Pour les équipes qui souhaitent expérimenter, trois principes peuvent être tirés de ce corpus, comme hypothèses de travail plutôt que comme prescriptions universelles : définir un usage précis, cibler un apprentissage mesurable et documenter le contexte de mise en œuvre. La comparaison utile n’est pas seulement « avec ou sans IA », mais entre des dispositifs suffisamment décrits pour comprendre ce qui produit — ou non — un gain.

La question la mieux étayée n’est donc plus de savoir si l’IA générative fonctionne en général. Elle consiste à déterminer quel usage, pour quel apprentissage, dans quelle discipline et auprès de quel public. Les données disponibles justifient un intérêt expérimental ; leur hétérogénéité impose de renoncer aux promesses générales.