ChatGPT divise la communauté des enseignants. Certains l’accusent de faciliter la tricherie, d’autres préfèrent l’envisager comme un outil pédagogique. Le débat est particulièrement vif pour ce qui concerne l’évaluation des écrits : les mémoires, les rapports de stage, les dossiers… Comment distinguer ce qui relève de la production originale de l’apprenant, donc de sa propre réflexion, et ce qui relève de la recherche effectuée avec l’intelligence artificielle ? S’il n’existe pas encore de règles officielles concernant l’usage des IA dans les évaluations, un certain nombre de pistes émergent pour repenser les modalités d’évaluation. Cet article propose de les passer en revue.

Dernièrement, Le Living lab Sofa s’était entretenu à plusieurs reprises avec Xavier Aimé, enseignant au Cnam et chercheur en Intelligence Artificielle. Ces entretiens avaient donné naissance à plusieurs articles publiés sur le site du Living Lab du Cnam : un épisode 1 sur les opportunités d’usage de cet agent conversationnel, un épisode 2 montrant comment l’utiliser pour faire un jeu de rôle, et un épisode 3 sur la manière dont les apprenants s’en emparaient. Il était donc tout naturel de revenir vers lui pour aborder cette problématique spécifique de l’évaluation.

Les logiciels anti-plagiat, un combat perdu ?
Une première réponse pourrait consister à utiliser les logiciels anti-plagia (Compilatio, ZéroGPT…) pour distinguer des textes écrits par les humains, de ceux générés par une intelligence artificielle. Toutefois ces derniers cherchent des similitudes avec des textes sur internet ou des copies entrées sur une base de données. Or ChatGPT produit un texte qui n’est pas un copié-collé. Il fonctionne grâce à la prédiction : il évalue quel est le texte le plus probable dans un contexte puis il le génère. Il est donc difficile d’identifier ses sources. Pour Xavier Aimé, « ces logiciels ne sont pas capables de détecter du plagiat par l’IA. Les systèmes ne fonctionnent pas. On pourrait éventuellement repérer quelqu’un qui sait mal s’en servir, mais si l’étudiant est un peu « malin », il peut modifier le style d’écriture et le rendre indétectable. Les éditeurs des IA eux-mêmes ont abandonné l’idée de la détection ! La lutte anti-plagiat est perdue d’avance ». Toute tentative d’interdiction semble donc veine.

Diversifier les modes d’évaluation
La première réponse à apporter est sans doute, lorsqu’un élève réalise un travail seul derrière son ordinateur (en présentiel ou à distance), de ne pas tout miser sur un écrit pour évaluer sa production. « Le premier conseil qu’on peut donner, explique Xavier, est d’éviter de se fier uniquement à des évaluations par texte ou par réponse écrite. Il est préférable d’intégrer des évaluations variées, telles que des quiz à choix multiples, des évaluations pratiques, des projets en groupe, des présentations orales, etc. Il faut donc encourager la participation active, précise Xavier, et favoriser les évaluations qui exigent une réflexion critique, une application des connaissances et la démonstration de compétences pratiques, plutôt que de simples réponses mémorisées ».

Renforcer le poids des présentations orales
Concernant les mémoires, Xavier plaide pour un renforcement du poids de la soutenance orale dans la note finale : « Dans mes cours, l’oral compte désormais pour 75% de la note. A l’oral, l’étudiant n’a pas le temps de tricher : on voit tout de suite s’il a compris, s’il maîtrise ou pas. Ce n’est plus la machine qui parle, c’est lui ». L’illusion éventuelle de l’écrit résiste mal au jeu des questions. Evidemment, elles doivent porter sur les contenus présentés, mais aussi exiger une analyse réflexive sur les résultats produits. L’oral peut également être l’occasion de demander à l’apprenant comment il a mobilisé ChatGPT. « Il ne faut pas lui demander frontalement, conseille Xavier, il risque de démentir et on va rester avec des doutes. Mieux vaut lui demander « comment il l’a utilisé ? C’est là que se trouve finalement sa contribution ».

Citer l’usage de ChatGPT, oui mais comment ?
L’objectif principal de l’évaluation d’un mémoire est de déterminer la compréhension, la recherche et la capacité de réflexion critique de l’étudiant. Et concernant l’écrit, que faire ? Nous avons demandé à ChatGPT lui-même ce qu’il en pensait. Et voici sa réponse : « il est important que les évaluateurs comprennent comment ChatGPT a été utilisé dans le mémoire. Les évaluateurs doivent s’assurer que l’étudiant a apporté une contribution significative au mémoire, même si ChatGPT a été utilisé pour générer une partie du texte. L’étudiant devrait expliquer comment ChatGPT a été utilisé dans le mémoire dans la section appropriée, comme la méthodologie ou les remerciements. Cela pourrait inclure des informations sur les parties spécifiques rédigées par le modèle, la manière dont il a été intégré dans le processus d’écriture, et l’objectif de son utilisation. Cette explication devrait inclure des détails sur les parties spécifiques générées par ChatGPT et la raison de son utilisation »1.
Bref, ChatGPT serait une source comme une autre, à intégrer dans sa méthodologie et ses références bibliographiques ?
Il n’existe pas encore de règles bien établies sur la manière de citer des paragraphes réalisés par ChatGPT. Xavier partage son expérience : « Voici la consigne que je donne : dès lors que l’apprenant a utilisé ChatGPT pour tout ou partie d’un texte, il doit mettre entre guillemet la zone de début et de fin, et mettre en note de bas de page le logiciel d’IA utilisé, la date et le prompt qui a servi à produire ce texte. Car au final, c’est dans ces prompts, qu’on voit sa logique de compréhension, sa progression intellectuelle, c’est là qu’il fait « œuvre de l’esprit », pour reprendre une expression américaine ». Les organismes de formation vont sûrement formaliser des règles et des consignes d’usage dans les mois qui viennent.

Privilégier l’obligation de moyens à celle des résultats
Dans les formations en alternance, l’objectif d’apprentissage peut parfois entrer en tension avec celui des entreprises, davantage orientée vers la culture du résultat. Selon Xavier, “ChatGPT tend à renforcer cette tension, car il permet d’arriver plus vite au résultat. L’apprenant lui-même peut être tenté d’aller vers cette solution de facilité. Tout le travail du formateur et du tuteur est donc de lui expliquer l’importance d’apprendre des compétences transférables dans n’importe quel contexte plutôt que de seulement produire des résultats à court terme”. Bref, il faut privilégier une obligation de moyen à celle du résultat…

Eduquer plutôt que sanctionner
Comme l’indiquait Philippe Mérieux dans une récente tribune : « Le danger de ChatGPT n’est pas dans la fraude qu’il permet mais dans le rapport aux connaissances qu’il promeut »2. Il convient de responsabiliser les apprenants sur les conséquences de l’usage des IA. Xavier partage ce point de vue, “la solution ne passe pas par des réponses techniques mais par l’éducation des apprenants. Je cherche à les responsabiliser à l’importance de ne pas tricher bien sûr mais surtout à l’importance de réfléchir, de produire par eux-mêmes leur travail. Je les invite à aller rechercher les documents à la source pour citer les auteurs, à comprendre et questionner ce qu’ils produisent, à analyser de manière critique ce qui leur est proposé par les IA, voire à réfléchir aux limites de ce qu’elle a produit, y compris d’un point de vue éthique”. Apprendre à garder le désir d’apprendre !

Références
1- Le prompt était : “comment évaluer une formation à l’ère de ChatGPT ?”
2- Philippe MEIRIEU, pédagogue : « Le danger de ChatGPT n’est pas dans la fraude qu’il permet mais dans le rapport aux connaissances qu’il promeut », Le Monde, 27 mars 2023.