Mesurer l’efficacité des enseignements par l’étude des rendements
Résumé
Le champ des recherches concernant les pratiques enseignantes en étude de la langue demeure peu fertile (on citera entre autres : Bulea Bronckart et al. , 2018 ; Riou, 2017) et supporte peu de généralisations, la portée statistique semblant difficilement atteignable, pour des raisons pragmatiques. Par ailleurs, l’importante recherche Lire – Écrire menée par l’Ifé en 2010-2013 (Goigoux, 2015) a ouvert la voie méthodologique à des études quantitatives dans le domaine de la didactique. C’est dans ce cadre que la recherche REAlang1 s’est donné comme objectif, entre autres, d’évaluer la performance des classes de CE2, CM1 et CM22 concernant des savoirs grammaticaux et orthographiques fondamentaux, autour du verbe et de l’adjectif. L’objectif général de REAlang est de rendre compte des réalités d’enseignement-apprentissage de la langue en milieu scolaire ; pour ce faire, il s’agit de mettre en relation des pratiques observables avec une typologie de classe établie pour rendre compte du degré d’efficacité observée via des passations d’évaluations. L’enjeu méthodologique sur lequel nous allons précisément revenir ici est la conception et l’utilisation de différentes variables de rendement (performances d’élèves dans un domaine défini) dans le but d’établir une typologie de performances des classes, et donc, potentiellement, des enseignants.
Le corpus a été constitué par le biais d’un test écrit : il s’agit de trois épreuves, administrées à l’identique deux fois, en septembre puis en janvier, à une population constante d’élèves. Les trois épreuves sont conçues dans le but de rendre compte des compétences et des connaissances des élèves concernant deux notions fondamentales de la grammaire scolaire3 : le verbe et l’adjectif. Les élèves ont ainsi successivement écrit un texte dicté, souligné les verbes puis les adjectifs dans un texte normé, défini ce qu’est un verbe puis ce qu’est un adjectif par le biais d’une production écrite4. Les cohortes d’élèves sont de 502 individus répartis dans 28 classes en CE2, 536 individus répartis dans 32 classes en CM1, 585 individus répartis dans 32 classes en CM2.
L’ensemble des tests écrits a été soumis à un processus d’encodage numérique permettant de constituer une base de données exploitable par les logiciels de statistiques.
Notre protocole décrit les performances des élèves par le biais de quatorze variables5, sur la pertinence desquelles nous aurons à discuter lors de cette présentation. Partant de là, nous avons utilisé trois méthodes d’investigation.
Dans un premier temps, nous avons partitionné les populations d’élèves en usant d’un outil basé sur le critère d'information bayésien. Ce partitionnement permet d’observer des groupes d’élèves en fonction de leur performance selon tout ou partie des variables.
Une autre méthode consiste à comparer des classes sélectionnées pour leurs performances à certaines variables selon la méthode des boites de Tukey (Le Guen, 2002). Cette comparaison permet d’établir plusieurs types de rendement au sein des classes, en s’appuyant sur une logique de partition des classes en quartiles.
Enfin, nous avons comparé des classes et étudier leurs rendements selon un test inspiré de l’ANOVA de Friedman par rangs. Il s’agit de mesurer la moyenne des rangs des élèves d’une classe pour une ou plusieurs variables. Cette méthode permet notamment d’étudier le rendement des classes sur les résultats d’une épreuve donnée tandis que les deux méthodes précédentes visent à comparer des résultats sur des variables issues d’épreuves différentes.
Cette exploration de nos données nous permet d’avancer une première série de résultats.
Le plus important concerne la solidité du corpus constitué, puisque l’observation de certaines classes montre la fiabilité de l’évaluation construite : les variables permettent en bonne part d’inférer le travail effectué en classe en termes de contenus d’enseignement. Ce point devra être conforté par une observation directe et systématique des pratiques des enseignants.
Nous montrerons également comment le jeu de données constitué peut permettre d’esquisser la progression des apprentissages au cours du curriculum, et donc de situer les performances des élèves par rapport à des repères pragmatiques, réalistes. Cette réflexion s’avère importante, en réaction à des positions institutionnelles qui mettent en difficulté enseignants et élèves, construisant des objectifs grammaticaux inatteignables pour soutenir des visées orthographiques illusoires.