Bien des épreuves pédagogiques, contrôlant périodiquement les connaissances et compétences des apprenants, se présentent comme des tests de maîtrise. Elles visent en effet l’évaluation des acquis fixés comme objectifs par le plan d’études et sont souvent jugés comme des prérequis pour la suite des apprentissages. Nous montrerons en introduction que les approches fréquemment utilisées pour l’élaboration de ce type d’épreuves sont peu adéquates, incitant en particulier à écarter abusivement les items « trop bien réussis », tout aussi intéressants que les autres pour le didacticien. Nous illustrerons ensuite par un exemple détaillé (un examen de grammaire au niveau universitaire) l’intérêt du modèle de la généralisabilité. Il permet en effet de vérifier la qualité docimologique majeure d’un test de maîtrise : sa capacité à distinguer de façon fiable les apprenants qui satisfont ou non au critère de réussite fixé. Il apporte en outre toutes sortes de renseignements utiles pour la mise au point de l’épreuve et pour son interprétation.

La généralisabilité est un modèle statistique particulièrement adéquat quand il s’agit de mettre au point des dispositifs visant à évaluer des apprentissages. Il permet de vérifier si l’instrument d’évaluation élaboré possède les qualités métrologiques nécessaires pour situer les résultats des apprenants sur l’échelle des performances attendues, donc par rapport à un barème critériel. Pour l’illustrer, nous prenons l’exemple d’un test de physique appliqué au début et à la fin d’un ensemble de cours en laboratoire sur la notion de chaleur. Nous donnons ainsi un échantillon des possibilités du modèle pour traiter quelques-uns des problèmes qui peuvent se présenter dans le cadre d’une séquence didactique.

Indépendamment des intentions des responsables PISA, il est important de se demander quelle est la validité – et donc l’intérêt – d’une telle opération du point de vue de la didactique. Laissant à d’autres le soin de défendre les aspects positifs de cette enquête, nous nous attacherons surtout à mettre en évidence ses limites sur le plan didactique, voire les obstacles que ce type d’investigation risque de susciter par rapport à certains efforts d’innovation actuels dans l’enseignement de la lecture. Nous nous demanderons en conclusion quels sont les effets secondaires de l’enquête et si le jeu en vaut la chandelle. Nos analyses, réflexions et interrogations s’appuieront essentiellement sur nos expériences en didactique du français langue maternelle, en collaboration avec des enseignants du Cycle d’orientation genevois (Secondaire I), ainsi que sur notre participation à deux enquêtes internationales (IEA, International Association for the Evaluation of Educational Achievement, Reading literacy, 1991; TIMSS, Third International Mathematics and Sciences Study, 1995).

Pour qu’un sujet puisse s’auto-orienter, il doit pouvoir disposer d’un instrument d’évaluation directement interprétable et qui soit de valeur métrologique assurée. Ces deux thèses sont illustrées par l’exemple du questionnaire QIPOS. La première partie de l’article présente sa construction et son utilisation souhaitable. La seconde montre la façon dont il faudrait contrôler sa validité et sa fidélité, dans cette situation de décision particulière, où les comparaisons sont à faire entre motivations plutôt qu’entre personnes. Un exemple minimal est présenté, traitant de deux groupes en deux dimensions, pour montrer le principe de l’étude de généralisabilité qui serait à réaliser.