Catégoriser les questions pour améliorer la validité d'une épreuve

La catégorisation des questions permet d'améliorer la validité d'une épreuve au niveau de son contenu.

Deux niveaux de preuves par le contenu peuvent être mis en œuvre au sein d'un examen isolé :

La congruence (alignement pédagogique entre objectifs, activités et évaluation) : quelles tâches cognitives sont visées ? Quel est leur niveau de complexité ?

La représentativité (échantillon représentatif de chaque apprentissage à évaluer) : quelle répartition des questions au regard de la structuration des apprentissages ? (généralement par chapitre ou par objectif)

(Source : MOSS (1995), cité par LAURIER (2005), Les principes de la mesure et de l'évaluation des apprentissages, Chapitres 4.2 « Validité » et 4.3 « Fidélité », pp. 63-69.)

Classer par objectifs d’apprentissage

C'est la proposition la plus simple à mettre en œuvre. Il suffit de recréer dans la banque de questions l'architecture des objectifs d'apprentissages (ou à défaut celle des chapitres du cours).

Cette méthode de classement permet de valider a priori la représentativité.

Classer par niveaux de complexité

Outil proposé : arbre de décision d'Unisciel pour hiérarchiser le niveau de complexité des questions

Unisciel propose un arbre de décision permettant aux rédacteurs de catégoriser leurs questions selon un niveau de complexité. Cet arbre s’appuie sur la taxonomie de Bloom, et propose quatre niveaux de complexité imbriqués. Ils ont hiérarchisé quatre niveaux :

niveau 1 : mémoriser/connaître ;

niveau 2 : transposer/changer de registre ;

niveau 3 : appliquer ;

niveau 4 : analyser.

Les niveaux vont du simple (connaître) au complexe (analyser). L'accession au niveau supérieur nécessite théoriquement de posséder le niveau précédent.

Cette méthode de classement permet de valider à priori la congruence.

(Source : UNISCIEL, l'université des sciences en ligne (2018). Banque de tests de positionnement - Guide de rédaction des questions d’évaluation. URL : http://unisciel.fr/wp-content/uploads/2017/11/GuideRedactionQCM2018.pdf)

Combiner classement par objectifs et par niveaux de complexité

Cette méthode est une combinaison des deux méthodes précédentes. On classe alors les questions par complexité à l'intérieur de dossiers correspondant aux objectifs d'apprentissages (ou aux chapitres).

Cette méthode permet de valider à priori la représentativité et la congruence.

Pourquoi ne pas classer les questions par niveau de difficulté ?

Le niveau de difficulté d'une question est potentiellement variable en fonction de plusieurs paramètres :

le moment où est donnée la question par rapport au temps de l'apprentissage (avant, au début, en cours, à la fin, longtemps après) ;

les méthodes pédagogiques employées (un point de cours sur lequel on insiste devient potentiellement plus facile) ;

la perception individuelle que chaque apprenant a de la question.

Le niveau de difficulté s'appréciera plutôt à postériori d'une évaluation par l’analyse statistique des résultats obtenus en sachant que

d'une part, ces résultats ne valent que pour le groupe qui a passé l'examen puisque d'une année à l'autre, les paramètres évoluent (en particulier : les dates d'examens, des ajustements de pédagogie, la composition du groupe classe) ;

d'autre part, nous ne savons pas si un étudiant qui a coché la réponse attendue l'a fait, parce qu'il savait la réponse, parce qu'il a relevé des indices qui l'on mené à cette réponse ou s'il a tout simplement choisi au hasard.

Mesurer avec plus de précision le niveau de difficulté d'une question nécessiterait de s'intéresser de plus près à la perception que les apprenants ont de la question. L'usage des degrés de certitude est une réponse possible proposée par Olivier Prospéri (2012) dans cette optique.

Source : Prospéri (2012). Développement d’un indice de difficulté subjective pour la calibration de tests standardisés. URL : https://core.ac.uk/download/pdf/43661963.pdf