Méthode Angoff modifiée
Le comité d'examen du Conseil de certification des adjoints au médecin du Canada (CCAMC) utilise la méthode Angoff modifiée d'établissement des normes pour établir la norme ou la note de passage pour l'examen de certification d'entrée à la pratique des AM (ECAM).
Le processus implique que des experts en la matière estiment la probabilité qu'un candidat peu compétent réponde correctement à chaque élément du test (question).
Voici l’explication étape par étape du fonctionnement typique de la méthode Angoff modifiée :
Sélection d'experts en la matière : Un panel d'experts en la matière est sélectionné. Ces personnes sont toutes des AM certifiés ou des médecins qui sont membres du comité d'examen du CCAMC. Les experts en la matière travaillent sous la direction d'un psychométricien.
Examen des éléments : les experts en la matière examinent chaque élément de l'examen individuellement. Il leur est demandé d'estimer la probabilité (généralement sur une échelle de pourcentage) qu'un candidat peu compétent réponde correctement à chaque élément.
Discussion et consensus : après que chaque expert en la matière ait évalué indépendamment chaque élément, le comité d'examen organise une discussion de groupe. Les experts en la matière justifient ensuite leurs estimations et discutent de tout écart dans leurs notes. L’objectif est de parvenir à un consensus sur la probabilité attendue du candidat peu compétent répondant correctement à chaque élément.
Calculs des scores de coupure : une fois qu'un consensus est atteint sur la probabilité pour chaque élément, ces estimations sont moyennées sur toutes les notes des experts en la matière pour chaque élément. Le pourcentage obtenu correspond à la note attendue du candidat ayant les compétences minimales.
Établir la norme : Enfin, sur la base de la note de passage calculée, une décision est prise sur ce qui constitue la note de passage ou la norme pour cet examen. Le comité d’examen du CCAMC recommande la note de passage au CCAMC pour approbation après la rédaction de l’examen de l'année.
Les principales considérations de la méthode Angoff modifiée comprennent :
- Veiller à ce que les experts en la matière comprennent clairement ce qui constitue un candidat minimalement compétent.
- Toutes les estimations pour chaque élément sont basées sur le contenu et la difficulté des éléments plutôt que sur les opinions personnelles ou les préjugés des experts en la matière.
La méthode Angoff modifiée est considérée comme plus fiable que la simple définition de scores de coupure basés uniquement sur des méthodes statistiques, car elle implique directement des experts en la matière liés au contenu et au contexte de l'évaluation.
La méthode Angoff modifiée est basée sur le contenu de l'examen et non sur la performance du groupe. Il n'y a pas de courbe de notation de distribution appliquée et il est possible que tous les candidats qui passent l'examen réussissent.