Auteur.trice.s : Sugeet Jagpal, M.D., Leon Melnitsky, D.O., et Sam Zidovetzki, M.D., Santé publique
Réviseure : Anne Messman, M.D.

Étude de cas

Irena, membre subalterne du corps professoral dans une faculté de médecine, est invitée à faire part de ses observations concernant la création d’une nouvelle faculté de médecine dans sa province et, plus particulièrement, ce qui doit être pris en compte dans le processus d’admission. Irena se rappelle avoir été déconcertée par les éléments du processus d’admission et se demande si elle pourrait suggérer de nouveaux angles qui faciliteraient le processus des futur.e.s candidat.e.s en médecine. Enthousiaste à l’idée de pouvoir se pencher à nouveau sur cette question, Irena accepte d’offrir ses conseils.

Alors qu’elle réfléchit au processus d’admission, tous les souvenirs négatifs lui reviennent à l’esprit. Elle se souvient d’avoir téléversé une lettre de recommandation en retard et de la panique qu’elle a ressentie à ce moment-là. À l’époque, elle se demandait si cette lettre de recommandation manquante lui coûterait sa carrière médicale. Elle se souvient également d’avoir travaillé pendant des jours sur sa déclaration personnelle, seulement pour découvrir ensuite que les intervieweur.se.s n’avaient pas pris le temps de le lire. Un intervieweur lui avait même dit qu’il ne lisait pas les déclarations personnelles avant de rencontrer les candidat.e.s, parce qu’il se fiait à sa capacité d’évaluer les candidat.e.s. Il a mentionné qu’en général, il ne croyait pas en leur capacité à s’auto-évaluer.

De plus, Irena avait une majeure en biologie et avait sérieusement considéré faire une mineure en arts libéraux pour que sa demande d’admission à la faculté de médecine soit plus complète. Étant donné que ces crédits représentaient des coûts supplémentaires, elle a dû abandonner ce projet, parce qu’elle avait déjà vidé son compte bancaire en s’inscrivant à un cours préparatoire pour le MCAT. Elle a fini par obtenir un très bon score au MCAT, mais l’argent aurait-il été mieux dépensé sur la mineure en arts libéraux? Est-ce que l’un de ces éléments aurait permis de prédire sa réussite à la faculté de médecine ou dans une carrière en médecine?

Irena espère sincèrement qu’elle saura proposer un processus d’admission qui permettra aux facultés de médecine de sélectionner d’excellent.e.s candidat.e.s ET qui préviendra des souffrances inutiles chez des milliers d’étudiant.e.s collégiaux.ales. Elle se penche avec enthousiasme sur les données qui sous-tendent le processus d’admission. Elle est agréablement surprise d’apprendre qu’il s’agit d’un sujet débattu et que ses inquiétudes ont été mentionnées par d’autres. Elle se consacre à l’approche NEU de Siu et de Reiter, attirée par la façon dont ils ont séparé les domaines cognitifs et non cognitifs du processus d’admission.

 

Contexte

Dans le marché hautement concurrentiel des candidat.e.s en médecine, il est essentiel que le comité d’admission utilise des outils de sélection fiables et valides. La plupart des candidat.e.s aux études en médecine sont des personnes très motivées qui ne s’arrêteront devant rien pour être admis.e.s. À l’heure actuelle, de nombreux outils sont à la disposition du corps professoral médical. La moyenne générale des candidat.e.s, le score au Medical College Admissions Test (MCAT) et la série de mini-entrevues figurent parmi les mesures les plus pertinentes sur le plan pratique et les plus importantes sur le plan statistique en ce qui a trait au rendement en médecine.

L’approche NEU recommande de ne pas se fier à la validité du processus d’admission actuel. En particulier, on suggère l’approche « Ne faire confiance à personne » lorsque vient le temps d’évaluer les références d’un.e candidat.e, les examinateur.trice.s de dossiers ou les intervieweur.se.s.

Dans cet article, on souligne l’incapacité des candidat.e.s à s’auto-évaluer de manière objective. Il est déraisonnable de s’attendre à ce que des candidats aux études en médecine qui subissent une pression énorme fournissent une autoévaluation honnête et fiable. L’utilisation de mesures répétées pour évaluer la validité du processus d’entrevue est jugée très utile. Par exemple, on recommande de mener plusieurs entrevues au lieu d’une seule interaction afin de mieux prédire le rendement potentiel des candidat.e.s.

Interprétations modernes de cette théorie

Les lettres de recommandation font partie intégrante d’une demande d’admission, aussi bien dans les programmes d’études en médecine que dans les programmes de résidence. Par contre, on leur reproche d’avoir une faible capacité prédictive et une faible fiabilité inter-évaluateur.trice.s¹.Depuis la publication de l’approche NEU, de plus en plus de facultés de médecine se tournent vers les lettres de recommandation structurées. Les lettres de recommandation structurées permettent une mesure plus objective et sont plus qu’un simple exposé personnel, qui était le principal mode d’évaluation des lettres de recommandation antérieures⁴.En plus de l’exposé personnel, les lettres de recommandation structurées types contiennent sept questions axées sur les compétences qui permettent à l’évaluateur.trice de classer le candidat.e⁴.Ce classement doit être effectué par plusieurs évaluateur.trice.s par rapport aux pair.e.s des candidat.e.s. Ainsi, les lettres de recommandation structurées s’inscrivent dans le cadre des mesures répétées de l’approche NEU.

On a également cité l’importance des activités de recherche sous forme de publications et de présentations. Un sondage mené auprès des directeur.trice.s de résidence en médecine d’urgence indiquait que les activités de recherche étaient un facteur important dans l’évaluation d’un.e candidat.e.D’autres spécialités, comme la chirurgie générale et l’orthopédie, ont aussi mentionné les activités de recherche mentionnée comme étant une composante importante d’une demande d’admission⁶. Les activités de recherche peuvent être évaluées de manière objective, une valeur différente étant accordée selon la portée de l’étude, de la publication ou de la présentation à laquelle le candidat.e a participé. Si des critères objectifs sont utilisés, les activités de recherche peuvent être utilisées de façon quantitative pour contribuer à l’évaluation globale d’un.e candidat.e. Cette mesure quantitative s’inscrit dans le cadre de l’approche NEU, car elle évite les autoévaluations.

Les cadres de l’approche NEU jouent un rôle de plus en plus important, car un nombre croissant de demandes d’admission en médecine sortent des sentiers battus et présentent des éléments très variés. Il est donc plus difficile de comparer les demandes d’admission. L’utilisation de l’approche NEU permet aux comités d’admission d’apprécier le caractère unique de chaque demande sans compromettre la validité de la prédiction du succès futur.

Autres exemples d’application de cette théorie

L’approche NEU offre de vastes applications dans le domaine des évaluations scolaires au-delà du processus d’admission. Les évaluations cliniques des résident.e.s et du corps professoral étant des indicateurs de rendement importants, elles devraient aussi éviter les autoévaluations. L’évaluation classique des résidents en médecine d’urgence se fait par observation directe individuelle⁷. À l’heure actuelle, cette méthode d’évaluation est limitée par le biais et la subjectivité de l’évaluateur.trice. Même si l’on tente de réduire cette subjectivité au moyen de diverses mesures comme les tests à choix multiples ou les ECOS, elles ne sont pas assez répandues dans les programmes de formation pour être fiables.

De plus en plus, les évaluations des résident.e.s sont fondées sur des jalons, ce qui offre un cadre permettant à tous les membres du corps professoral d’évaluer les résident.e.s de façon objective. Ces évaluations fondées sur les compétences sont effectuées plus fréquemment et sont comparées à celles des résident.e.s du même programme et d’autres programmes afin de fournir une meilleure appréciation de la performance des résident.e.s⁷.Cela va dans le sens de l’approche NEU.

Les membres du corps professoral en début de carrière bénéficieraient également de l’approche NEU pour évaluer leurs compétences administratives, leurs compétences pédagogiques, leur capacité de diagnostic au chevet des patient.e.s ainsi que leur capacité à effectuer d’autres tâches qui leur ont été assignées. Les collègues de nouveaux membres du corps professoral, le personnel de soutien et les résident.e.s devraient évaluer tôt les membres du corps professoral en début de carrière selon plusieurs paramètres normalisés, y compris la capacité d’enseignement et les compétences cliniques au chevet des patient.e.s. Les personnes qui occupent des postes de direction administrative devraient également fournir une rétroaction aux membres du corps professoral en début de carrière en ce qui a trait à leurs compétences en leadership et à leurs capacités organisationnelles, plutôt que de se fier à leur auto-évaluation de ces aptitudes. L’utilisation de données objectives dans le cadre de l’approche NEU lors de l’évaluation s’applique à de nombreux contextes cliniques et domaines de l’éducation.

Limites de cette théorie

L’approche NEU comporte des limites puisqu’il est possible que les prochaines générations de candidat.e.s modifient leurs demandes afin d’augmenter leurs chances d’admission, de manière à « détourner le système ». L’approche « Ne faire confiance à personne » peut être perçue comme irrespectueuse et dégradante à l’égard des candidat.e.s et des personnes qui consacrent beaucoup de temps à la rédaction de lettres de recommandation et de rapports d’évaluation.

L’approche NEU s’appuie fortement sur le MCAT comme indicateur de réussite des études en médecine. Il est à noter que les services de conseil et d’accompagnement pour le MCAT ont gagné en popularité au cours des dernières années. Les personnes qui peuvent se permettre de payer 200 $/heure pour retenir les services d’un.e accompagnateur.trice professionnel.le MCAT amélioreront leur chance d’obtenir un meilleur score à ce test, mais n’amélioreront pas leurs chances de réussir leurs études en médecine. Par nature, cela accroît également l’iniquité du processus d’admission.

En ce qui concerne la réalisation de mini-entrevues et l’utilisation de « mesures répétées », il y a une zone grise d’incertitude, particulièrement lorsqu’il s’agit de déterminer combien de mini-entrevues sont nécessaires pour mener un processus d’entrevue fiable. De plus, il n’y a pas d’indication claire quant au nombre d’intervieweur.se.s qui sont nécessaires pour satisfaire aux critères liés à la réalisation de plusieurs évaluations, comme le suggère l’approche de Siu et de Reiter.

Retour à l’étude de cas

Après une analyse approfondie de l’approche NEU, Irena soumet son rapport au comité d’admission de la faculté de médecine. Elle recommande qu’ils se concentrent sur la moyenne générale, le score au MCAT, ainsi qu’une série de mini-entrevues. Elle recommande également de ne pas mettre l’accent sur les mesures subjectives comme les déclarations personnelles et les lettres de recommandation. Compte tenu de la plus grande probabilité de trouver des candidat.e.s qui cadrent mieux avec le programme d’études à l’aide des mesures répétées, elle recommande de prévoir une série de mini-entrevues pour chaque candidat.e potentiel.le. Elle précise clairement dans son rapport que le comité devrait examiner avec prudence toutes les données subjectives.

Ensuite, elle suggère que le processus d’entrevue idéal nécessiterait une présélection des demandes d’admission en fonction de mesures objectives, comme la moyenne générale et le score au MCAT, suivie d’une journée d’entrevues comportant plusieurs mini-entrevues, au cours desquelles on passerait brièvement en revue les déclarations personnelles et les lettres de recommandation, puisqu’elles ont moins tendance à être liées au succès.

Irena suggère fortement que la faculté de médecine entreprenne un processus de formation des intervieweur.se.s, ainsi que des membres du comité d’admission, afin d’être aussi objective que possible. Si les gens se rencontraient pour déterminer à l’avance les éléments à surveiller dans une lettre de recommandation, par exemple, on aurait l’occasion de créer des mesures reproductibles afin d’insuffler une certaine objectivité à ces données. Un autre exemple serait de déterminer comment quantifier les activités de recherche. Cela permettrait au comité de parler des candidat.e.s de façon plus objective, conformément à l’approche NEU. Elle propose de faire un bilan après le processus d’admission afin que toutes les parties prenantes puissent donner et recevoir de la rétroaction, de manière à ce que les intervieweur.se.s et les membres du comité travaillent en équipe et puissent compter les un.e.s sur les autres dans l’avenir. 

De plus, elle suggère de faire le suivi des étudiant.e.s inscrits et d’ajuster le processus de sélection en conséquence. Grâce à la mise en place d’un processus itératif, elle s’attend à ce que le comité d’admission soit en mesure d’adapter le processus d’admission au fil du temps et d’accroître la satisfaction à l’égard des cohortes d’étudiant.e.s en médecine. Dans un monde idéal, le comité serait en mesure de suivre le processus d’admission jusqu’à la réussite du programme d’études en médecine, puis à la réussite dans les cycles supérieurs de l’éducation médicale, ce qui lui permettrait d’accomplir la mission de leur faculté de médecine. Si un besoin était cerné dans les jalons de la résidence, le comité pourrait l’intégrer au programme d’études en médecine et modifier le processus d’admission en conséquence. Il s’agirait d’une ressource précieuse pour la faculté de médecine.

Les membres du comité d’admission remercient Irena pour son rapport. Ils l’informent qu’ils feront appel à son aide tout au long de la modification du processus d’admission.

Références

1. Siu, E., et H. Reiter. « Overview: what’s worked and what hasn’t as a guide towards predictive admissions tool development », Advances in Health Sciences Education, 2009, vol. 14, n^o 5, p. 759-775.
2. de Visser, M., C. Fluit, J. Cohen-Schotanus et R. Laan. « The effects of a non-cognitive versus cognitive admission procedure within cohorts in one medical school », Advances in Health Sciences Education, 2017, vol. 23, n^o 1, p. 187-200.
3. de Visser, M., C. Fluit, J. Fransen, M. Latijnhouwers, J. Cohen-Schotanus et R. Laan. « The effect of curriculum sample selection for medical school », Advances in Health Sciences Education, 2016, vol. 22, n^o 1, p. 43-56.
4. Jackson, J. S., M. Bond, J. N. Love et C. Hegarty. « Emergency Medicine Standardized Letter of Evaluation (SLOE): Findings From the New Electronic SLOE Format », Journal of Graduate Medical Education, avril 2019, vol. 11, n^o 2, p. 182-186.
5. Crane, J. T., et C. M. Ferraro. « Selection criteria for emergency medicine residency applicants », Academic Emergency Medicine, janvier 2000, vol. 7, n^o 1, p. 54-60.
6. Melendez, M. M., X. Xu, T. R. Sexton, M. J. Shapiro et E. P. Mohan. « The importance of basic science and clinical research as a selection criterion for general surgery residency programs », Journal of Surgical Education, avril 2008, vol. 65, n^o 2, p. 151-154.
7. Colmers-Gray, I. N., K. Walsh et T. M. Chan. « Assessment of emergency medicine residents: a systematic review », Canadian Medical Education Journal, [En ligne], 24 février 2017, vol. 8, n^o 1, p. e106-e122. [https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5344063] (Consulté le 5 juin 2019).