7 Consultation et production de rapports de l’établissement
L’initiative SAIL est un projet appliqué d’évaluation formative axé sur l’amélioration de l’apprentissage des étudiant.e.s. Les pratiques d’évaluation utilisées à des fins formatives se fondent sur une éthique de l’engagement et comprennent de multiples mesures triangulées, à la fois quantitatives et qualitatives, qui font l’objet d’un suivi dans le temps. Les mesures d’évaluation utilisées aux fins d’amélioration doivent répondre à un objectif établi par les membres de la communauté. Il existe de multiples canaux de communication et possibilités de dialogue pour que les résultats puissent stimuler le changement (Ewell, 2009). L’initiative SAIL intègre plusieurs moyens de diffusion des connaissances au niveau des cours, des départements et de l’établissement. Ces moyens sont également utilisés pour la diffusion à l’extérieur de l’université, dans l’optique de promouvoir l’approche académique de l’enseignement ainsi que l’avancement des connaissances en enseignement et en apprentissage.
Rendre compte du degré de réussite des étudiant.e.s par rapport aux objectifs d’apprentissage institutionnels
La communication des résultats de l’évaluation de l’OAI se fait à trois niveaux :
- Au niveau du cours : L’accent est mis sur l’utilisation des résultats du projet SAIL pour apporter des changements à la conception d’un cours, d’un travail ou d’une évaluation.
- Au niveau du programme ou du département : L’accent est mis sur l’amélioration des objectifs d’apprentissage au moyen d’un système d’évaluation efficace, continu et régulier. Cela est grandement facilité lorsque les programmes présentent clairement les objectifs d’apprentissage et les schémas curriculaires.
- Au niveau de l’établissement : L’accent est mis sur la documentation et la démonstration de l’atteinte des OAI par les étudiant.e.s.
Rapport de cours
Comme nous l’avons mentionné précédemment, les rapports au niveau des cours visent à éclairer d’éventuelles modifications dans la conception d’un cours, d’un travail ou d’une évaluation. Les membres du corps professoral qui participent à un groupe de travail sur un OAI recevront un rapport adapté à leurs cours. Ils pourront l’utiliser pour réfléchir à des améliorations en ce qui concerne l’apprentissage des étudiant.e.s. Nous reconnaissons le rôle central du corps professoral dans l’établissement des programmes d’études, l’évaluation des apprentissages des étudiant.e.s et l’amélioration du programme éducatif. Par conséquent, le premier niveau (c.-à-d. le cours des membres du corps professoral) est l’objectif principal de tout projet SAIL.
Voici un exemple de rapport de cours – Éducation permanente (PDF) que les membres du corps professoral reçoivent de leurs pairs. Cet exemple reflète les résultats d’un.e seul.e évaluateur.trice (collègue du corps professoral) qui a évalué un échantillon aléatoire de dix étudiant.e.s.
Rapport du programme ou du département
Le deuxième niveau est axé sur l’amélioration des résultats du programme au moyen d’un système d’évaluation efficace, continu et régulier. Pour éclairer la planification au niveau du programme, les doyen.ne.s et les responsables peuvent recevoir un rapport agrégé basé sur les résultats de chaque OAI évalué au sein de leur département dans le cadre d’un projet pilote SAIL. Si les membres du corps professoral d’un même programme (p. ex., baccalauréat en lettres, baccalauréat en sciences de l’éducation) participent en nombre suffisant, on peut alors produire un rapport qui fournit les résultats agrégés de plusieurs cours ou sections au sein de ce programme conforme à un OAI.
Si un seul cours est évalué au sein d’un département, aucun rapport agrégé n’est fourni, car l’objectif de l’initiative SAIL est l’évaluation formative. Nous voulons éviter tout risque d’évaluer individuellement les professeur.e.s. Au cours des projets pilotes nº 1 et nº 2, la représentation du corps professoral était insuffisante pour qu’on puisse produire des rapport au niveau des programmes.
Rapport institutionnel
Il est également possible de produire un rapport institutionnel agrégé fondé sur les résultats de chaque OAI évalué pendant le projet pilote SAIL, puis de le présenter au Comité de planification et de priorités académiques et au Comité d’enseignement et d’apprentissage. Pour cela, les coordinateur.trice.s SAIL et les co-chercheur.euse.s doivent déterminer qu’il y a suffisamment de données pour démontrer de manière fiable le degré de maîtrise par les étudiant.e.s des OAI évalués. L’initiative SAIL est l’un des éléments d’un plan d’évaluation institutionnelle en constante évolution à l’Université Thompson River. Celle-ci vise à mesurer la réussite des étudiant.e.s vis-à-vis les objectifs d’apprentissage institutionnels.
Dans le cadre des projets pilotes, des commentaires ont été formulés concernant la comparabilité des résultats, l’extensibilité du processus et le niveau d’interprétation des évaluateur.trice.s – autant d’éléments qui peuvent avoir une incidence sur la fiabilité de l’évaluation d’un.e évaluateur.trice à l’autre.
Les rapports de cours indiquaient les notes et les commentaires soumis. Interprétés en fonction des forces et des points à améliorer, les rapports de cours donnent au corps professoral un aperçu du niveau de compétence de leurs étudiant.e.s. Toutefois, les discussions qui ont eu lieu pendant le compte rendu et la formation des évaluateur.trice.s ont fait ressortir des différences nuancées dans l’interprétation des critères des grilles critériées et des descriptions lorsqu’elles sont appliquées à des travaux précis dans les différents cours. Ce qui semblait être des notes différentes pouvait être en fait le résultat d’interprétations variées des critères de la grille.
À ce stade, les notes des évaluateur.trice.s étaient plus qualitatives que quantitatives, selon les discussions de compte rendu. Puisque les interprétations variaient, il n’est pas possible d’agréger les données pour le moment. De la même manière que la moyenne de deux pommes et de trois poires ne correspond pas à deux pommes et demie, deux notes (la note de la pomme et la note de la poire) basées sur des concepts différents ne peuvent pas être agrégées.
Pour accroître la valeur des rapports, nous suggérons deux options :
1. Mettre l’accent sur les descriptions qualitatives : Nous pouvons mettre l’accent sur l’amélioration des conversations contextuelles qualitatives au sujet des évaluations, des travaux et des rapports de cours dans les groupes de travail sur les OAI. Lorsque l’interprétation varie, cela peut mener à une discussion intéressante qui éclairera à la fois les évaluations des membres du corps professoral et l’enseignement de leurs pairs. Ces dialogues structurés et le fait d’encourager les professeur.e.s à discuter des travaux et de ce qu’ils y voient pourraient éclairer la modification des cours et l’enrichissement des pratique d’enseignement, ce qui serait bénéfique pour l’apprentissage des étudiant.e.s.
2. Rechercher la cohérence numérique : Il convient de viser une cohérence au niveau du cours, du type de travail et entre les évaluateur.trices.s afin d’obtenir une note numérique cohérente pouvant être agrégée (c.-à-d. représentative d’une compréhension unie). Les notes agrégées des évaluateurs.trice.s, qui peuvent être moyennées, additionnées et comparées au fil du temps, doivent se fonder sur une compréhension unique et cohérente appliquée à tous les travaux. Souvent appelée « fiabilité entre évaluateur.trice.s », l’uniformité veut que deux évaluateur.trice.s arrivent à la même note. La cohérence est également nécessaire à la validité. La cohérence implique que les descriptions et les critères soient vus comme désignant un seul et même concept, peu importe la discipline, l’évaluateur.trice et le contexte. Pour des exemples d’évaluation axée sur la fiabilité entre évaluateur.trice.s, consultez Simpler et al. (2018) et Turbow et Evener (2016).
Les cours compris dans les projets pilotes allaient de la première à la quatrième année. Pour un même OAI, les travaux évalués couvraient un vaste éventail de niveaux de compétence. Pour bien tenir compte de cette diversité dans l’évaluation, il est important de tenir compte de la progression appropriée, et pas seulement des résultats des étudiant.e.s.
Une comparaison des options permettant d’adapter l’évaluation des OAI à l’objectif visé est décrite ci-dessous (tableau 5.1). Il convient de noter que ces objectifs ne s’excluent pas mutuellement et qu’ils peuvent être poursuivis dans le cadre d’un seul programme ou d’offres parallèles au sein d’un écosystème d’évaluation des objectifs d’apprentissage.
| Objectif de l’évaluation des OAI | Adaptations possibles |
| Mettre l’accent sur la mesure et la comparaison dans le temps des résultats obtenus au niveau de cours le plus élevé | Collecte de données : au cours des années supérieures seulement. |
| Travaux : similaires ou uniformes (p. ex., portfolio intégrateur, rapports écrits). | |
| Évaluation : tenir des rencontres en milieu d’évaluation pour maximiser la fiabilité entre les évaluateur.trice.s. Ces échanges peuvent avoir lieu avec les collègues du corps professoral ou avec les assistant.e.s de recherche. | |
| Tâches du.de la coordonnateur.trice : améliorer la fiabilité, les vérifications de la validité et la création de rapports agrégés. | |
| Mettre l’accent sur les interactions entre membres du corps professoral dans l’optique de maximiser la rétroaction entre pairs et de permettre l’amélioration des cours grâce à des échanges guidés dans les groupes de travail. | Collecte de données : tous les cours conformes aux OAI. |
| Travaux : tous les travaux pertinents. | |
| Évaluation : miser sur l’examen collégial des travaux des étudiant.e.s et la documentation des évaluations et des commentaires. Les discussions structurées devraient être axées sur la mise en évidence des facteurs contextuels susceptibles d’influer sur les évaluations ou le rendement des étudiant.e.s, dans une perspective d’apprentissage formatif et de réflexion en vue d’une refonte du cours. Il est recommandé que les participants soient des collègues du corps professoral. | |
| Tâches du.de la coordonnateur.trice : animer les discussions; créer un temps et un espace structurés pour le dialogue; accompagner le corps professoral dans le processus de réflexion, de changement et de révision. La collaboration avec le corps professoral permet de contextualiser les résultats et de célébrer les changements apportés aux cours ou d’en faire le compte rendu. | |
| Mettre l’accent sur des activités significatives pour les étudiant.e.s | Collecte de données : tout les cours conformes aux OAI pertinents qui demandent une expérience antérieure (généralement les cours de synthèse). |
| Travaux : portfolios ou travaux de réflexion qui invitent les étudiant.e.s à rassembler, présenter et contextualiser les preuves de leur atteinte de l’OAI ou de leurs apprentissages. | |
| Évaluation : mettre l’accent sur la confirmation des résultats avec des remarques sur les nuances dans les forces et les points faibles constatés par l’étudiant.e ou présents dans son travail. L’évaluation peut être faite par le corps professoral du cours, par des collègues ou par des assistant.e.s de recherche. | |
| Tâches du.de la coordonnateur.trice :collecte d’exemples de travaux par comité; recensement des cours et travaux pertinents avec le corps professoral; formation des évaluateur.trice.s; collaboration avec le corps professoral pour contextualiser les résultats; envoi d’encouragements ou de rétroactions aux étudiant.e.s; célébration ou rapport sur les changements apportés aux cours ou aux programmes. |
Si l’objectif est d’étudier uniquement la réussite des étudiant.e.s, il faudra alors envisager de modifier l’initiative SAIL pour qu’elle se concentre sur les cours de dernière année ou les cours de synthèse. De plus, il faudra porter attention aux questions de recherche globales. Il faudra notamment déterminer si celles-ci devront être modifiées pour inclure l’étude de la progression des étudiant.e.s en plus de leur atteinte des objectifs d’apprentissage institutionnels.
Assurer la cohérence avec le comment et le pourquoi des résultats prend du temps, tant pour les membres du corps professoral concernés que dans la mise en œuvre des changements touchant l’enseignement et l’apprentissage. Le changement est un processus chronophage et intensif, surtout quand il concerne des dizaines de cours donnés par des dizaines d’individus.
Enfin, par souci d’évolutivité et d’uniformité, nous suggérons de raccourcir le délai entre la formation et l’évaluation, d’incorporer une vérification en milieu d’évaluation, et de discuter des évaluations dans l’optique d’accroître la cohérence de la démarche et de la rendre plus conviviale pour les professeur.e.s.
Il est également possible de faire participer des assistant.e.s de recherche qualifiés dans les projets pilotes SAIL. Ces derniers peuvent évaluer certains travaux, allégeant le fardeau du corps professoral. Ils peuvent également fournir une rétroaction que les membres du corps professoral pourront ensuite revoir et mettre en contexte.
Rapport final de l’initiative SAIL et consultation
La consultation fait partie du processus de l’initiative SAIL.
La rétroaction sur l’efficacité et l’utilité du processus recueillie lors du compte rendu est intégrée au rapport final de l’initiative SAIL, qui comprend des recommandations pour les prochaines éditions. L’objectif de ce rapport est de contribuer à l’élaboration d’un modèle d’évaluation continue des objectifs d’apprentissage et de révision des programmes d’études qui s’inscrit dans la culture, les structures et les processus de l’université, y compris son plan d’évaluation des OAI.
À l’automne 2021, les coordonnateur.trice.s SAIL se sont engagé.e.s dans un processus de consultation approfondi pour recueillir des commentaires sur les conclusions et les recommandations du projet pilote nº 1. La consultation comprenait des présentations à tous les conseils de la faculté (et aux comités de programme sur demande) ainsi qu’au caucus des étudiant.e.s de l’université. De plus, un sondage en ligne a été distribué à travers plusieurs canaux. Enfin, des consultations ont eu lieu avec les comités permanents appropriés du Sénat, notamment le Comité des priorités et de la planification académique et le Comité de l’enseignement et de l’apprentissage.
Les résultats de la consultation de l’automne 2021 ont servi de base à la deuxième itération de l’initiative SAIL. Par exemple, en fonction des commentaires reçus, nous avons modifié le processus de consentement des étudiants (du consentement positif au consentement négatif) pour remédier aux faibles taux de consentement, choisi une plateforme différente (Moodle au lieu de Microsoft Teams) pour améliorer l’efficacité et la convivialité, et recherché une plus grande diversité disciplinaire et une plus grande variété de travaux (présentations orales, tables rondes, projets) pour tester l’efficacité de l’évaluation basée sur une grille critériée.
Les premières conclusions du projet pilote nº 2 nous indiquent que nous devrons explorer des méthodes pour modifier et améliorer les discussions des groupes de travail, et ce, afin d’améliorer la fiabilité des résultats des différents évaluateur.trice.s, d’assurer la cohérence entre les évaluations à l’aide de la grille critériée et d’explorer l’incidence du contexte sur les évaluations. Une description plus détaillée des résultats des projets pilotes nº 1 et nº 2 se trouve à la section Conclusions.
Bibliographie
Gosling, D. et D’Andrea V. A. (2001). Quality development: A new concept for higher education. Quality in Higher Education, 7(1), 7-17. https://doi.org/10.1080/13538320120045049
Ewell, P. T. (2009). Assessment, accountability, and improvement: Revisiting the tension, Occasional Paper #1. National Institute for Learning Outcomes and Assessment. http://www.learningoutcomeassessment.org/documents/PeterEwell_005.pdf
Simper, N., Frank, B., Scott, J. et Kaupp, J. (2018). Learning outcomes assessment and program improvement at Queen’s University (p. 1–53). Conseil ontarien de la qualité de l’enseignement supérieur.
Turbow, D. J. et Evener, J. (2016). Norming a VALUE rubric to assess graduate information literacy skills. Journal of the Medical Library Association, 104(3), 209–214. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4915638/
