2 Grilles critériées partagées
Utilisation de grilles critériées au niveau de l’établissement pour évaluer l’atteinte des objectifs d’apprentissage institutionnels par les étudiant.e.s
Les travaux de Curcio (2018) suggèrent que les grilles critériées sont une méthode valable pour évaluer l’atteinte des objectifs d’apprentissage au premier cycle universitaire. En appliquant des grilles critériées existantes aux objectifs d’apprentissage institutionnels (voir Simper et al., 2018), l’initiative SAIL cherche à déterminer si l’utilisation de grilles critériées institutionnelles créées par le corps professoral permet d’évaluer l’atteinte des OAI par les étudiant.e.s dans le cadre de cours désignés comme répondant à un OAI.
Au cours de la première édition de l’initiative SAIL, le corps professoral a élaboré conjointement des grilles critériées, a obtenu le consentement des étudiant.e.s et a évalué leurs travaux de façon anonyme pour déterminer leur degré de réussite vis-à-vis trois OAI : Esprit critique et investigation, Responsabilité sociale et Éducation permanente. À noter que l’utilisation de trois OAI est convenable dans le cadre d’un essai, comme en témoigne l’utilisation par Norman (2017) de trois grilles critériées VALUE (AAC&U) : pensée critique, littératie quantitative et communication écrite.
Pour chaque OAI, les membres du corps professoral ont mis au point une grille critériée lors de séances animées par un.e formateur.trice en pédagogie et un.e praticien.ne de l’assurance de la qualité. Les grilles critériées tiennent compte des principes théoriques, des connaissances, de la réflexion, de l’application et d’autres compétences qui correspondent à des connaissances, des compétences et à des attitudes évaluables (Stassen et al., 2004).
Création conjointe de grilles critériées institutionnelles partagées
Les grilles critériées se fondent sur les critères énoncés dans les outils d’évaluation de la conformité aux composants de l’OAI utilisés à l’Université Thompson Rivers. Ceux-ci permettent de repérer les cours qui répondent aux OAI de l’université.
Au cours de la première initiative SAIL, les membres du corps professoral de chaque groupe de travail ont été chargés de déterminer le nombre de niveaux (colonnes) et les titres associés. Ils ont aussi rédigé conjointement les descriptions (cellules) de chaque niveau de rendement (colonne) pour chaque critère (rangée). À cette étape de la cocréation, d’autres membres du corps professoral se sont impliqués pour élargir les perspectives disciplinaires, le cas échéant.
À la suite du projet pilote nº 1, la rétroaction obtenue pendant le compte rendu a permis de produire de nouvelles versions des grilles critériées. Au cours de la seconde édition de l’initiative SAIL, les membres du corps professoral de chaque groupe de travail ont été chargés d’examiner les descriptions et d’affiner les rubriques, le cas échéant. Jusqu’à présent, l’Université Thompson Rivers a créé trois grilles critériées (tableau 2.1).
| Objectif d’apprentissage institutionnel |
Grille critériée |
|---|---|
| Éducation permanente | Grille critériée – Éducation permanente (PDF) |
| Responsabilité sociale | Grille critériée – Responsabilité sociale (PDF) |
| Esprit critique et investigation | Grille critériée – Esprit critique et investigation (PDF) |
Les niveaux de la grille critériée (titres des colonnes) Débute, Se rapproche, Atteint et Dépasse ont été choisis par le corps professoral lors du premier projet pilote. Ils reflètent l’évolution des étudiant.e.s au fil du temps, alors qu’ils progressent dans leur cursus. Les niveaux indiquent que certain.e.s étudiant.e.s sont au niveau Débute de l’OAI, tandis que d’autres sont au niveau Atteint. Au sein d’un programme ou d’un cursus, un cours qui introduit l’OAI peut se contenter d’amener les étudiant.e.s au niveau Débute. Par exemple, dans le cadre d’un cours de première année, on peut s’attendre à ce que la plupart des étudiant.e.s soient au niveau Débute ou Se rapproche. En revanche, dans le cas d’un cours d’une année supérieure, la plupart des étudiant.e.s peuvent atteindre les niveaux Se rapproche ou Atteint, si l’objectif est nouveau pour le groupe, ou atteindre les niveaux Atteint ou Dépasse si les notions ont été présentées et mises en pratique à plusieurs reprises depuis l’entrée dans le programme.
Les catégories/critères de la grille critériée (rangées) sont les composants de l’OAI. Les outils liés aux composants ont été élaborés pour faciliter la démonstration de la concordance entre les composants de l’OAI et les objectifs d’apprentissage d’un cours. On appelle « composants » le sujet central ou l’intention de l’OAI. Les composants sont axés sur quatre domaines (analyse, théorie, application/démonstration, réflexion). Ces derniers sont utilisés de la première à la quatrième année des programmes de baccalauréat et tiennent compte de la diversité des principes disciplinaires et des méthodologies. Vous trouverez ci-dessous les outils d’évaluation de la conformité aux composants pour chacun des OAI (tableau 2.2).
| Objectif d’apprentissage institutionnel |
Outil d’évaluation de la conformité aux composants de l’OAI |
|---|---|
| Communication | COMMUNICATION (PDF) |
| Travail d’équipe | TRAVAIL D’ÉQUIPE (PDF) |
| Responsabilité sociale | RESPONSABILITÉ SOCIALE (PDF) |
| Éducation permanente | ÉDUCATION PERMANENTE (PDF) |
| Esprit critique et investigation | ESPRIT CRITIQUE et INVESTIGATION (PDF) |
| Connaissances | CONNAISSANCES (PDF) |
| Conscience interculturelle | CONSCIENCE INTERCULTURELLE (PDF) |
| Savoirs et savoir-faire autochtones | SAVOIRS ET SAVOIR-FAIRE AUTOCHTONES |
Chaque OAI compte environ cinq à huit composants qui le caractérisent. Un cours ne doit répondre qu’à trois composants d’un OAI pour qu’on considère qu’il y a correspondance substantielle. Les composants de l’OAI correspondent aux catégories (rangées) des grilles critériées.
Les descripteurs (à l’intersection de chaque critère avec un niveau) ont été créés par des membres du corps professoral de l’initiative SAIL en 2020-2021 pour les objectifs Responsabilité sociale, Esprit critique et investigation, et Éducation permanente. Dans les projets pilotes subséquents, l’une des principales tâches associées aux grilles critériées sera de procéder à l’examen des descripteurs au niveau du cours et de l’établissement. Il sera ainsi possible de recueillir de la rétroaction sur l’application interdisciplinaire de ces documents.
Ateliers de création de grilles critériées
Les ateliers de création de grilles critériées sont animés par un.e formateur.trice en pédagogie et un.e spécialiste de l’assurance qualité. Ils sont aussi personnalisés pour chaque groupe de travail. Ils durent environ deux heures. Vous trouverez ci-dessous des instructions à l’intention des coordonnateur.trice.s SAIL pour l’animation d’un atelier de création de grilles critériées avec les membres du corps professoral participants (tableau 2.3).
| Durée | Activité | Ressources |
|---|---|---|
| 15 min | Passez en revue l’outil d’évaluation de la conformité aux composants de l’OAI et les composants de l’OAI. | Outil d’évaluation de la conformité aux composants de l’OAI |
| 20 min | Déterminez le nombre de niveaux (titres de colonne) et faites un remue-méninges pour trouver un titre à chacun d’eux. | Exemples de grilles critériées (p. ex., grilles critériées VALUE d’AAC&U) |
| 20 min | Faites un remue-méninges pour trouver des mots-clés pour chacun des descripteurs. | Exemples de grilles critériées (p. ex., grilles critériées VALUE d’AAC&U) |
| 20 min | Ébauche de descripteurs. | |
| 30 min | Discutez des travaux qui correspondent le mieux à la grille critériée au sein des cours des professeur.e.s participant.e.s. Déterminez les composants pertinents et confirmez que les descripteurs sont appropriés pour les travaux choisis. Au besoin, modifiez les descripteurs à la lumière de ces échanges. | |
| 15 min | Récapitulez et discutez des prochaines étapes. Rappelez aux membres du corps professoral le processus d’obtention du consentement des étudiant.e.s. | Avis de collecte de données (PDF) |
Bibliographie
Allen, M. J. (2008). Strategies for direct and indirect assessment of student learning. SACS-COC Summer Institute.
Association of American Colleges and Universities. (2009). Valid Assessment of Learning in Undergraduate Education (VALUE). AAC&U. https://www.aacu.org/initiatives/value
Curcio, A. A. (2018). A simple low-cost institutional learning-outcomes assessment process. Journal of Legal Education, 67(2), 489-530.
Kuh, G. D., Ikenberry, S. O., Jankowski, N. A., Cain, T. R., Ewell, P. T., Hutchings, P., & Kinzie, J. (2015). Using evidence of student learning to improve higher education. Jossey-Bass.
National Institute for Learning Outcomes Assessment (mai 2016). Higher education quality: Why documenting learning matters. University of Illinois et Indiana University, NILOA.
Norman, C. R. (2017). Students’ performance on institutional learning outcomes. https://repository.stcloudstate.edu/cgi/viewcontent.cgi?article=1013&context=hied_etds
Nunley, C., Bers, T., & Manning, T. (2011). NILOA’s learning outcomes assessment in community colleges. www.learningoutcomesassessment.org/documents/CommunityCollege.pdf
Simper, N., Frank, B., Scott, J., & Kaupp, J. (2018). Learning outcomes assessment and program improvement at Queen’s University (p. 1–53). Higher Education Quality Council of Ontario (HECQO).
Stassen, M. L.A., Doherty, K., & Poe, M. (2004). Program-based review and assessment: Tools and techniques for program improvement. www.umass.edu/oapa/sites/default/files/pdf/handbooks/program_assessment_handbook.pdf
