L’élaboration d’un modèle d’évaluation des objectifs d’apprentissage à l’Université Thompson Rivers a été motivée par le double objectif suivant :

1. mobiliser le corps professoral dans la réflexion continue et l’amélioration des programmes d’études;
   
2. mesurer l’atteinte par les étudiant.e.s des objectifs d’apprentissage au moyen d’un processus modulable et généralisable, quelle que soit la discipline du programme.

Les deux premières éditions de l’initiative SAIL présentées dans ce guide sont parvenues à atteindre le premier objectif, à savoir engager le corps professoral dans une réflexion continue permettant d’améliorer les programmes d’études. Cependant, plusieurs difficultés ont été constatées en ce qui concerne l’approche choisie, et nous estimons que l’initiative SAIL (dans sa forme actuelle) n’est pas facilement adaptable à un grand nombre de disciplines. En effet, sa conception mobilise beaucoup de ressources et repose sur l’utilisation d’une grille critériée standardisée.

Nous avons découvert que l’initiative SAIL est une méthode idéale pour la formation et le perfectionnement immersifs du corps professoral. Nous avons constaté que les groupes de travail sur les OAI sont demeurés des réseaux de soutien entre pairs, même après la fin des projets pilotes.

Vous trouverez ci-dessous un résumé des points forts et des limites des projets pilotes SAIL, ainsi qu’une brève discussion quant aux possibilités de répéter l’expérience.

Forces

La méthodologie de l’initiative SAIL présente plusieurs forces. Elle offre notamment des possibilités de perfectionnement professionnel immersif, d’apprentissage collectif et de dialogue constructif sur la réussite des étudiant.e.s. Plus précisément, l’initiative SAIL :

• est en adéquation avec les principes de l’Université en matière d’objectifs d’apprentissage et d’évaluation;
• a favorisé la participation du corps professoral à une évaluation structurée axée sur la formation des pédagogues;
• a donné lieu à des résultats concrets qui ont eu des répercussions sur la refonte des cours et des travaux;
• a fait en sorte que les groupes de travail sur les OAI persistent en tant que réseaux de soutien par les pairs, même après la fin du projet pilote;
• a rendu possible la mesure de la réussite des étudiant.e.s vis-à-vis des objectifs d’apprentissage institutionnels, et ce, dans différents cours et disciplines;
• a permis de mobiliser les connaissances du corps professoral pour faire avancer les connaissances en enseignement et en apprentissage. Elle a notamment donné lieu à une présentation lors du 2021 IUPUI Assessment Institute et à la rédaction d’un document de recherche en vue de sa publication (Hoessler et al., à paraître).

Les données recueillies lors du compte rendu du corps professoral confirment que le processus de l’initiative SAIL est conforme aux principes de l’Université Thompson Rivers en matière d’objectifs d’apprentissage et d’évaluation. Les recherches suggèrent que le fait d’ancrer le processus dans des principes plutôt que des exigences réglementaires peut renforcer les valeurs institutionnelles et la culture d’amélioration continue (Wall et al., 2021), un objectif que l’Université s’efforce activement d’atteindre.

Kinzie et al. (2019) ont mis en exergue le rôle central du perfectionnement du corps professoral dans l’amélioration de l’évaluation des objectifs d’apprentissage. Ils ont aussi souligné « le pouvoir d’un échange constructif et fondé sur des données probantes entre les membres du corps professoral […] pour harmoniser et améliorer l’apprentissage des étudiant.e.s, tant en formation générale qu’au sein des disciplines » (p. 53). Avec sa structure et son encadrement, l’initiative SAIL permet ce type d’engagement profond marqué par des échanges éclairés par les données probantes sur la façon d’améliorer l’apprentissage des étudiant.e.s.

Limites

La méthodologie de l’initiative SAIL présente plusieurs limites qui sont liées à sa conception immersive et au fait qu’elle demande beaucoup de ressources. Elle est également soumise à des facteurs contextuels tels que la diversité des disciplines et l’éventail des niveaux de cours inclus dans le projet pilote. Plus précisément, l’initiative SAIL :

• exige beaucoup de ressources et de temps, en partie en raison de ses procédures manuelles pour recueillir et distribuer les artéfacts et compiler les rapports. Il serait bénéfique d’envisager d’autres outils de collecte et de distribution;
• nécessite une évaluation qui peut s’avérer difficile lorsqu’il est question de travaux qui sortent du cadre de la discipline d’un membre du corps professoral. C’est notamment le cas lorsque le travail n’est pas rédigé dans sa langue, qu’il est très technique (p. ex. dans le cadre d’un cours d’informatique) ou que l’épistémologie n’est pas prise en compte dans la description du travail;
  
• repose sur l’idée qu’un seul cours peut fournir suffisamment d’occasions aux étudiant.e.s de démontrer l’atteinte d’un OAI;
• présentait des difficultés lorsqu’il s’agissait de tirer des conclusions au niveau du cours, du programme et de l’établissement en raison de la variabilité entre les évaluations des évaluateur.trice.s et de l’éventail de cours inclus. Ces questions devront être prises en compte, et une formation supplémentaire sera nécessaire.

Chaque projet pilote de l’initiative SAIL exige environ 35 heures de travail de la part des membres du corps professoral, ainsi que le soutien d’un.e formateur.trice en pédagogie, d’un.e spécialiste en assurance de la qualité et d’un.e coordonnateur.trice administratif.ve. Plusieurs facteurs expliquent que cette initiative exige beaucoup de ressources. Premièrement, nous offrons aux membres du corps professoral des occasions structurées de participer à l’évaluation des objectifs d’apprentissage et nous intégrons la formation des pédagogues au processus. Cela impose des contraintes sur les ressources humaines. Plus précisément, il faut deux coordonnateur.trice.s SAIL et du soutien administratif. Deuxièmement, l’évaluation basée sur des grilles critériées peut nécessiter beaucoup de travail, en particulier lorsque les évaluateur.trice.s doivent interpréter des travaux qui ne relèvent pas de leur discipline.

Les cours compris dans les projets pilotes allaient de la première à la quatrième année. Pour un même OAI, les travaux évalués couvraient un vaste éventail de niveaux de compétence. Pour bien tenir compte de cette diversité dans l’évaluation, il est important de tenir compte de la progression appropriée, et pas seulement des résultats des étudiant.e.s.

Si on choisit d’étudier uniquement la réussite des étudiant.e.s, il faudra alors envisager de modifier l’initiative SAIL pour qu’elle se concentre sur les cours de dernière année ou les cours de synthèse. Banta et al. (2009) suggèrent que les cours de synthèse qui comprennent un portfolio reflètent mieux l’apprentissage des étudiant.e.s au fil du temps que l’instantané fourni par un seul travail de cours. Cependant, cette approche nécessite beaucoup de ressources.

Notre commentaire sur les « Mises en garde pour la production de rapports agrégés » comporte des suggestions pour améliorer la fiabilité des évaluations et l’utilité des rapports propres aux cours.

Bibliographie

Banta, T. W., Jones, E. A. et Black, K. E. (2009). Designing effective assessment: Principles and profiles of good practice. Jossey-Bass.

Austin, L. Dishke Hondzel, D., Dumouchel, E., Hoare, A., Hoessler, C., Kondrashov, O., McDonald, B., Noakes, J. et Reid, R. (29 juillet 2021). SAILing Forth! Faculty-Led Assessment of Institutional Learning Outcomes [Présentation dans le cadre de la conférence]. 2021 Assessment Institute, IUPUI, https://iu.mediaspace.kaltura.com/media/t/1_p4tvbjjv

Hoessler, C., Hoare, A., Austin, L., Huscroft, C., McKay, L., McDonald, B. et Reid, R. (à paraître). Assessment of institutional learning outcomes: A two-year faculty-led action research project.

Kinzie, J., Landy, K, Sorcinelli, M. D. et Hutchings, P. (2019). Better together: How faculty development and assessment can join forces to improve student learning. Change: The Magazine of Higher Learning, 51(5), 46-54.

Wall, S., Evans, L. M. et Swentzell, P. (2021). Indigenous assessment: Cultural relevancy in assessment of student learning. In J. M. Souza et T. A. Rose (dir.), Exemplars of assessment in higher education. Association for the Assessment of Learning in Higher Education (AALHE).