3 Consentement et artéfacts des étudiant.e.s
L’initiative SAIL vise à explorer dans quelle mesure l’atteinte par les étudiant.e.s des objectifs d’apprentissage institutionnels peut être déterminée par l’évaluation de travaux intégrés aux cours. Pour cela, chaque membre du corps professoral participant à l’initiative SAIL doit choisir un travail pertinent dans un cours approuvé pour un OAI qu’il enseigne. Le recours à des évaluations et à des grilles critériées visant des tâches authentiques et directes (p. ex., Allen, 2008) est conforme aux pratiques établies aux États-Unis (p. ex., NILOA, 2016; Nunley et al., 2011). Il demeure cependant peu courant au Canada, exception faite des projets financés par le COQES et le COVPE en Ontario (p. ex., Simpler et al., 2018).
Choix de cours
Les huit objectifs d’apprentissage institutionnels (OAI) de l’Université Thompson Rivers sont intégrés à une série de cours universitaires de trois crédits ainsi qu’à certains cours de synthèse de quatrième année.
Pour qu’un cours soit désigné comme répondant à un OAI, il faut que sa description et ses objectifs d’apprentissage soient fortement alignés sur les composants de cet OAI décrits dans la grille critériée correspondante (tableau 2.2), Pour déterminer si un cours répond aux exigences d’un OAI, les membres du corps professoral peuvent utiliser les outils d’évaluation de la conformité aux composants.
Conformément au modèle de formation générale de l’Université, chaque programme de baccalauréat comporte des cours conformes à des OAI, un cours pratique à fort impact ainsi qu’un cours de synthèse. Pour chaque programme d’études, on a créé une représentation visuelle qui illustre la manière dont les cours contribuent à l’apprentissage des étudiant.e.s. Cet outil facilite la conception des travaux et des évaluations, dans l’optique de favoriser l’atteinte des objectifs d’apprentissage du programme et de l’établissement. Par conséquent, les travaux intégrés aux cours constituent une source logique de données pour évaluer la réussite des étudiant.e.s au regard des OAI.
Sélection des travaux intégrés aux cours
Dans chaque groupe de travail sur les OAI, les membres du corps professoral ont choisi un travail de cours dans lequel les étudiant.e.s étaient susceptibles d’appliquer les critères de la grille critériée d’un OAI. Différents types de travaux ont ainsi été choisis : travaux écrits, notes de discussion en table ronde, présentations vidéo enregistrées à l’aide de PowerPoint, affiches et diagrammes visuels.
Pour permettre l’évaluation adéquate d’un OAI, il est essentiel que le travail offre suffisamment d’occasions aux étudiant.e.s pour démontrer leurs compétences en fonction des critères de la grille critériée. Dans certains cours, la démonstration des critères de l’OAI s’est faite par l’entremise de plusieurs travaux ou sections de travaux. Il y avait toutefois des limites pratiques quant au nombre de travaux pouvant être évalués. Par conséquent, nous avons demandé à chaque groupe de travail de cibler les travaux sur lesquels travailler et de convenir des modalités d’interprétation des résultats.
Consentement des étudiant.e.s
Pour préserver l’intégrité éthique du projet de recherche de l’initiative SAIL et respecter les six principes relatifs aux objectifs d’apprentissage et à l’évaluation (en particulier, l’orientation sur l’équité et l’apprenant.e), il était important d’obtenir le consentement éclairé des participant.e.s à l’étude, c’est-à-dire les étudiant.e.s. Tous les efforts ont été déployés pour éviter de contraindre les étudiant.e.s et les protéger contre tout préjudice potentiel qui pouvait découler de leur participation au projet pilote.
Les coordonnateur.trice.s SAIL ont consulté le caucus étudiant, les responsables de la protection de la vie privée et de l’éthique, ainsi que les co-chercheur.euse.s du corps professoral dans le but de concevoir conjointement la demande de consentement. Nous avons également sollicité l’approbation du comité d’éthique de la recherche de l’université.
Les résultats de l’initiative SAIL visent à orienter la planification stratégique à l’échelle de l’établissement, des programmes et des cours, et nous espérons que les futurs étudiant.e.s bénéficieront des retombées de cette initiative.
Consentement positif ou négatif des étudiant.e.s
Conformément à la législation et aux directives locales en matière de confidentialité et d’éthique, le corps enseignant et les établissements peuvent consulter les travaux des étudiant.e.s à des fins d’amélioration du programme si un mécanisme de consentement positif ou négatif est en place. Les deux approches ont été mises à l’essai dans le cadre des projets pilotes de l’initiative SAIL, avec un consentement positif pour le premier et un consentement négatif pour le deuxième.
Après avoir consulté les porte-parole des étudiant.e.s, les départements et les bureaux de la protection de la vie privée et de l’éthique, et sur la base de notre expérience au cours du deuxième projet pilote, nous recommandons vivement la méthode du consentement négatif à tous ceux et celles qui envisagent de mettre en œuvre une initiative SAIL.
En 2020-2021, nous avons mis à l’essai un processus de consentement positif. Les étudiant.e.s inscrit.e.s aux cours participants ont été invités à consentir volontairement à ce que l’un de leurs travaux soit évalué par deux membres du corps professoral qui n’étaient pas leurs enseignant.e.s. Le consentement des étudiant.e.s a été demandé, dans le cadre d’un protocole dont l’éthique et la confidentialité ont été préalablement approuvées, pour pouvoir recueillir, anonymiser et évaluer un travail pour le projet pilote.
Le sondage de consentement positif a été annoncé dans le système de gestion de l’apprentissage en ligne des étudiant.e.s (Moodle) ainsi que pendant le cours. Les coordonnateur.trice.s SAIL ont fait une brève présentation, sur demande, dans le cadre de certains cours. Le formulaire de consentement des étudiant.e.s de 2021, distribué en ligne au moyen de Survey Monkey, est accessible ici : Sondage sur le consentement des étudiant.e.s 2021.
Puisque les cours étaient donnés en ligne pendant le projet pilote nº 1, l’option des formulaires d’autorisation papier, qui a donné lieu à des taux plus élevés de soumission et de consentement dans un autre établissement, n’a pas pu être offerte.
Les coordonnateur.trice.s SAIL ont anonymisé les travaux des étudiant.e.s en supprimant tout renseignement permettant de les identifier (p. ex., identité de genre, orientation sexuelle, identité raciale ou ethnique, statut socioéconomique, citoyenneté, lieu de naissance, etc.) et en les remplaçant par des catégories entre crochets (p. ex., [identité de genre] ou [orientation sexuelle]). De plus, les enseignant.e.s ne savaient pas quels étudiant.e.s avaient donné leur consentement.
Taux de consentement : Le taux de consentement global des étudiant.e.s était de 14,6 % (46 étudiant.e.s sur 316 inscrit.e.s). Les taux de réponse oscillaient entre 2,4 et 50 % dans les cours participants. Compte tenu du faible taux de consentement, nous n’avons pas été en mesure de tirer des conclusions sur le degré de réussite des étudiant.e.s par rapport aux objectifs d’apprentissage institutionnels. Nous avons plutôt mis l’accent sur l’efficacité du processus de l’initiative SAIL, en particulier l’approche de la communauté de pratique.
En 2021-2022, nous avons mis à l’essai un processus de consentement négatif à la suite de consultations avec les principales parties prenantes et d’une modification à la proposition au CER. Le processus de consentement négatif comprenait l’ajout d’un avis de collecte dans le plan de cours; un avis verbal de la part de l’enseignant.e ou des coordonnateur.trice.s SAIL; ainsi qu’une annonce dans Moodle. Un exemple d’avis de collecte de données est accessible ici : Avis de collecte de données (PDF)
Pour assurer le suivi des consentements négatifs, nous avons créé une adresse courriel propre à l’initiative SAIL, ce qui a aussi facilité la conservation des dossiers et leur consultation par l’ensemble des coordonnateur.trice.s SAIL.
De plus, nous avons demandé et obtenu l’approbation du CER pour supprimer l’exigence d’anonymisation des travaux. Ce changement nous a permis d’élargir le type de travaux pouvant être inclus dans le projet en fonction des commentaires sur le projet pilote nº 1. Plus précisément, la suppression de l’exigence d’anonymisation nous a permis d’inclure des enregistrements vidéo des présentations des étudiant.e.s. Par conséquent, les enseignant.e.s avaient accès aux travaux de cours soumis et avaient donc accès aux noms des étudiant.e.s et à d’autres renseignements identificatoires fournis dans les travaux. Toutefois, aucune identification d’étudiant.e n’a été faite dans les rapports (voir la section Consultation institutionnelle et rapports), et les enseignant.e.s ne savaient pas qui avait donné son consentement.
Taux de consentement : Le taux de consentement global des étudiant.e.s était de 98,9 % (196 étudiant.e.s sur 198 inscrits). Cet échantillon très représentatif a permis de sélectionner et d’évaluer un sous-ensemble aléatoire dans tous les cours comptant plus de dix étudiant.e.s. Cette mesure a permis de s’assurer que les étudiant.e.s étaient bien représenté.e.s.
Sélection aléatoire à partir d’artéfacts ayant fait l’objet d’un consentement
Dans tous les cours comptant plus de dix étudiant.e.s, des artéfacts choisis au hasard ont été évalués. Dans le cas des cours comptant moins de dix étudiant.e.s ou dans les cours du projet pilote nº 1 où moins de dix étudiant.e.s ont accepté de participer, tous les travaux disponibles ont été inclus à l’étape de l’évaluation.
La sélection aléatoire des étudiant.e.s vise à réduire le biais d’échantillonnage, à produire un échantillon généralisable et à maintenir une charge de travail raisonnable pour le corps enseignant. Le recours à un échantillon aléatoire devrait permettre de déceler des tendances générales au sein de la cohorte, comme c’est le cas pour les grilles critériées VALUE de l’AAC&U (p. ex., Turbow & Evener, 2016).
À noter que la variabilité entre évaluateur.trice.s n’a pas été calculée dans le projet pilote n° 1 (en raison de la taille de l’échantillon) ni dans le projet pilote n° 2 (en raison de commentaires qualitatifs qui suggéraient fortement des limites dans les évaluations). Les prochaines éditions de l’initiative SAIL devraient tenir compte de cette limitation. Consultez la section Consultation institutionnelle et rapports pour en savoir plus sur la variabilité entre les évaluateur.trice.s. Vous y trouverez également des solutions potentielles pour produire des rapports agrégés significatifs et instructifs sur les objectifs d’apprentissage institutionnels.
Bibliographie
Association of American Colleges and Universities. (2009). Valid Assessment of Learning in Undergraduate Education (VALUE). AAC&U. https://www.aacu.org/initiatives/value
Turbow & Evener (2016). Norming a VALUE rubric to assess graduate information literacy. Journal of the Medical Library Association, 104(3), 209–214.https://pubmed.ncbi.nlm.nih.gov/27366121/
