Approche retenue : recherche-action privilégiant les méthodes qualitatives

Nous avons choisi d’appliquer un modèle de recherche-action, car cette dernière est considérée depuis longtemps comme une façon d’améliorer les pratiques (Koshy et al., 2010; Reason et Bradbury, 2008).

La recherche-action implique un examen systématique de la pratique qui englobe l’action, l’évaluation, la réflexion critique et les changements à la pratique. Elle vise à trouver des solutions à des problèmes pratiques en faisant participer les praticien.ne.s à la recherche et à l’élaboration d’activités visant à améliorer les résultats scolaires.

Puisque la recherche-action se veut participative et démocratique (Carr et Kemmis, 1986), elle a tout de suite attiré notre attention, car elle s’arrime bien aux principes et aux valeurs de l’Université Thompson Rivers en matière d’objectifs d’apprentissage et d’évaluation.

La recherche-action repose sur un cycle de planification de l’agir qui comprend habituellement les étapes suivantes : planification, action, observation, réflexion, nouvelle planification, nouvelle action, et ainsi de suite (Kemmis et McTaggart, 2007). Nous avons adapté ce cycle pour y intégrer des éléments de formation en pédagogie et de renforcement communautaire (figure 1).

Vous trouverez ci-dessous un résumé des étapes qui composent le cycle de planification de l’initiative SAIL. Une fois que sont formées les communautés de pratique dirigées par le corps professoral (les « groupes de travail ») pour chacun des OAI, les étapes suivantes se mettent en branle :

1. Lancement du projet pilote, y compris la planification, la préparation et le recrutement de co-chercheur.euse.s au sein du corps professoral.
2. Élaboration (ou amélioration) des grilles critériées partagées.
3. Choix des artéfacts des étudiant.e.s (travaux de cours) en vue de leur évaluation à l’aide des grilles critériées. Communication avec les étudiant.e.s au sujet du processus de consentement.
4. Participation du corps professoral à la formation des évaluateur.trice.s donnée par un.e formateur.trice en pédagogie et un.e praticien.ne de l’assurance qualité.
5. Évaluation par le corps professoral des travaux des pairs à l’aide des grilles critériées et des formulaires d’évaluation.
6. Participation à des groupes de discussion (« compte rendu ») dirigés par les coordonnateur.trice.s SAIL afin d’évaluer l’efficacité du projet pilote.
7. Rédaction, révision et diffusion des conclusions et des recommandations.
8. Examen par le corps professoral de l’évaluation des pairs et de la rétroaction sur l’apprentissage des étudiant.e.s. Au besoin, modification des cours en fonction de la rétroaction reçue.

Nous avons aussi appliqué plusieurs approches qualitatives, énumérées ci-dessous et décrites plus en détail aux liens suivants :

1. Groupes de discussion (« compte rendu »)
2. Évaluations descriptives basées sur les grilles critériées (« notes de l’évaluateur.trice »)
3. Consultations communautaires, ce qui comprend un sondage utilisant des méthodes mixtes ainsi que des présentations visant à obtenir de la rétroaction

Enfin, nous avons procédé à une analyse descriptive quantitative initiale des taux de consentement. Il est à noter qu’au départ, l’initiative SAIL comprenait une analyse quantitative des évaluations basées sur les grilles critériées afin d’éclairer la production de rapports globaux sur l’atteinte des OAI par les étudiant.e.s. Cependant, après avoir examiné les données qualitatives, nous avons constaté que l’interprétation des résultats quantitatifs présentait des lacunes. Pour pouvoir fournir des rapports agrégés, nous devrons améliorer la fiabilité des évaluations des évaluateur.trice.s. Il faudra en ce sens aborder plus en profondeur la question de la fiabilité dans le cadre de la formation des évaluateur.trice.s. Nous discuterons de cette limitation plus en détail à la section « Mises en garde pour la production de rapports agrégés ».

Les communautés de pratique : les groupes de travail sur les OAI

L’initiative SAIL fait appel à des communautés de pratique (« groupes de travail sur les OAI ») de co-chercheur.euse.s qui réalisent ensemble un travail de planification et d’échange de connaissances sur l’évaluation des objectifs d’apprentissage institutionnels. On dit qu’il y a « communauté de pratique » lorsqu’un groupe de personnes souhaite partager des expériences et des connaissances en lien avec un domaine d’expertise particulier. Les communautés de pratique sont organisées autour de ce qui compte pour les gens (Wenger, 1998). Le concept trouve son origine dans la théorie de l’apprentissage et a été utilisé avec succès pour créer des systèmes d’apprentissage en enseignement supérieur (voir, par exemple, Bosman et Voglewede, 2019).

Les trois principales caractéristiques des communautés de pratique sont les suivantes : 1) un domaine d’intérêt ou de compétence commun et distinct, 2) la participation à des activités communes qui favorisent l’établissement de relations et l’apprentissage, et 3) la pratique des praticien.ne.s comme point central des activités (Wenger et al., 2002).

La figure 2 illustre l’approche adoptée (communauté de pratique axée sur des groupes de travail interdisciplinaires) pour évaluer l’atteinte des OAI par les étudiant.e.s de l’Université Thompson Rivers.

Lorsqu’on leur a demandé quelle était la plus grande force du projet pilote SAIL, les membres du corps professoral ont affirmé que la possibilité de collaborer avec des collègues de toutes les disciplines était l’aspect le plus significatif du projet. Ces derniers ont apprécié le format des groupes de travail (en particulier la rétroaction en petits groupes) qui a été utilisé pour évaluer collectivement l’apprentissage des étudiant.e.s. Ils ont indiqué la conception collaborative des grilles critériées et la réflexion sur l’évaluation comme étant les faits saillants de l’expérience. Les membres du corps professoral ont aimé voir la façon dont leurs collègues interprétaient l’OAI et comment ce dernier était enseigné dans différentes disciplines. Par conséquent, la conception interdisciplinaire des groupes de travail a été perçue comme un atout. Les membres du corps professoral ont apprécié le travail collaboratif dans le cadre de la co-création de grilles critériées, et cet esprit de communauté leur manque lorsqu’ils évaluent les travaux de façon individuelle.

Co-chercheur.euse.s

En 2020-2021 et en 2021-2022, l’initiative SAIL était co-dirigée par Carolyn Hoessler, coordonnatrice à l’apprentissage et au perfectionnement du corps professoral (Centre d’excellence en enseignement et en apprentissage) et Alana Hoare, directrice adjointe de la planification de l’enseignement et de l’amélioration continue de la qualité (Bureau de l’assurance de la qualité), avec le soutien du coordonnateur du Bureau (Centre d’excellence en enseignement et en apprentissage) à la gestion de projet.

À cette équipe se sont greffés des membres du corps professoral qui ont participé au projet à titre de co-chercheurs et co-chercheuses. Ces derniers ont contribué à la conception de la recherche, à la mise en œuvre et à l’évaluation de l’efficacité de la méthodologie. Les membres du corps professoral ont reçu une allocation de perfectionnement professionnel de 250 $ en guise de remerciement pour leur contribution.

En 2020-2021, un total de 12 membres du corps professoral ont choisi de participer à l’initiative SAIL. Ils ont formé trois groupes de travail sur les OAI (Responsabilité sociale n = 4; Éducation permanente n = 4; Esprit critique et investigation n = 4). Six perspectives disciplinaires étaient représentées dans le premier projet pilote : la gestion du tourisme, la sociologie, l’éducation, l’éducation coopérative, le travail social et l’anglais.

En 2021-2022, neuf membres du corps professoral ont choisi de participer et ont formé deux groupes de travail sur les OAI (Éducation permanente n = 4; Responsabilité sociale n = 5). Cinq perspectives disciplinaires étaient représentées dans le deuxième projet pilote : enseignement coopératif, géographie, affaires, travail social et sociologie.

Artéfacts et participant des étudiant.e.s

Étant donné que l’étude vise à évaluer l’atteinte des OAI par les étudiant.e.s, les personnes participantes sont inscrites à des cours donnés par des membres du corps professoral impliqués.

Consentement des étudiant.e.s

Au cours de la première édition de l’initiative SAIL, nous avons mis à l’essai un processus de consentement positif. Les étudiant.e.s inscrit.e.s aux cours participants ont été invités à consentir volontairement à ce que l’un de leurs travaux soit évalué par deux membres du corps professoral qui n’étaient pas leurs enseignant.e.s. Le consentement des étudiant.e.s a été demandé, dans le cadre d’un protocole dont l’éthique et la confidentialité ont été préalablement approuvées, pour pouvoir recueillir, anonymiser et évaluer un travail pour le projet pilote. De plus, les enseignant.e.s des étudiant.e.s ne savaient pas qui avait donné son consentement.

Le taux de consentement global des étudiant.e.s était de 14,6 % (46 étudiant.e.s sur 316 inscrit.e.s). Les taux de réponse oscillaient entre 2,4 et 50 % dans les cours participants. Compte tenu du faible taux de consentement, nous n’avons pas été en mesure de tirer des conclusions sur le degré de réussite des étudiant.e.s par rapport aux objectifs d’apprentissage institutionnels. Nous avons plutôt mis l’accent sur l’efficacité du processus de l’initiative SAIL, en particulier l’approche de la communauté de pratique.

Au cours de la deuxième édition de l’initiative SAIL, nous avons instauré un processus de consentement négatif. Cette procédure a été mise en place à la suite d’un amendement à la proposition du CER et d’une consultation avec le responsable de la confidentialité, le responsable de l’éthique et le caucus des étudiant.e.s de l’Université. Le processus de consentement négatif comprenait l’ajout d’un avis de collecte dans le plan de cours; un avis verbal de la part de l’enseignant.e ou des coordonnateur.trice.s SAIL; ainsi qu’une annonce dans le système de gestion de l’apprentissage. Le taux de consentement global des étudiant.e.s était de 98,9 % (196 étudiant.e.s sur 198 inscrit.e.s).

Vous trouverez de plus amples renseignements sur le processus relatif au consentement des étudiant.e.s sur la page Consentement des étudiant.e.s et artéfacts.

Bibliographie