Afin de mesurer efficacement l’incidence des REL, les scientifiques dans le domaine ont élaboré des cadres d’évaluation. Dans cette section, nous en examinerons quelques-uns qui serviront de fondement aux prochaines analyses du guide. Trois cadres ressortent comme les plus populaires : Le cadre COUP, le cadre S3 et le cadre « Investment to Impact » (investissement par rapport aux retombées)^[1].

Cadre COUP

Bliss, Robinson, Hilton et Wiley (2013) proposent le cadre COUP comme modèle d’étude de l’incidence des ressources éducatives libres (REL) et de la pédagogie ouverte aux niveaux secondaire et postsecondaire. COUP signifie :

• Coûts : Quelles sont les retombées financières de l’adoption des REL pour la population étudiante et les autres parties intéressées?
• Résultats (outcomes) : Quels sont les effets des REL sur le rendement scolaire?
• Usage : Comment les membres de la population étudiante et du corps professoral utilisent-ils les REL?
• Perceptions : Que pensent la population étudiante et le corps professoral des REL?

John Hilton III (2017) fait un excellent résumé de quelques études menées à l’aide du cadre COUP, qu’il décline en catégories dans Special Issue: Outcomes of Openness: Empirical Reports on the Implementation of OER. Ce cadre est très utilisé dans le domaine, puisque nombre de spécialistes s’entendent pour dire que le cadre COUP couvre quatre aspects importants de la recherche sur les REL (Clinton, 2019).

Cadre S3

Ce cadre (Wiley, 2020) propose trois composantes pour évaluer l’incidence des REL : succès, portée et économies. Wiley explique comment on mesure chacune de ces composantes.

1. Succès : Ce cadre utilise les cotes alphabétiques comme indicateur de succès. Wiley suggère de comparer les moyennes des sessions précédant la mise en œuvre des REL à celles des sessions la suivant, précisant que des données de multiples sessions offrent une mesure stable.
2. Portée : Wiley explique que la portée est déterminée par le nombre d’inscriptions aux sections de cours offrant des REL. Ce nombre comprend le total d’inscriptions dans toutes les sections du cours, comme Introduction à la psychologie au moyen de REL, de même que le total d’inscriptions à des portions particulières de ces cours.
3. Économies : Les économies constituent le dernier élément du cadre. Wiley souligne que « lorsqu’il est fait avec exactitude, le calcul des économies tient compte de plusieurs facteurs », notamment les différents coûts du matériel pédagogique et les cas de dépenses nulles en matériel de cours. On évalue les économies en comparant les dépenses moyennes d’un groupe qui utilise des REL à celles d’un groupe témoin.

Le cadre S3 s’intéresse à trois questions :

1. À quel point cette innovation améliore-t-elle le rendement scolaire?
2. Combien de personnes étudiantes profitent de cette innovation?
3. Combien d’argent ces personnes économisent-elles grâce à cette innovation?

Cadre Investment to Impact (investissement par rapport aux retombées)

Ebner et coll. (2022) offre un bon aperçu de certaines études sur l’incidence des REL, qui comprend une étude de Jenkins et coll. (2020), dont les conclusions montrent que les REL peuvent améliorer la justice sociale aux études supérieures.

À l’issue d’une excellente revue de la littérature, Ebner et coll. (2022) relèvent ce qu’ils considèrent comme de « nouvelles données importantes » sur l’évaluation de l’incidence des REL :

• Diversité de visées des REL dans les universités
• Invisibilité de la réutilisation
• Omission des innovations
• Différences dans l’infrastructure des REL et maturité de la mise en œuvre
• Grandes disparités méthodologiques
• Visualisation et présentation des résultats

Ebner et coll. (2022) proposent un cadre pour l’évaluation de l’incidence des REL fondé sur leurs recherches. Ils soulignent l’importance de définir clairement les REL et de distinguer les façons de les évaluer. Ils utilisent la définition des REL de l’UNESCO (2019). Leur cadre est également clairement lié aux pratiques éducatives ouvertes. Ebner et coll. suggèrent une approche pratique pour amorcer ce travail, soit d’examiner les politiques en matière de REL ou les stratégies semblables à la recherche de visées, d’arguments ou d’objectifs liés aux REL. Ce cadre offre une bonne argumentation pour aider les établissements à comprendre qu’il n’existe pas une seule façon de mesurer l’incidence; en effet, il présente divers aspects auxquels on doit penser dans un contexte précis, que ce soit à l’échelle institutionnelle ou géographique. Il aide les responsables de la recherche à déterminer les objectifs spécifiques des REL dans leur établissement et à déterminer le public cible.

Analyse des cadres

Selon nos conclusions, les cadres S3 et COUP sont trop portés sur les aspects quantitatifs et examinent les effets après coup, plutôt que de préparer l’évaluation de l’incidence lors de la planification du projet. Le cadre Investment to Impact propose une approche globale pour examiner les effets complexes des REL aux études supérieures, qui dépendent souvent du contexte. Ebner et coll. (2022) présentent ce cadre en insistant sur l’importance de considérer l’efficacité des REL non pas en aval, mais plutôt en amont, dès la planification, dès les débuts du projet, et de la faire correspondre à vos propres objectifs ou recherches et à l’évaluation de l’efficacité par rapport à leur propre vision et à leurs propres objectifs.