Introduction

Vous savez maintenant que la gestion des données de recherche (GDR) comprend tout un ensemble de pratiques et de services, tels que la planification de la gestion des données, la curation, la découverte et la préservation. Les établissements de recherches qui réfléchissent à la GDR – tant les universités, les collèges que les centres hospitaliers – devraient examiner tous les services, ressources et effectifs qui soutiennent la GDR pour chacun des projets de recherche, particulièrement lors de l’officialisation de leurs services. Cette démarche a été entreprise par plusieurs établissements canadiens au moment de la rédaction de ce chapitre (printemps 2022) en réponse à la Politique des trois organismes sur la gestion des données de recherche.

Mais comment les établissements de recherche peuvent-ils déterminer si toutes les étapes du cycle de vie des données de recherche sont prises en charge et ensuite, qui est responsable de ces étapes? Afin de soutenir les établissements canadiens de recherche dans leurs réflexions, les autrices de ce chapitre se sont réunies au cours de l’été 2021 pour développer le Modèle d’évaluation de la maturité de la GDR au Canada, ou MEMAC (Fry et al., 2021). Il s’agit d’une initiative pour aider les partenaires de GDR à mieux comprendre les services et ressources qui soutiennent la gestion des données dans leur établissement.

Dans ce chapitre, nous examinerons pourquoi certains établissements canadiens pourraient vouloir mener chez eux une évaluation de la maturité de la GDR en tenant compte, particulièrement, des exigences en matière de stratégie institutionnelle de GDR mises en place par les trois organismes fédéraux de financement de la recherche au Canada (les trois organismes subventionnaires). Nous étudierons également le développement du MEMAC, comment le compléter et comment utiliser ses résultats. Pour terminer, nous soulignerons l’importance des efforts de la communauté dans la création de cet outil.

Le besoin: comment évaluer les services de GDR d’un établissement

Au printemps 2021, les Instituts de recherche en santé du Canada (IRSC), le Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG) et le Conseil de recherches en sciences humaines du Canada (CRSH) ont publié leur Politique des trois organismes sur la GDR. Cette politique tant attendue cherche à appuyer l’excellence en recherche au Canada en veillant à ce que les chercheuses et chercheurs appliquent de bonnes pratiques de GDR et d’intendance des données et que leurs établissements d’attache les soutiennent. Les trois organismes subventionnaires visent les normes d’excellence les plus rigoureuses – ils s’attendent à ce que la recherche soit effectuée d’une manière éthique, que les fonds accordés soient bien employés, que les expériences et les études soient généralisables et que les recherches soient aussi accessibles que possible (Gouvernement du Canada, 2021). Pour en faire la preuve, les établissements doivent créer et publier une stratégie de GDR qui fait état de leur engagement envers les principes de GDR et qui explique la façon dont ils appuieront les chercheuses et chercheurs dans la mise en œuvre de ces principes (voir la partie 3.1 de la politique).

Puisqu’une seule stratégie ne pourra convenir à toutes les situations, chaque établissement doit tenir compte des circonstances qui lui sont propres, telles que sa taille, l’intensité de sa recherche et sa capacité existante de GDR. Mais comment un établissement détermine-t-il sa capacité de GDR ou à quoi sa stratégie doit-elle ressembler? Pour aider dans ce processus, l’Alliance de recherche numérique du Canada (anciennement le réseau Portage) a publié en 2018 son Modèle pour l’élaboration de stratégie institutionnelle de GDR. Mis à jour en novembre 2021, ce modèle présente un processus en cinq étapes pour renseigner et façonner l’élaboration d’une stratégie de GDR qui répond aux besoins locaux et aux capacités des ressources. Nous nous attarderons sur la deuxième étape du processus, celle qui encourage les établissements à évaluer l’état de leur GDR en utilisant des modèles et outils d’évaluation.

Qu’est-ce qu’un modèle d’évaluation de la maturité? Et pourquoi le Canada en a-t-il besoin?

Les outils et modèles d’évaluation de la maturité évaluent la maturité et le niveau de préparation d’un établissement à fournir des services en GDR et aident à déterminer le degré de sophistication d’un service ou d’un produit. Une des caractéristiques couramment utilisée par ces modèles est l’échelle. Celle-ci sert à représenter la maturité d’un organisme relativement à certaines capacités particulières – autrement dit, dans quelle mesure la mise en œuvre du processus de l’organisme est fiable (Rans et White, 2017). La grille d’évaluation de la maturité permet à l’utilisateur de quantifier les capacités et favorise l’amélioration continue du processus.

Sur le plan international, la GDR est déjà bien implantée pour favoriser l’excellence en recherche et plusieurs modèles de maturité ont été développés. Toutefois, quand les établissements canadiens ont commencé à utiliser ces modèles pour évaluer l’état de la GDR sur leur campus, ils se sont aperçus que ces outils ne cadraient pas bien au contexte canadien en GDR. Par exemple, les établissements canadiens ne sont pas tenus d’avoir des politiques en GDR, contrairement aux établissements dans d’autres pays.

Après la publication de la politique des trois organismes sur la GDR en 2021, les membres de la communauté nationale de GDR ont entamé des discussions informelles sur la façon dont les établissements devraient s’y prendre pour l’élaboration de leur stratégie en GDR. Le Groupe d’experts national sur la formation (GENF)^[1] réunissant des membres de la communauté de recherche et des gens qui les soutiennent a décidé de créer une série de webinaires et d’ateliers qui serait présentée en octobre 2021 afin de rassembler des personnes représentant différents établissements pour discuter du développement de leur stratégie. En préparant cette série pour l’automne, plusieurs membres ont constaté l’absence d’un modèle canadien d’évaluation de la maturité qui pourrait servir aux établissements dans la deuxième étape du développement de leur stratégie. Le GENF a convenu qu’un outil proprement canadien de modèle d’évaluation de la maturité serait un bon point de départ pour discuter des capacités institutionnelles de GDR qui doivent être incluses dans les stratégies afin de s’aligner avec la politique des trois organismes sur la GDR. En avril 2021, un plus petit groupe a entamé l’élaboration de ce qui allait devenir la première version du MEMAC, à temps pour la tenue de l’atelier en octobre. Nous – les autrices de ce chapitre – en plus de Shahira Khair de l’Université de Victoria, faisions partie de ce groupe.

Comment le MEMAC a-t-il été créé?

L’analyse du contexte des modèles d’évaluation de la maturité

Comme première étape, nous avons analysé plusieurs outils internationaux d’évaluation. Bien que les modèles disponibles soient excellents, ils comprenaient des sections qui n’étaient pas applicables au Canada, en plus de comporter certaines lacunes – des éléments que nous devions alors inclure dans le modèle canadien, dont l’exigence des organismes subventionnaires pour une stratégie institutionnelle de GDR. À la suite de cette analyse, nous nous sommes concentrées sur les éléments des trois modèles les plus populaires pour nous aider à développer le MEMAC – l’outil du Research Infrastructure Self-Evaluation Framework (RISE) publié en 2017 par le Digital Curation Centre (DCC); l’outil d’évaluation de l’offre en GDR (Evaluate your RDM Offering) de SPARC Europe (s.d.); et le Data Management Framework du Australian National Data Service (ANDS, 2018)^[2]. Notre modèle canadien s’est surtout construit à partir du RISE, avec l’ajout de certains éléments inspirés du modèle SPARC et des cadres du ANDS.

Un aperçu du MEMAC

Dans notre outil canadien, nous détaillons la raison d’être, les objectifs et la définition du MEMAC, et nous fournissons une section sur la marche à suivre pour le compléter. Il y a quatre tableaux à remplir par les partenaires de recherche :

• Politiques et procédures de l’établissement;
• Infrastructure informatique;
• Services de soutien;
• Soutien financier.

Chaque tableau comporte cinq colonnes:

• l’élément à évaluer;
• la définition de l’élément;
• son niveau de maturité (l’état d’avancement de la GDR de l’établissement);
• son échelle (qui peut accéder au service ou au soutien);
• tout commentaire nécessaire pour expliquer la note attribuée à l’élément.

Sous chaque tableau, il y a un espace pour indiquer la date d’achèvement ainsi que le nom et le rôle de chaque personne qui a participé à le remplir; de cette façon, les gens qui consultent le tableau peuvent savoir avec qui communiquer s’ils veulent poser des questions ou émettre des commentaires. Le MEMAC a aussi été conçu pour une utilisation future, il est donc important de savoir qui a participé aux versions antérieures.

Nous voulions aussi nous assurer que les termes utilisés soient bien définis alors nous avons inclus une page de définitions des niveaux de maturité et des échelles spécifiques à chacun des tableaux, en y ajoutant quelques pistes de réflexion pour aider à les remplir.

La première version du MEMAC

Après avoir reçu une série de commentaires des membres de la communauté de GDR, nous avons terminé une ébauche de la version originale anglophone (MAMIC ou Maturity Assessment Model in Canada) qui a ensuite été traduite en français et présentée en octobre 2021 aux participantes et participants des ateliers sur les stratégies institutionnelles.

À noter que certains éléments n’ont pas été traités dans cette version originale, des modifications devront donc être faites pour les versions futures. Par exemple, une nouvelle version devrait tenir compte de la souveraineté des données autochtones. De nouveaux moyens de présentation de l’outil pourraient également être explorés, tels que le développement d’un outil en ligne qui permettrait aux personnes qui l’utilisent de produire différents types de graphiques, au même titre que l’outil du SPARC.

Ces révisions seront particulièrement utiles pour les établissements qui prévoient mener ce type d’évaluation régulièrement, dans le cadre du processus de révision de leur stratégie institutionnelle de GDR ou en guise d’amélioration continue de leurs services. Ce serait également utile de pouvoir appliquer le MEMAC à l’échelle nationale afin de relever et de traiter des lacunes et de présenter les contextes où certains établissements pourraient faire appel à des ressources nationales.

L’utilisation du MEMAC

Le MEMAC peut être utilisé pour déterminer ce qui existe en matière de ressources et de services en GDR, mais aussi qui est responsable de ces différentes formes de soutien. Cette connaissance permet aux établissements d’aider leurs chercheuses et chercheurs à améliorer leur gestion des données et de cibler les modifications à apporter pour bonifier leur offre de services. L’utilisation du modèle implique une coordination entre différents services sur le campus, dont la bibliothèque, le bureau de la recherche, le bureau de l’éthique et les responsables des TI.

Les catégories et mesures

Avant de commencer, les partenaires de recherche qui complètent le MEMAC devraient discuter du processus pour que tous comprennent bien la façon d’appliquer les échelles ainsi que les mesures et pour s’assurer que les décisions principales liées au processus soient documentées. L’évaluation de chacune des catégories (Politiques et procédures de l’établissement, Infrastructure informatique, Services de soutien, Soutien financier) peut se faire dans son propre tableau – voir l’Annexe 2 pour un exemple complet du tableau de la catégorie Politiques et procédures de l’établissement – avec les trois différentes mesures :

Mesure 1 : Le niveau de maturité de l’élément de l’établissement est noté sur une échelle de 0 à 5, allant de « n’existe pas » OU « inconnu » à « robuste et se concentre sur l’évaluation continue ». À noter que la première note de cette échelle est bien 0 et non 1, parce que certains établissements ne sont peut-être pas en mesure de fournir un service ou du soutien ou ils estiment ne pas en avoir besoin. La catégorie « n’existe pas » ne sert pas à indiquer le niveau de maturité, mais plutôt à reconnaître que l’élément n’est pas disponible aux chercheuses et chercheurs de l’établissement.

Mesure 2 : L’échelle est utilisée pour identifier celles et ceux qui peuvent accéder au service ou au soutien. L’élément pourrait ne pas s’appliquer à certaines personnes ou ne pas être disponible à toute la population. On peut alors déterminer si les services de l’établissement sont offerts de façon équitable et appropriée ou s’il existe des problèmes d’accessibilité.

Mesure 3 : Les commentaires sont probablement la plus importante des mesures parce  qu’ils peuvent identifier certaines forces ou faiblesses, en plus de fournir certaines pistes de discussion. C’est aussi l’endroit où lister des outils régionaux, nationaux, consortiaux ou autres qui servent de complément à la maturité de la GDR de l’établissement. Déterminer le niveau de maturité ou l’échelle d’un élément peut être difficile s’il existe plusieurs initiatives à l’intérieur de cet élément (p. ex., plusieurs unités qui offrent des services semblables de gestion des données). La section des commentaires est donc l’endroit idéal pour expliquer ce type de cas.

Compléter le MEMAC

Les données recueillies dans le MEMAC sont à l’usage exclusif des établissements qui le remplissent ; aucun autre organisme ne recueillera ces données. De plus, celles et ceux qui complètent le MEMAC décident des moyens employés pour recueillir et utiliser leurs données.

Le MEMAC peut être complété par un seul individu, mais nous recommandons l’implication d’un groupe de partenaires de recherche concernés qui représentent les domaines évalués. Par exemple, l’infrastructure informatique devrait être évaluée par des gens du service des TI et le soutien financier devrait être évalué par des personnes qui fournissent les services et le soutien en GDR (p. ex., les bibliothèques, les TI, les services de recherche).

Après que le MEMAC ait été rendu public, la communauté de GDR a partagé avec nous quatre exemples d’un processus achevé du MEMAC; tous se ressemblaient. Trois des quatre établissements avaient constitué un groupe de travail qui regroupait des bibliothécaires, des responsables en TI, des membres du bureau de la recherche et soit des chercheuses ou chercheurs ou des partenaires d’industrie. Pour l’autre établissement, seule la bibliothécaire de données a complété le document, en faisant appel à ses collègues du bureau de la recherche pour combler les informations manquantes. Cette méthode s’est avérée moins efficace et beaucoup plus laborieuse que les autres. Les résultats du MEMAC de chaque cas ont été présentés à un comité de GDR plus large à des fins de discussion.

Les avantages du MEMAC

En élaborant des stratégies et du soutien en GDR, les partenaires doivent réfléchir à l’état et à la portée des services et du soutien en GDR de leur établissement, ainsi qu’aux besoins et aux souhaits futurs. Un modèle d’évaluation de la maturité, comme le MEMAC, peut aider à identifier les lacunes, les forces, les faiblesses, les difficultés et les opportunités qui existent dans le paysage des données de recherche. Les établissements peuvent ainsi déterminer où les ressources et les efforts devraient être dirigés pour pouvoir mettre en place le soutien nécessaire au succès de leurs chercheuses et chercheurs.

Une utilisation efficace de cet outil permet une évaluation complète et représentative. Le processus nécessite toutefois la collaboration et la contribution d’une variété de partenaires de recherche; un des avantages de l’utilisation du MEMAC se rapporte donc à cette opportunité de discussion qui ouvre la voie à la création ou au renforcement de relations dans l’équipe. L’environnement de GDR institutionnel en sort consolidé et de nouvelles opportunités de dialogues, de collégialité et de partenariats à l’extérieur du cadre de la GDR apparaissent. Par exemple, une communication peut s’établir entre les services des TI et l’unité interne des TI de la bibliothèque, permettant ainsi une plus grande intégration des services de la bibliothèque et des ressources en TI.

Rassembler différents partenaires de recherche autour d’un outil partagé peut renseigner sur la complexité de la GDR et l’étendue des efforts déployés à travers l’établissement. Le processus peut contribuer à défaire les silos et à identifier les domaines d’expertise dans l’établissement, à établir des contacts ainsi qu’à faire ressortir les domaines qui pourraient profiter de la collaboration et des discussions autour de la stratégie et des services institutionnels, de l’allocation de ressources et de considérations budgétaires. L’utilisation d’un même outil sur une longue période peut aussi aider à suivre l’évolution des développements et des progrès dans l’établissement.

Plus largement, le MEMAC peut aussi favoriser les échanges entre établissements canadiens. En relevant les endroits où des ressources externes sont disponibles ou en développement, les établissements peuvent mieux décider où ils veulent investir au niveau local. De plus, l’identification de lacunes à travers les établissements peut mener à la création de nouvelles initiatives nationales. Ainsi, nous réduisons le dédoublement des efforts pour corriger chaque problème au niveau institutionnel, ce qui est long, coûteux et nécessite du personnel dédié à la tâche.

Conclusion

Ce chapitre a présenté le MEMAC sous deux angles : comme un outil que le personnel et les établissements de GDR peuvent utiliser dans leurs travaux actuels ou futurs, et comme un exemple d’initiative où les membres de la communauté canadienne de GDR ont pu se doter d’outils qui permettent à toutes et tous d’être plus efficaces et performants. Nous avons identifié un besoin et avons entrepris des démarches pour y répondre en utilisant les mêmes compétences et techniques utilisées ailleurs dans notre travail :  mener des analyses de contexte et des revues de littérature, travailler en équipe et développer du matériel testé et commenté par des utilisatrices et utilisateurs. Nous avons également fait appel aux ressources et aux individus qui étaient disponibles pour nous appuyer dans le développement et la diffusion de l’outil, notamment, la communauté nationale du réseau d’expertes et experts de GDR et l’équipe de GDR de l’Alliance canadienne de recherche numérique du Canada.

Lectures et ressources supplémentaires

Alliance de recherche numérique du Canada. (s.d.). Gestion des données de recherche. https://alliancecan.ca/fr/services/gestion-des-donnees-de-recherche

Alliance de recherche numérique du Canada. (s.d.). Réseau d’experts nationaux pour la gestion des données de recherche. https://alliancecan.ca/fr/services/gestion-des-donnees-de-recherche/reseau-dexperts

Alliance de recherche numérique du Canada. (2021). Webinaires sur l’application de la politique des trois organismes :

• Session 1: Introduction à la politique des trois organismes en GDR et plans de gestion des données
  • anglais: https://www.youtube.com/watch?v=FftT68eXlNQ
  • français: https://www.youtube.com/watch?v=lD6TrMukSBQ
• Session 2: Dépôt de données
  • anglais:: https://www.youtube.com/watch?v=oBYdbpZkXNg
  • français: https://www.youtube.com/watch?v=h7rUIrEceoI
• Session 3: Stratégies institutionnelles
  • anglais: https://www.youtube.com/watch?v=TR8yv1dzHyI
  • français: https://www.youtube.com/watch?v=K2jh1HhjXb8
• Session 4: Panel sur les stratégies institutionnelles
  • anglais: https://www.youtube.com/watch?v=mPnE2KDHl0M
  • français: https://www.youtube.com/watch?v=XUmGotnnslY

Australian Research Data Commons (ARDC). https://ardc.edu.au/

Borghi, J. (2016, 12 septembre). Building a user-friendly RDM maturity model. University of California Curation Center (UC3). https://uc3.cdlib.org/2016/09/12/building-a-user-friendly-rdm-maturity-model/

Fry, J., Doiron, J., Létourneau, D., Perrier, L., Perry, C. et Watkins, W. (2017, 31 janvier). Portrait de la formation sur la gestion des données de recherche au Canada : Livre blanc. https://dx.doi.org/10.14288/1.0372050

Groupe de travail chargé de la révision du modèle de stratégie institutionnelle en matière de GDR. (2021). Modèle pour l’élaboration de stratégie institutionnelle de gestion des données de la recherche (3.0). Zenodo. https://zenodo.org/record/5745923

Jacob, B., Whyte, A., Meyer, A., D’haenens, S., Hartmann, N. K. et Weiß, N. (2019, 2 octobre). Using RISE, an international perspective [Résumé]. 15th International Digital Curation Conference (IDCC), Dublin, Irlande. https://doi.org/10.5281/zenodo.3565440

Jones, S., Pryor, G. et Whyte, A. (2012). Developing research data management capability: The view from a national support service. Dans R. Moore, K. Ashley, et S. Ross (dir.), Proceedings of the 9th International Conference on Preservation of Digital Objects (iPRES), (pp. 142-149).  University of Toronto Faculty of Information. https://phaidra.univie.ac.at/detail/o:293775

Jones, S., Rans, J., Sisu, D. et Whyte, A. (2014). Reshaping the DCC institutional engagement programme. International Journal of Digital Curation, 9(2), 47-64.https://doi.org/10.2218/ijdc.v9i2.334

Kouper, I., Fear, K., Ishida, M., Kollen, C. et Williams, S. C. (2017). Research data services maturity in academic libraries. http://dx.doi.org/10.14288/1.0343479

Perry, C. l., Fry, J. et Doiron, J. (2017, 1 juin). Portaging the landscape: Developing and delivering a national RDM training infrastructure in Canada [Présentation]. IASSIST 2017 https://doi.org/10.5281/zenodo.4551708

SPARC Europe. (s.d.). How Open Are You? https://sparceurope.org/what-we-do/open-access/sparc-europe-open-access-resources/open-research-checklist-institutions/ 

Bibliographie

ANDS. (2018, 23 mars). Creating a data management framework. https://web.archive.org/web/20220309174711/https://www.ands.org.au/__data/assets/pdf_file/0005/737276/Creatinga-data-management-framework.pdf

Fry, J., Dearborn, D., Farrell, A., Khair, S. et Ripp, C. (2021, 30 novembre). Modèle d’évaluation de la maturité de la GDR au Canada (MEMAC) (1.0). Zenodo. https://zenodo.org/record/5745894

Gouvernement du Canada. (2021). Politique des trois organismes sur la gestion des données de recherche. https://science.gc.ca/site/science/fr/financement-interorganismes-recherche/politiques-lignes-directrices/gestion-donnees-recherche/politique-trois-organismes-gestion-donnees-recherche

Rans, J. et Whyte, A. (2017). Using RISE, the research infrastructure self-evaluation framework v.1.1. Digital Curation Centre. www.dcc.ac.uk/guidance/how-guides/RISE

SPARC Europe. (s.d.) Evaluate your RDM offering. https://sparceurope.org/evaluate-your-rdm-offering/.