10 L’institutionnalisation de la pratique évaluative au sein des organisations

Le renforcement des capacités organisationnelles en évaluation préoccupe le monde de l’évaluation depuis une vingtaine d’années. Ce chapitre présente un état des lieux de la recherche et de la pratique dans ce domaine et offre des pistes concrètes d’action pour celles et ceux qui souhaitent améliorer les capacités organisationnelles à réaliser et à utiliser des évaluations.

Le problème de l’utilisation des évaluations

Comme nous l’avons vu tout au long de cet ouvrage, les objectifs principaux de la pratique évaluative sont d’appuyer la prise de décision et l’amélioration des programmes et des initiatives. L’utilisation des évaluations est donc au cœur de cette pratique et doit être encouragée tout au long de la démarche. En d’autres mots, une évaluation qui n’est pas utilisée ne vaut pas la peine d’être réalisée.

Les chercheuses et chercheurs s’intéressent depuis plus de trente ans aux différentes manières dont l’évaluation peut être utilisée pour amener des changements, de même qu’aux facteurs qui appuient ou entravent son utilisation dans les organisations. Parmi ces facteurs, Cousins et Leithwood (1986) identifient plusieurs éléments associés à la mise en œuvre de l’évaluation, comme :

• La clarté et la fréquence des échanges entre l’équipe d’évaluation et les personnes à qui s’adresse l’évaluation;

• Les compétences des membres de l’équipe d’évaluation;

• La qualité du rapport d’évaluation;

• La crédibilité des résultats de l’évaluation;

• Le moment où l’évaluation a eu lieu;

• Les besoins informationnels des décideurs, leur intérêt par rapport à l’évaluation et le climat organisationnel.

Johnson et ses collègues (2009) ajoutent à ces facteurs la participation des parties prenantes à la démarche évaluative et l’effet de leur participation sur la crédibilité des résultats, sur le processus décisionnel et sur la diffusion des résultats à divers niveaux organisationnels.

En plus des facteurs déterminants qui appuient l’utilisation des évaluations, les chercheuses et chercheurs se sont aussi attardés aux types d’utilisation des résultats d’évaluation. Nous en avons traité brièvement lorsqu’il était question de pragmatisme et d’évaluation axée sur l’utilisation. L’évaluation doit servir à la prise de décision et à l’amélioration des programmes, mais elle peut aussi servir à d’autres fins importantes. En effet, comme le montre la figure 7.1 ci-dessous, Alkin et Taut (2021) distinguent six types d’utilisation de l’évaluation dont trois sont liés aux résultats et trois autres au processus.

L’utilisation des résultats de l’évaluation comme vecteur de changement

Ce domaine s’intéresse aux façons dont les connaissances générées dans le cadre d’une évaluation mènent à des changements sur les utilisateurs, les programmes et les organisations. Le tableau qui suit présente les trois types d’utilisation des résultats de l’évaluation.

Tableau 10.1. Types d’utilisation de l’évaluation comme vecteur de changement

L’utilisation de l’évaluation comme processus d’apprentissage

Ce domaine s’intéresse aux changements qui surviennent en raison de l’implication de groupes et d’individus dans un processus d’évaluation. L’utilisation du processus, ou process use en anglais, réfère au fait que les parties prenantes qui participent à l’évaluation développent leurs compétences par l’entremise de cette participation. Les parties prenantes qui comprennent l’évaluation sont plus susceptibles de se servir des résultats et de faire preuve d’une pensée évaluative au-delà de l’exercice même de l’évaluation.  Le tableau qui suit présente les trois types d’utilisation de l’évaluation comme processus.

Tableau 10.2. Exemples d’utilisations de l’évaluation comme processus d’apprentissage

Favoriser l’utilisation des évaluations en renforçant les capacités internes

L’utilisation des évaluations dépend de plusieurs facteurs et peut prendre plusieurs formes, selon les besoins des organisations, ainsi que leurs caractéristiques. Le renforcement des capacités organisationnelles en évaluation (RCÉ) représente l’un des moyens d’influencer l’utilisation des évaluations. Le RCÉ réfère à « une série d’activités intentionnelles (de stratégies) ayant pour but d’instaurer une culture évaluative au sein d’une organisation, afin que l’évaluation soit intégrée aux processus habituels et aux discussions à tous les niveaux de l’organisation » (adaptée de Stockdill, Baizerman et Compton, 2002). En d’autres mots, les activités de renforcement mises en place servent à institutionnaliser la pratique évaluative au sein de l’organisation et visent à la fois à améliorer la réalisation et l’utilisation des évaluations.

Plusieurs cadres et modèles tentent de décrire les capacités organisationnelles en évaluation (par ex., Bourgeois et Cousins, 2013; Preskill et Boyle, 2008; Nielsen, Lemire et Skov, 2011). Les éléments constitutifs de ces cadres et modèles portent sur les capacités individuelles et les capacités organisationnelles. Les capacités individuelles réfèrent généralement aux connaissances et compétences techniques nécessaires à la production et l’utilisation des évaluations. On pense, par exemple, aux compétences liées à l’élaboration de modèles logiques et aux compétences méthodologiques. Les capacités organisationnelles réfèrent aux structures, systèmes et processus mis en place au sein de l’organisme pour favoriser la production et l’utilisation des évaluations. Ici, on pense par exemple aux ressources financières réservées aux activités d’évaluation, aux procédures officielles liées à la diffusion des évaluations, ou encore aux politiques organisationnelles relatives à l’évaluation. Le texte de Bourgeois et Valiquette L’Heureux (2018) décrit ces modèles ainsi que leurs éléments constitutifs.

Certains des modèles et cadres décrivant les capacités individuelles et organisationnelles en évaluation ont été élaborés pour répondre aux besoins d’organismes appartenant à un secteur particulier. Par exemple, le cadre conceptuel de Bourgeois et Cousins (2013) porte spécifiquement sur les capacités en évaluation d’organismes gouvernementaux. Ses éléments constitutifs décrivent donc, par exemple, la présence d’une équipe d’évaluateurs internes qui travaillent à temps plein pour l’organisme, un budget réservé aux projets d’évaluation, une politique qui encadre la pratique évaluative et une culture organisationnelle ouverte à l’apprentissage. Ce cadre a ensuite été adapté par Buetti, Bourgeois et Savard (2019) au secteur communautaire.  On y retrouve des éléments plus pertinents à ce contexte, dont un climat participatif, des partenariats avec d’autres organismes communautaires, l’intégration de l’évaluation aux rencontres du conseil d’administration de l’organisme et l’implication des membres ou des bénéficiaires à la démarche évaluative.

Les modèles et cadres ont aussi mené à la création d’instruments de mesure des capacités organisationnelles servant au diagnostic des organismes qui souhaitent renforcer leurs capacités (Bourgeois, Toews, Whynot et Lamarche, 2013; Taylor-Ritzler, Suarez-Balcazar, Iriarte-Garcia et al., 2013; El Hassar, Poth, Gokiert et Bulut, 2021). Ces instruments présentent généralement des énoncés portant sur divers aspects des capacités individuelles et organisationnelles en évaluation et demandent aux répondants d’indiquer, grâce à une échelle, la mesure dans laquelle l’énoncé est représentatif des pratiques dans leur organisation. Les résultats peuvent ensuite être interprétés et fournissent habituellement des pistes d’amélioration ou des stratégies de renforcement des capacités existantes.

Les stratégies de renforcement des capacités organisationnelles en évaluation

Le renforcement des capacités individuelles et organisationnelles en évaluation peut prendre plusieurs formes. Lorsqu’il est question de renforcement des capacités individuelles, les écrits réfèrent au RCÉ direct et indirect. Le RCÉ direct réfère aux activités de formation, dont les cours universitaires et les ateliers de formation professionnelle qui ciblent l’acquisition de nouvelles compétences en évaluation. Ces activités d’apprentissage portent sur divers aspects de la démarche évaluative et sont habituellement offertes à des groupes de participantes et de participants. Généralement, elles peuvent s’adresser aux personnes responsables de l’évaluation dans une organisation ou à d’autres parties prenantes qui seront éventuellement appelées à contribuer à la démarche évaluative, tels que les gestionnaires des programmes. Le RCÉ indirect réfère à la participation d’individus à la démarche évaluative et aux compétences développées dans le cadre de cette participation. On ne parle donc pas ici de cours ou d’ateliers, mais bien d’une approche pédagogique centrée sur l’expérience des participantes et participants. Ainsi, le RCÉ indirect est habituellement offert à quelques personnes à la fois plutôt qu’à des groupes dont les membres apprennent ensemble.

La majorité des études portant sur les stratégies de RCÉ décrivent les effets du RCÉ direct et indirect et leur effet sur l’acquisition de nouvelles compétences chez les individus qui y participent (Bourgeois, Lemire, Fierro et al., 2022). Cependant, il existe plusieurs autres stratégies de renforcement des capacités en évaluation qui ciblent l’organisation plutôt que l’individu. Bien que la formation et l’expérience individuelles soient importantes, il est aussi essentiel de s’attarder aux systèmes, structures et procédures qui guident la pratique et l’utilisation de l’évaluation au sein de l’organisme afin d’éviter les écueils liés au roulement du personnel et à la perte de mémoire corporative subséquente. Le renforcement des capacités au niveau organisationnel vise donc l’institutionnalisation des pratiques évaluatives afin qu’elles soient durables et pérennes.

Voici quelques exemples de stratégies de renforcement qui ciblent l’organisation entière :

• L’élaboration d’un guide d’évaluation qui décrit la démarche évaluative et les procédures à suivre pour réaliser une évaluation;
• La préparation de gabarits du cadre d’évaluation, du modèle logique et d’autres documents produits lors d’une évaluation;
• La constitution d’un comité aviseur en évaluation pour l’organisme, qui regroupe des représentants des programmes ainsi que de la haute gestion;
• La mise en place d’un budget réservé aux activités d’évaluation;
• L’harmonisation des instruments de collecte de données existantes afin que les données recueillies servent aux activités d’évaluation dans l’avenir;
• L’élaboration d’un plan organisationnel en matière d’évaluation, qui présente les évaluations qui seront réalisées au cours des cinq prochaines années ainsi que les décisions qu’elles permettront d’éclairer;
• L’élaboration d’une politique organisationnelle en évaluation, qui décrit, entre autres, ce qui doit être évalué, la fréquence des évaluations, les rôles et les responsabilités en matière d’évaluation et les enjeux principaux à aborder lors des évaluations (Trochim, 2009);
• L’élaboration et l’harmonisation de modèles logiques pour tous les programmes de l’organisation;
• L’élaboration d’une stratégie de mesure du rendement pour tous les programmes de l’organisation, afin d’harmoniser la collecte de données opérationnelles sur les activités et extrants et d’en faire le suivi en continu;
• L’organisation de rencontres et de discussions permettant le partage de résultats d’évaluation à tous les niveaux de l’organisation;
• La production d’affiches et de matériel promotionnel au sujet de l’évaluation.

Le choix d’une ou de plusieurs stratégies de renforcement individuel et organisationnel dépend de divers facteurs, dont la disponibilité des ressources humaines et financières nécessaires pour organiser les activités de renforcement, les besoins et les expériences antérieures de l’organisme en matière d’évaluation et les exigences externes imposées à l’organisme en ce qui a trait à l’évaluation. Par exemple, les ministères et agences du gouvernement canadien doivent respecter une politique centralisée relative à l’évaluation. Cette politique influencera grandement les activités d’évaluation réalisées au sein des organismes ainsi que leurs besoins en RCÉ. De façon semblable, les bailleurs de fonds des organismes communautaires indiquent habituellement les données que les organismes doivent recueillir et rapporter sur une base annuelle. Ainsi, les stratégies de RCÉ devront tenir compte de ces exigences et les intégrer aux activités de renforcement.

Une fois la stratégie de RCÉ choisie, il est essentiel de la planifier en détail afin de s’assurer de son succès. Le plan de mise en œuvre de la stratégie de RCÉ devrait décrire l’objectif de la stratégie (par ex., l’acquisition de nouvelles connaissances au sujet des modèles logiques par les gestionnaires des programmes, un plan d’évaluation organisationnel) ainsi que les ressources nécessaires à sa mise en œuvre (par ex., une personne chargée de la formation à temps plein pendant trois semaines, le nombre de jours nécessaires à la participation d’une gestionnaire à une évaluation, les coûts associés à l’achat d’un nouveau logiciel pour développer une base de données).  On doit aussi élaborer un plan de travail concret, qui énumère les tâches concrètes qui doivent être réalisées, le calendrier de réalisation, ainsi que les personnes qui sont responsables de ces tâches. Ainsi, la stratégie de RCÉ est réellement intentionnelle et planifiée, ce qui augmente ses chances de réussir. Le Laboéval propose un exemple de plan de travail visant à organiser les tâches requises à la planification et à la mise en œuvre d’une stratégie de RCÉ.

Conclusion

Le renforcement des capacités en évaluation cible autant les individus que les organisations et mise à la fois sur la production d’évaluations de qualité ainsi que leur utilisation. Il existe donc plusieurs stratégies différentes pour renforcer les capacités en évaluation des organismes, selon leurs besoins et pratiques actuelles. Nous vous encourageons à considérer le renforcement des capacités en évaluation comme un programme, qui contient plusieurs activités, extrants et résultats. Il est donc possible de conceptualiser une stratégie de renforcement à l’aide d’une théorie du changement ou d’un modèle logique, et ainsi, d’évaluer nos efforts en continu, comme nous le recommandons à notre clientèle.