9 L’évaluation de programmes dans divers milieux

Pourquoi adapter la démarche évaluative à son contexte?

La démarche évaluative, comme nous l’avons noté dans les chapitres précédents, peut prendre diverses formes, selon le contexte dans lequel l’évaluation a lieu. Ce contexte influence le choix du cadre théorique et de l’approche évaluative, le rôle des parties prenantes ainsi que les questions d’évaluation et les indicateurs qui guident la collecte et l’analyse des données. Il importe donc de se pencher plus longuement sur les éléments de contexte qui déterminent les composantes du cadre d’évaluation ainsi que le déroulement de l’étude.

Le secteur organisationnel est l’un des éléments de contexte qui a le plus d’influence sur la démarche évaluative et les choix des parties prenantes. Dans certains secteurs, il existe des politiques ou des règles relatives à la conception et à la réalisation des évaluations, tandis que dans d’autres secteurs, les organismes peuvent décider eux-mêmes de l’approche évaluative et de la portée des évaluations. Les administrations publiques, les organismes communautaires et les agences internationales ont adopté diverses approches évaluatives afin de produire des évaluations crédibles et utiles. Le secteur organisationnel peut aussi influencer d’autres caractéristiques organisationnelles, dont la taille de l’organisme, sa mission, ses objectifs, les ressources consacrées à l’évaluation et les données qui serviront à l’évaluation. Nous examinerons quatre secteurs particuliers afin d’examiner leur influence sur les évaluations réalisées dans les organismes qui y appartiennent.

L’évaluation en contexte gouvernemental

La majorité des instances gouvernementales réalisent régulièrement des évaluations de leurs politiques ou de leurs programmes. Ces évaluations portent généralement sur la pertinence du programme, son efficacité et son efficience. La pertinence, comme nous l’avons vu précédemment, porte sur la raison d’être du programme et sur les besoins existants au sein de la population cible. Un programme pertinent répond donc clairement à un besoin bien identifié. L’efficacité porte sur l’atteinte des objectifs prévus en début de parcours. Ainsi, un programme efficace suit les extrants et les résultats qui font partie de sa théorie du changement : on peut habituellement démontrer l’atteinte des résultats immédiats et intermédiaires et inférer l’atteinte des résultats ultimes. Un programme efficient utilise les ressources qui ont été mises à sa disposition de manière rigoureuse, c’est-à-dire qu’il y a peu ou pas de gaspillage et les extrants produits sont réalisés au meilleur coût possible.

Les gouvernements se dotent de procédures ou de politiques concernant l’évaluation afin d’assurer une certaine conformité au niveau de la portée des évaluations, des approches évaluatives et des méthodes employées. De telles politiques guident le travail des équipes d’évaluation en précisant: a) les objectifs des évaluations, b) les modalités de participation des parties prenantes, c) les modalités de gestion des évaluations, d) les rôles et les responsabilités des équipes d’évaluation et des gestionnaires, e) les procédures à suivre ou la démarche évaluative, f) les méthodes de collecte de données privilégiées par l’organisme et g) les modalités d’utilisation des évaluations (Trochim, 2009). Ainsi, les procédures ou les politiques contribuent à l’établissement d’une culture évaluative au sein de l’organisme par des actions concrètes et constantes qui doivent être appliquées par les parties prenantes. De plus, ces documents servent de mémoire corporative pour l’organisme et peuvent être utilisés, entre autres, lors de la formation et de l’intégration de nouveaux membres du personnel afin de les initier aux fondements de l’évaluation.

Le gouvernement fédéral du Canada

Au gouvernement fédéral canadien, la pratique évaluative suit les directives et les normes d’une politique centrale depuis 1977. Au fil du temps, ces exigences ont évolué et ont été regroupées dans des politiques plus générales portant sur la gestion et la reddition de compte. Plus récemment, la Politique sur l’évaluation (2009) décrivait le rôle de l’évaluation au sein des ministères et visait à améliorer la production de « renseignements crédibles, opportuns et neutres sur la pertinence et le rendement continus des dépenses directes de programmes » (Gouvernement du Canada, 2009, n.p.) aux ministres, aux organismes centraux, aux administrateurs et au public. Cette politique a été élaborée et mise en œuvre à la suite d’un examen des dépenses en 2007 qui visait à réaffecter et réduire les ressources financières gouvernementales. Les résultats de cet examen ont mis en évidence le fait que la plupart des ministères et organismes ne disposaient pas de données crédibles sur la pertinence et la rentabilité des programmes, et que les études d’évaluation n’abordaient qu’un faible pourcentage de l’ensemble des programmes gouvernementaux. La Politique sur l’évaluation visait, entre autres, à assurer l’évaluation régulière de toutes les dépenses directes des programmes, afin de fournir des informations précises et opportunes sur les programmes à la haute gestion (Dumaine, 2012).

La Politique sur l’évaluation a été remplacée en 2016 par la Politique sur les résultats. Cette politique plus vaste a permis de regrouper plusieurs politiques afin d’améliorer la gestion des organismes gouvernementaux et d’améliorer l’atteinte des résultats ciblés. Parmi les changements apportés à la Politique sur les résultats, citons l’abandon de l’obligation d’évaluer toutes les dépenses directes des programmes à tous les cinq ans. Cette politique offre également une plus grande souplesse quant aux questions qui doivent être abordées dans le cadre des évaluations menées par les fonctions d’évaluation ministérielles afin de soutenir la production d’évaluations pertinentes et opportunes qui alimentent les processus décisionnels du ministère.

Les gouvernements provinciaux et territoriaux

Du côté des gouvernements provinciaux et territoriaux, on observe beaucoup plus de variabilité en matière de structure et de pratique évaluative. Lahey et ses collègues (2020) ont recensé les gouvernements provinciaux et territoriaux canadiens afin de documenter leur capacité évaluative et l’utilisation des évaluations. Cet article conclut que la majorité de ces gouvernements n’ont pas adopté de politiques relatives à l’évaluation; cependant, deux provinces (le Québec et Terre-Neuve et Labrador) ont mis en place des exigences (normes ou directives) en matière d’évaluation ainsi qu’une direction centrale chargée d’appuyer les ministères qui en ont la responsabilité. En Ontario, il existe une norme provinciale en matière d’évaluation, mais celle-ci ne semble pas soutenir adéquatement la pratique évaluative. En d’autres mots, les évaluations qui sont réalisées par les gouvernements provinciaux et territoriaux portent généralement sur des programmes financés par le gouvernement fédéral ou qui se trouvent dans les secteurs de la santé, des services sociaux, ou de l’éducation. Finalement, le groupe d’auteurs rapporte des lacunes importantes au niveau de la capacité des gouvernements provinciaux et territoriaux à produire des évaluations de qualité et à les utiliser pour soutenir la prise de décision.

Les gouvernements et organismes municipaux

Dans le milieu municipal, on retrouve aussi une grande variété au niveau des pratiques évaluatives. Certaines municipalités se sont dotées de procédures concernant l’évaluation et ont embauché des spécialistes chargés de réaliser les évaluations à l’interne, tandis que d’autres municipalités n’ont pas de fonction d’évaluation proprement dite et ciblent plutôt les audits en leur ajoutant certaines composantes évaluatives.

L’évaluation en éducation

Dans le domaine de l’éducation, le terme « évaluation » réfère à deux activités distinctes. On parle, d’une part, de l’évaluation des apprentissages, qui est réalisée en salle de classe et qui vise à déterminer les progrès des élèves envers les résultats d’apprentissage de leur programme d’études. On parle d’autre part de l’évaluation des programmes éducatifs, qui nous intéresse davantage ici.

En général, il existe peu de différences entre l’évaluation des programmes éducatifs et l’évaluation d’autres types de programmes. La démarche évaluative, les cadres théoriques et les approches évaluatives s’appliquent autant aux programmes éducatifs qu’à d’autres programmes. Cependant, l’évaluation de programmes éducatifs peut aussi adopter une démarche davantage ancrée dans la recherche sociale; ces évaluations, souvent considérées comme de la recherche évaluative, visent plutôt l’avancement des connaissances que la prise de décisions. On y voit aussi souvent davantage d’approches expérimentales que dans d’autres domaines. La taille des populations d’élèves dans divers groupes, ainsi que la disponibilité de données administratives et de données recueillies à l’aide de tests standardisés, permettent plus facilement l’usage de devis de recherche expérimentaux ou quasi-expérimentaux.

Parmi les programmes éducatifs qui peuvent être évalués, nous comptons les interventions pédagogiques, qui visent à améliorer l’enseignement et l’apprentissage de contenus spécifiques (par exemple, les techniques d’enseignement de la lecture), les programmes d’appui aux élèves (par exemple, les programmes d’aide aux devoirs), les programmes de formation offerts au personnel enseignant et aux directions d’école, et bien d’autres.

L’évaluation des programmes-cadres, ou programmes d’études, prend aussi souvent l’allure d’une recherche évaluative. Dans la plupart des provinces canadiennes, l’évaluation des programmes d’étude a lieu à des intervalles réguliers – il est moins question ici d’une évaluation proprement dite, et plus d’une mise à jour des programmes-cadres fondée sur une analyse de divers types de données. En effet, des spécialistes en évaluation des programmes-cadres font une collecte de données auprès du personnel enseignant, des directions, des parents, des élèves et d’autres parties prenantes afin de sonder leurs intérêts et de s’assurer que les programmes-cadres reflètent les besoins des élèves et le contexte social actuel.

Les institutions postsecondaires évaluent aussi leurs programmes grâce à des procédés spécifiques qui s’inscrivent dans la même lancée que l’évaluation des programmes d’études. On a plutôt tendance à parler d’assurance-qualité que d’évaluation dans ce secteur et les provinces ont la responsabilité de mettre sur pied un système permettant d’évaluer la qualité des programmes et des institutions qui décernent des certificats ou des diplômes. Habituellement, les institutions elles-mêmes doivent produire une évaluation interne de leurs programmes sur une base cyclique. Ensuite, ces évaluations sont examinées par un conseil indépendant mis sur pied par le ministère chargé de l’éducation supérieure. Ce conseil indépendant est responsable du processus d’agrément de nouveaux programmes et de l’évaluation externe des programmes existants. Parmi les méthodes d’évaluation retrouvées dans ce genre d’exercice, on retrouve certaines méthodes plus traditionnelles, telles que les entrevues ou les enquêtes par sondage, ainsi que d’autres méthodes adaptées au contexte, telles que les visites en présentiel des institutions.

L’évaluation en coopération internationale en contexte de développement international et d’action humanitaire

Il existe différents types d’évaluation dans le domaine de la coopération internationale (formative, sommative, ex-post, d’impact, etc.). On entend par coopération internationale l’ensemble des activités d’un État ou des individus qui visent le développement socio-économique d’un autre État. La coopération internationale inclut des activités dites de développement (à plus long terme) qui visent des changements sociaux et comportementaux, et des interventions d’urgence (action humanitaire). À titre d’exemple, un projet de développement pourrait durer de trois à cinq ans et avoir comme objectif global de réduire la pauvreté ou encore les inégalités dans une population. De l’autre côté, un projet d’action humanitaire veut répondre à une crise souvent complexe dans un contexte difficile comme à la suite d’une catastrophe naturelle ou lors d’un conflit armé.

Dans ce domaine, l’approche d’intervention prédominante est « par projet », c’est-à-dire que les organisations qui réalisent des activités de développement ou humanitaires le font dans une période circonscrite de temps en respectant le cycle de vie du projet (conception, planification, mise en œuvre, évaluation). Brière et al. (2021) présentent les spécificités de ce type de projets.

C’est le besoin du client (organe des Nations unies, organisation non-gouvernementale internationale ou locale, fondation, État, etc.) et le positionnement dans le temps qui influencent le choix de l’approche évaluative. Les évaluations menées dans ce domaine visent habituellement l’imputabilité envers les bailleurs de fonds ainsi que l’apprentissage de leçons qui orienteront la conception de futurs projets ou programmes. Il faut noter que les projets en coopération internationale sont financés par une variété d’organisations (États, organes des Nations unies, Fondations, ONG, etc.). La banque de projets d’Affaires Mondiales Canada peut donner une idée de l’envergure des projets financés par la coopération canadienne.

Le Comité d’aide au développement (CAD) de l’Organisation de coopération et de développement économique (OCDE) a défini un certain nombre de critères pour l’évaluation de projets ou programmes dans le domaine. Ceux-ci sont présentés dans le tableau qui suit :

Tableau 9.1. Les critères d’évaluation du CAD

Un ouvrage de l’OCDE explique plus en détail comment appliquer chacun de ces critères. Il existe d’ailleurs un ouvrage complet produit par l’OCDE qui présente le rôle et la gestion de l’évaluation dans les agences de développement, les ministères et les banques multilatérales. On y décrit les principales tendances et défis de l’évaluation du développement. Par ailleurs, l’ouvrage dirigé par Rey, Quesnel et Sauvain (2022) sur l’évaluation en contexte de développement nous renseigne également sur les enjeux, approches et pratiques dans le domaine.

Dans le domaine de l’action humanitaire, soit en situation d’urgence, l’évaluation se fait souvent en temps réel par des équipes externes. Les humanitaires qui sont sur le terrain et dans l’action n’arrivent pas toujours à faire un pas de recul pour avoir une vision globale et critique des interventions, donc le fait d’envoyer une équipe externe permet d’avoir un œil neuf sur la situation. Elle permet également de faire un état des lieux, à chaud, et de discuter avec les équipes terrain des interventions, de leurs défis ainsi que de solutions novatrices qui pourraient être mises en place pour pallier à ces défis.

En action humanitaire, il existe également des évaluations de l’ensemble du système de réponse, des mécanismes de financement ou encore des processus. Il y a donc quelques critères supplémentaires à considérer, tels que le caractère approprié de l’action (la pertinence par rapport aux besoins) ou encore l’interdépendance entre les organisations qui répondent à la crise parce qu’elles doivent toutes collaborer afin d’assurer le bon fonctionnement du système. De plus, il y a des risques et des contraintes à la réalisation d’évaluations dans ce contexte comme le roulement de personnel, le manque de données de référence, l’insécurité ou encore le manque d’accès au terrain.

Les étapes d’une évaluation dans le domaine du développement international ou de l’action humanitaire sont sensiblement les mêmes que dans d’autres secteurs, mais les évaluations finales sont habituellement réalisées par des personnes externes à la demande des bailleurs de fonds. En réponse à des termes de référence pour la réalisation d’une évaluation, la personne ou l’équipe sélectionnée suivra différentes étapes. Les termes de référence informent les évaluateurs et les évaluatrices sur le contexte de l’évaluation, la description du projet, les objectifs de l’évaluation, la méthodologie suggérée, les mandats de la personne évaluatrice ainsi que les profils recherchés, les documents à consulter et les personnes à rencontrer, le calendrier de réalisation et le budget. Les termes de référence sont habituellement placés en annexe des rapports d’évaluation (voir les rapports sur l’Ukraine et le Burundi).

La personne évaluatrice ou l’équipe rédige ensuite un plan de travail ou un devis d’évaluation. Ce document comprendra des informations sur le projet ou programme à évaluer, le profil de l’évaluation (le pourquoi, l’objet, les parties prenantes, les préoccupations spécifiques, etc.), la méthodologie, les rôles et responsabilités, le calendrier et le budget.

Pour finir, il existe des défis spécifiques à ce domaine d’évaluation. Quelques-uns ont été abordés précédemment, mais rappelons le fait que l’embauche de personnes évaluatrices externes ne garantit pas qu’elles viennent du milieu ou du pays où se déroulent les évaluations. La plupart du temps, comme dans l’exemple de l’Ukraine et du Burundi présentés dans cette sous-section, on travaillera en collaboration avec des personnes sur place qui connaissent bien le contexte. D’un point de vue d’équité, de décolonisation des approches ou encore des approches axées sur la culture, il est primordial d’inclure des personnes habitant le pays où est réalisée l’évaluation. Un autre défi est la difficulté à produire des théories du changement robustes lorsque le contexte peut changer drastiquement lors de la mise en œuvre du programme comme en action humanitaire (guerre, catastrophe naturelle, épidémies, etc.). Les évaluations en temps réel qui ont été brièvement présentées viennent d’une certaine façon répondre à ce défi. L’UNICEF a d’ailleurs développé un guide intéressant sur la théorie du changement disponible ici. Dans le cas spécifique des actions humanitaires, il y aura plusieurs théories du changement à différents niveaux de l’intervention.

L’évaluation dans le secteur communautaire

L’évaluation dans le milieu communautaire jouit parfois d’une mauvaise réputation, surtout lorsqu’elle est comprise uniquement comme un dispositif visant à répondre aux exigences de reddition de comptes des bailleurs de fonds et des fondations subventionnaires. Dans les faits, la reddition de compte externe constitue encore aujourd’hui un motif important pour justifier la mise en œuvre de l’évaluation dans les organismes communautaires. Par exemple, l’Enquête sur l’état des pratiques d’évaluation au Canada (2019) montre que les organismes communautaires canadiens sont presque deux fois plus nombreux à utiliser l’évaluation pour rendre compte des comptes à leurs bailleurs de fonds (81%) que pour réfléchir ensemble sur le déroulement des projets (43%). Cette tendance s’explique surtout en raison du climat politique actuel qui exige des organisations des preuves rigoureuses et générées par les évaluations afin d’obtenir ou de maintenir du financement. Parmi les pratiques d’évaluation les plus demandées par les bailleurs de fonds, notons: le bilan des activités réalisées et des ressources utilisées, l’évaluation de la performance, l’évaluation axée sur l’atteinte des résultats (ou évaluation sommative) et, plus récemment, l’évaluation du retour sur l’investissement (Gent, Crescenzi, Menninga et Reid, 2015).

Toutefois, un nombre croissant de groupes et d’organismes communautaires cherchent aujourd’hui à s’approprier les méthodes évaluatives afin de favoriser l’apprentissage collectif et l’innovation des pratiques. La plus récente mise à jour du portrait des pratiques d’évaluation dans les organismes communautaires québécois (2022) produite par Tello-Rozas et son équipe révèle à ce sujet qu’au moins deux types de dynamiques caractérisent les pratiques d’évaluation effectuée par et pour les organismes communautaires : les « pratiques d’évaluation intégrées » et les « pratiques d’évaluation systématisées ». Dans le premier cas, il s’agit des pratiques d’évaluation qui s’opèrent de façon routinière dans le cadre du fonctionnement des organismes. On pourrait penser par exemple aux bilans appréciatifs réalisés avec un groupe à la suite d’une activité. Ces pratiques ont une portée formative, permettant aux intervenants d’améliorer leurs activités et leurs interventions de manière continue. Les « pratiques d’évaluation systématisées », quant à elles, s’apparentent davantage à la démarche d’évaluation présentée tout au long de cet ouvrage, soit à une démarche structurée visant à répondre aux besoins d’information des parties prenantes par une collecte d’information rigoureuse. La participation active des parties prenantes à toutes les étapes de l’évaluation est généralement un aspect très recherché par les organismes communautaires, mais, en comparaison à d’autres milieux, elle s’inscrit davantage dans une finalité de transformation sociale.​​ Les pratiques d’évaluation systématisées, étant donné leur caractère participatif et systématique, requièrent davantage de ressources et de capacités en suivi et en évaluation. Heureusement, des ressources et des initiatives, dont le Centre de formation populaire et le LaboÉval, cherchent à combler la demande toujours croissante des organismes et des groupes communautaires en matière de renforcement des capacités en évaluation.

Le numéro intitulé « Au-delà de la reddition de compte : l’évaluation dans les organismes communautaires et d’économie sociale » à paraitre dans Reflets jette d’ailleurs un éclairage différent sur l’évaluation en documentant tout potentiel en matière d’innovation, d’apprentissage et de transformation sociale.

L’évaluation dans le secteur de la santé

Le secteur de la santé est très vaste et les personnes qui y œuvrent ont recours à divers types d’évaluation selon leurs besoins particuliers. Ainsi, les évaluations peuvent être fondées sur des données opérationnelles (par ex., durée moyenne d’une visite à la salle d’urgence), sur des données provenant d’enquêtes épidémiologiques (par ex., taux de contagion d’un virus respiratoire), de même que sur d’autres données recueillies par l’équipe d’évaluation. En plus des questions habituelles portant sur l’atteinte des résultats visés par une intervention, on s’intéresse aussi à la mise en œuvre du programme afin de déterminer s’il a été déployé comme prévu et d’identifier les éléments qui favorisent ou entravent sa mise en œuvre (Ministère de la Santé et des Services sociaux, 2017).

Les devis expérimentaux et quasi-expérimentaux demeurent toujours les approches d’évaluation privilégiées par le milieu de la santé, permettant de générer des données probantes sur les effets et les impacts attribuables à une intervention ou à une politique. Rappelons que ces approches évaluatives reposent principalement sur une vision post-positiviste de l’évaluation (voir le chapitre 4), soutenant l’existence d’une réalité objective et mesurable qui peut être appréhendée par l’application de méthodes scientifiques rigoureuses. C’est pourquoi ces évaluations, qui s’apparentent habituellement à la recherche évaluative sont habituellement effectuées par des équipes externes. L’utilisation du processus n’étant pas un aspect particulièrement convoité dans ces types d’évaluation, l’implication des parties prenantes n’est pas recherchée de manière active. Les résultats sont ensuite présentés sous forme de rapports ou d’articles scientifiques. Une fois disponible, ces articles offrent aux parties prenantes issues du système de la santé des données fiables pour juger de la pertinence, de l’impact ou du rapport coût-efficacité d’une intervention ou d’une politique.

Conclusion

Ce chapitre compare les éléments constitutifs de l’évaluation dans divers contextes. Comme nous avons pu le constater, le choix de l’approche évaluative, l’implication des parties prenantes et les étapes de l’évaluation peuvent varier en fonction du domaine ou du secteur dans lequel elle a lieu. Il reste toutefois que généralement, les étapes d’une évaluation demeurent relativement semblables, peu importe le contexte dans lequel on se retrouve. Bien que certaines personnes préfèrent développer une expertise particulière et réaliser des évaluations dans un seul domaine, la majorité des évaluatrices et évaluateurs sont en mesure de s’adapter à divers contextes selon les besoins de leurs clients. En effet, la majorité des compétences nécessaires à une carrière en évaluation, telles que décrites précédemment, sont transversales, ce qui offre aux évaluatrices et évaluateurs le choix de travailler dans un seul domaine ou de viser la variété au niveau des mandats qu’ils réalisent.