1 Introduction à l’évaluation de programmes

Qu’est-ce qu’un programme?

Avant de parler d’évaluation, il est important de bien définir ce sur quoi elle porte. Un programme est un ensemble cohérent, organisé et structuré d’objectifs, d’activités et de personnel. Un programme est généralement conçu en fonction d’objectifs clairs qui reflètent les priorités ou les politiques de l’organisation et qui tentent de répondre à un besoin particulier. Une ou plusieurs personnes ont la responsabilité de gérer le programme et des employés ou des bénévoles ont la responsabilité de le mettre en œuvre concrètement en réalisant une série d’activités. Pour ce faire, le programme dispose habituellement de ressources financières, de matériel, d’équipement et d’espaces physiques.

Dans certaines organisations, on réfère à des initiatives, des interventions, des projets ou d’autres combinaisons de ressources humaines, financières, matérielles et physiques. Peu importe le terme employé, il s’agit habituellement d’une série d’activités que l’on peut évaluer. Nous référerons, tout au long de cet ouvrage, à l’évaluation d’un programme afin de simplifier le texte; cependant, la démarche évaluative s’applique aussi à d’autres entités organisationnelles, telles que les politiques, les initiatives, ou les interventions.

Le cycle de vie d’un programme

Les programmes suivent généralement un cycle de vie en quatre étapes :

• La planification débute généralement par l’identification d’un problème, qui est suivie par l’élaboration d’activités qui serviront à le résoudre ainsi que l’allocation de ressources financières et humaines.
• La mise en œuvre, ou l’implantation, vise le déploiement du programme sur le terrain, c’est-à-dire l’étape où les ressources financières et humaines sont mises à profit afin de réaliser les activités prévues.
• L’évaluation vient à la fin d’une période souvent pré-définie, et consiste en un processus systématique par lequel des données sur la mise en œuvre et les résultats du programme sont recueillies et analysées.
• Les résultats de l’évaluation devraient, en principe, alimenter la prise de décision. Cette décision vise soit le renouvellement du programme, soit son annulation. Un renouvellement entraîne généralement une nouvelle période de planification, où l’on révise les budgets et autres ressources ainsi que les activités et les objectifs du programme. Une décision de terminer le programme entraîne elle aussi certaines activités de planification, qui visent l’abandon graduel des activités et la réorientation des clients du programme vers d’autres ressources.

Qu’est-ce que l’évaluation de programmes?

L’évaluation de programmes consiste généralement en l’application de critères de jugement à des données afin de déterminer le mérite et la valeur d’un programme ou d’une intervention. Cela peut nous sembler lointain comme concept, mais en fait, nous portons un jugement évaluatif à tous les jours, afin de prendre des décisions dans notre vie personnelle et professionnelle.

Il existe plusieurs définitions de l’évaluation de programmes, dont les suivantes :

« toute démarche d’évaluation vise à construire un jugement afin d’améliorer une intervention existante, la réorienter ou la faire cesser » – Hurteau, 2012

« une démarche rigoureuse de collecte et d’analyse d’information qui vise à porter un jugement sur un programme, une politique, un processus ou un projet pour aider à la prise de décision » – Secrétariat du Conseil du Trésor du Québec, 2002

« ce sont des appréciations analytiques systématiques concernant les principaux aspects d’un programme et de sa valeur, et qui s’attachent à fournir des conclusions fiables et utilisables » – Organisation de coopération et de développement économiques, 1997

« la collecte et l’analyse systématiques de données probantes sur les résultats des programmes afin d’en évaluer la pertinence et le rendement et de trouver d’autres modes de prestation ou d’autres façons d’obtenir les mêmes résultats » – Secrétariat du Conseil du Trésor du Canada, 2009

« une appréciation rigoureuse réalisée sur la base de différents critères tels que l’efficience, l’efficacité, la pertinence, etc » – Jacob, 2006

On peut constater, à la lecture de ces définitions, que certains termes y sont employés plus d’une fois, dont:

• Jugement : les évaluations doivent non seulement décrire le programme et ses résultats, mais aussi porter un jugement sur sa pertinence, son efficacité et son efficience.
• Rigueur : l’application rigoureuse et systématique des méthodes de collecte et d’analyse de données propres à la recherche sociale est nécessaire afin de produire une évaluation crédible.
• Prise de décision : l’évaluation a comme finalité de soutenir la prise de décision quant aux améliorations à apporter à un programme ou à son avenir.

La définition proposée par la Société canadienne d’évaluation synthétise bien ces concepts importants:

«L’évaluation est l’appréciation systématique de la conception, de la mise en oeuvre ou des résultats d’une initiative pour des fins d’apprentissage ou de prise de décision».

Distinguer l’évaluation de programmes d’autres activités connexes

On confond parfois l’évaluation de programmes à d’autres activités connexes, telles que l’évaluation des apprentissages, la recherche sociale, la vérification interne et l’évaluation du rendement individuel. Les paragraphes qui suivent décrivent les différences qui existent entre l’évaluation de programmes et ces activités afin de mieux la définir et la distinguer d’autres fonctions organisationnelles.

L’évaluation des apprentissages

En éducation, on a tendance à confondre l’évaluation de programmes à l’évaluation des apprentissages, qui réfère à la collecte d’informations sur les progrès réalisés par les élèves par rapport à des objectifs d’apprentissage précis. Ces informations servent ensuite à la formulation d’un jugement et d’une prise de décision au sujet du processus d’apprentissage et de ses résultats. En premier lieu, le niveau d’analyse de ces deux types d’évaluation est différent. En évaluation de programmes, on s’intéresse au programme à un niveau organisationnel, c’est-à-dire qu’on ne s’intéresse pas aux résultats individuels comme on le ferait lors de l’évaluation des apprentissages.

Ainsi, les objectifs des deux pratiques sont aussi différents. Comme nous venons de le voir, l’objectif de l’évaluation de programmes est de porter un jugement sur la pertinence, l’efficacité et l’efficience d’un programme sur un groupe de personnes tandis que  l’évaluation des apprentissages vise surtout à identifier les progrès d’un individu face à certains résultats d’apprentissage visés.

Les méthodes employées pour évaluer les programmes sont celles que l’on utilise en recherche sociale. En évaluation des apprentissages, on administre des tâches d’évaluation, comme des tests, des examens, des projets, etc.

Le rapport produit suite à l’évaluation d’un programme s’adresse aux gestionnaires des organisations et présente l’ensemble des résultats de l’évaluation ainsi que des recommandations pour la prise de décisions. En évaluation des apprentissages, les résultats sont habituellement consignés dans un bulletin, ou encore, partagés avec les élèves et leurs familles lors d’échanges informels et confidentiels.

Finalement, les décisions prises à la suite d’une évaluation de programme concernent son financement continu ou les améliorations à apporter aux activités du programme. En évaluation des apprentissages, les décisions visent plutôt la diplomation éventuelle ou la réussite d’un niveau scolaire.

Le tableau qui suit compare ces deux types d’activités afin de les distinguer l’une de l’autre.

Tableau 1.1. Évaluation de programmes vs. Évaluation des apprentissages

La recherche sociale

L’évaluation de programmes partage les mêmes fondements épistémologiques et méthodologiques que la recherche en sciences sociales ; cependant, ses objectifs et caractéristiques en font un domaine d’intervention différent. L’évaluation se distingue de la recherche par son objectif principal, qui est de porter un jugement sur un programme ou une intervention particulière. L’évaluation de programmes est fondée sur une série de questions visant à établir la pertinence, l’efficacité et l’efficience du programme et se sert habituellement de plusieurs méthodes de collecte de données pour y répondre. Puisque l’évaluation de programmes est réalisée dans une organisation particulière, certaines contraintes peuvent s’imposer à la démarche (comme par exemple, les besoins informationnels des décideurs) et il peut s’avérer plus complexe d’assurer l’anonymat et la confidentialité de certaines personnes contribuant à la collecte de données. Le tableau 1.2 présente les différences principales entre ces deux activités.

Tableau 1.2. Évaluation de programmes versus la recherche sociale

La vérification interne (audit)

Dans les organisations gouvernementales, il est parfois difficile de départager l’évaluation de programmes de l’audit. L’audit est une fonction indépendante et objective qui utilise elle aussi une démarche rigoureuse et fondée sur des éléments probants, ayant pour but d’évaluer et d’améliorer l’efficacité des processus de gestion des risques, de contrôle et de gouvernance. Ainsi, l’audit cherche davantage à fournir une assurance aux décideurs quant aux mécanismes de gestion de l’organisation afin de gérer les risques organisationnels. En d’autres mots, l’évaluation et l’audit ont une portée différente: l’évaluation porte sur les résultats atteints par le programme, tandis que la vérification s’intéresse plutôt aux systèmes de gestion organisationnels qui permettent de réduire les risques financiers encourus par l’organisation.

L’évaluation du rendement individuel

L’évaluation de rendement individuel cherche à évaluer et à documenter la qualité du travail d’une personne au cours d’une période donnée. Ce type d’évaluation fait partie des activités de gestion de l’organisme. L’évaluation, pour sa part, porte sur le programme dans son ensemble.

Les contributions de l’évaluation de programmes à la gestion organisationnelle

L’évaluation de programmes est une activité essentielle à la gestion des organisations puisqu’elle permet de prendre le pouls d’un programme et de la manière dont il répond aux besoins des personnes qu’il cible. L’évaluation, par l’entremise d’une collecte et d’une analyse de données empiriques, fournit des informations au sujet de la pertinence du programme, de son efficacité et de son efficience. Suite à une évaluation, les organisations sont bien placées pour apporter des modifications au programme évalué, à le réorienter, à le conclure ou à demander du financement supplémentaire. L’évaluation permet aussi aux membres de la gestion de considérer l’apport du programme parmi d’autres activités organisationnelles et de s’assurer d’une répartition équilibrée et saine des ressources dans l’organisme.

Les types et modalités de l’évaluation

Michael Scriven, un grand nom du domaine de l’évaluation des programmes, identifie les deux types d’évaluation les plus communs vers la fin des années 60. Il identifie l’évaluation formative, qui a pour but l’amélioration des programmes. Selon Scriven (1966), ce type d’évaluation a lieu pendant la mise en œuvre d’un programme. L’évaluation formative a pour objectif l’apprentissage plutôt que la prise de décision. Elle s’adresse donc principalement aux gestionnaires des programmes qui sont en mesure d’apporter des modifications au programme lorsque celles-ci s’avèrent nécessaires.

Scriven définit aussi l’évaluation sommative, qui porte un jugement sur l’atteinte des objectifs ou des impacts d’un programme qui a pris fin ou qui est sur le point de prendre fin. Ce type d’évaluation vise surtout à déterminer si le programme devrait recommencer son cycle de vie ou l’arrêter, d’une part, et d’identifier ses résultats, d’autre part.

En réalité, ces deux types peuvent s’entrecroiser. Par exemple, au gouvernement fédéral du Canada, il est rare de préciser si une évaluation a une visée formative ou sommative, puisque les programmes n’ont pas toujours de date de fin prévue. Dans ces cas, l’évaluation du programme survient au cours des deux dernières années d’un cycle de financement de cinq ans. On s’attend alors à ce que l’évaluation porte un jugement sur la continuité du programme, mais on cherche aussi des suggestions pour son amélioration, le cas échéant.

Plus récemment, Michael Quinn Patton (2015) a présenté l’évaluation développementale comme troisième type d’évaluation. L’évaluation développementale, comme son nom l’implique, vise à orienter la conception d’un nouveau programme, surtout lorsqu’il cherche à résoudre un problème inédit ou lorsque le programme est conçu dans un contexte complexe. Plutôt que de tenter d’estimer les impacts d’un programme, ou de fournir des pistes d’amélioration, l’évaluation développementale fournit des informations et des données en temps réel pendant les activités de conception du programme. Elle ne suit donc pas la démarche évaluative traditionnelle dont il est question au prochain chapitre, mais est plus flexible et s’adapte aux besoins de l’équipe de conception.

L’évaluation interne et externe

Les évaluations de programmes peuvent être réalisées à l’interne ou à l’externe. Lorsqu’elles sont réalisées à l’interne, une équipe composée du personnel de l’organisation ou du programme a la responsabilité de mener la démarche évaluative. Ainsi, cette équipe travaille étroitement avec les gestionnaires du programme et de l’organisation, afin de leur fournir les informations nécessaires à l’amélioration du programme ou la prise de décisions. L’évaluation interne peut être avantageuse pour une organisation, puisque les membres de l’équipe connaissent déjà bien l’organisme et le programme et ont déjà établi leur crédibilité et leur réputation au fil des ans. Ces équipes entretiennent habituellement des relations étroites avec les parties prenantes de l’évaluation, ce qui facilite grandement leur travail. Cependant, on croit parfois, et souvent à tort, que les équipes internes peuvent être influencées par les gestionnaires et manquent d’objectivité par rapport au programme et à leur employeur.

L’évaluation externe est réalisée, comme on peut le déduire, par des équipes qui ne font pas déjà partie de l’organisation. En général, on confie ce type d’évaluation à des firmes spécialisées, qui travaillent auprès de plusieurs organismes à la fois sur une base contractuelle. L’avantage des évaluations externes, c’est qu’elles tirent profit des compétences spécialisées et de la disponibilité des firmes spécialisées. On leur attribue aussi souvent une plus grande objectivité, parce que leurs membres ne sont pas embauchés directement par l’organisation. Cependant, les équipes externes ne possèdent pas toujours tous les éléments de contexte qui entourent le programme à évaluer, et on peut parfois leur reprocher de présenter des évaluations qui n’apportent rien de nouveau à l’organisme.

Le choix d’un évaluateur interne ou externe pour réaliser une évaluation dépend donc de plusieurs facteurs, tels que la disponibilité d’un évaluateur interne, le type d’évaluation qui doit être mené, le contexte organisationnel, et les intérêts des dirigeants de l’organisme.

Conclusion

Cette introduction cherchait à vous initier à l’évaluation de programmes ainsi qu’à ses dimensions principales. L’évaluation de programmes vise à fournir des informations fondées sur des données afin de contribuer à la gestion des programmes, à leur amélioration et à la prise de décisions au sein des organisations. Comme nous le verrons dans les chapitres qui suivent, l’évaluation de programmes ne privilégie pas une approche singulière; les personnes évaluatrices ont plusieurs choix à faire tout au long de la planification d’une évaluation afin de répondre aux besoins des organisations, de respecter les valeurs des bénéficiaires et des autres parties prenantes et de fournir des informations utiles. Les nombreuses options qui s’ouvrent aux personnes évaluatrices seront explorées dans l’ouvrage et leur permettront de faire des choix éclairés et adaptés au contexte organisationnel.