2 La démarche évaluative et l’implication des parties prenantes

Aperçu de la démarche évaluative en quatre étapes

Le nombre d’étapes prescrites dans une démarche d’évaluation peut varier selon les auteurs, les approches et même selon les besoins d’une organisation. Par exemple, Fitzpatrick (2012) divise la démarche d’évaluation en six étapes tandis que l’organisme Santé publique Ontario (2016) en propose dix. Dans le cadre de cet ouvrage, nous retenons les quatre étapes suivantes : la planification, la mise en œuvre, l’analyse et l’interprétation des résultats et la prise de décision (la diffusion et le suivi).

Ces quatre étapes seront expliquées avec plus de profondeur dans ce chapitre :

1. La planification : étude préparatoire, identification des parties prenantes et préparation du devis ou du plan d’évaluation, élaboration des contrats le cas échéant

2. La mise en œuvre : collecte, analyse et interprétation des données

3. L’analyse et l’interprétation des résultats de l’évaluation : identification et communication des résultats

4. La prise de décision, la diffusion et le suivi : communication des conclusions et des leçons apprises de l’évaluation (apprentissage) et suivi au sujet de la mise en œuvre des recommandations

Comme le montre la figure ci-dessous, il est utile de considérer la démarche d’évaluation comme un processus circulaire dans lequel les conclusions et recommandations des évaluations précédentes peuvent alimenter les réflexions concernant les prochaines démarches évaluatives.

Figure 2.1. Les quatre étapes d’une démarche d’évaluation

1. La planification de l’évaluation

La planification d’une évaluation comporte plusieurs éléments et constitue l’étape la plus importante du processus d’évaluation. Les activités visant la planification de l’évaluation sont réalisées au cours de deux phases.

La phase divergente se caractérise par une collecte d’informations afin de mieux comprendre le programme et son contexte. Ces informations serviront à la planification de l’évaluation, et non à l’élaboration des résultats de l’évaluation. Pour ce faire, les responsables de l’évaluation analysent certains documents, mènent quelques entretiens auprès de certaines parties prenantes, comme les gestionnaires du programme, et peuvent aussi analyser les données financières du programme. L’objectif de cette collecte d’informations est, dans un premier temps, de se familiariser avec le programme ou l’initiative à évaluer, et dans un deuxième temps, d’en produire une description sur laquelle s’entendent toutes les parties intéressées. Cette étape permet aussi aux responsables de l’évaluation d’expliquer en quoi consistent l’évaluation de programme et la démarche évaluative qui sera employée. Les informations recueillies au cours de cette phase permettent ensuite de passer à la phase convergente de la planification.

La phase convergente vise à proposer un devis (aussi appelé cadre ou plan) d’évaluation qui décrit la démarche à suivre ainsi que les éléments à évaluer. C’est donc au cours de cette phase que l’équipe d’évaluation sélectionnera une approche évaluative, les questions d’évaluation et leurs indicateurs, ainsi que les méthodes de recherche dont elle se servira pour recueillir, analyser et interpréter les données d’évaluation. Le devis contient également des informations au sujet du projet d’évaluation comme tel, dont sa durée, ses échéanciers, et les ressources financières et humaines qui seront nécessaires pour le compléter. Le devis fournit donc la « recette » à suivre pour réaliser l’évaluation ainsi que les « ingrédients » qui seront nécessaires tout au long de la démarche évaluative.

2. La mise en œuvre de l’évaluation

Une fois l’évaluation planifiée dans ses moindres détails, et le plan approuvé par les principales parties prenantes de l’organisation, l’équipe d’évaluation peut procéder à sa mise en œuvre. Il s’agit, en somme, de recueillir, d’analyser et d’interpréter les données d’évaluation, selon le plan préparé au cours de l’étape précédente. Avant de se lancer sur le terrain, l’équipe doit s’assurer de préparer les instruments de collecte de données, tels les questionnaires et/ou les guides d’entretien, et de prévoir ses activités de collecte, des données selon les échéances et les ressources pressenties dans le cadre d’évaluation.  Par exemple, dans certains cas, les membres de l’équipe d’évaluation doivent se déplacer à des endroits plus éloignés pour recueillir des données : cela doit aussi être pris en considération dans la planification de l’évaluation.

Les méthodes de recherche sociale les plus couramment utilisées en évaluation comprennent l’enquête par sondage, l’entretien individuel, le groupe de discussion, l’étude de cas, et l’analyse des données secondaires. Ces méthodes sont présentées en détail dans le sixième chapitre de cet ouvrage.

3. L’analyse et l’interprétation des résultats de l’évaluation

À la suite de la collecte des données, les responsables de l’évaluation doivent procéder à l’analyse et à l’interprétation des résultats afin de répondre aux questions d’évaluation et de formuler une série de recommandations. Plusieurs parties prenantes, telles que les gestionnaires du programme, sont invitées à participer à cette étape – leurs contributions permettent à l’équipe d’évaluation de s’assurer que leurs conclusions et leurs recommandations sont bien contextualisées et utiles à l’organisation.

4. La prise de décision, la diffusion et le suivi

La dernière étape de la démarche d’évaluation vise à appuyer la prise de décision au sein de l’organisation et à diffuser les conclusions et les recommandations de l’évaluation aux groupes intéressés. La présentation des résultats peut prendre plusieurs formes, comme un rapport technique, une présentation orale, une rencontre, ou un webinaire. Les responsables de l’évaluation peuvent en choisir une ou plusieurs selon les besoins et les ressources de l’organisme, de même que les auditoires avec lesquels ils désirent partager leurs résultats. Dans certains cas, les responsables de l’évaluation effectuent également un suivi afin de déterminer dans quelle mesure les recommandations ont été retenues et mises en œuvre dans l’organisme.

L’implication des parties prenantes

On désigne « parties prenantes » toutes les personnes qui ont un intérêt envers le programme évalué. Les parties prenantes peuvent jouer plusieurs rôles au cours d’une évaluation et sont essentielles à son succès. Plusieurs écrits ont été consacrés à ce sujet au cours des quarante dernières années puisque l’évaluation se démarque en grande partie de la recherche sociale par la participation des intervenants et bénéficiaires.

Qui est une partie prenante à l’évaluation ?

Les parties prenantes sont tous les individus interpelés ou affectés par les résultats d’une évaluation ou qui ont des intérêts liés au programme. En d’autres mots, il s’agit de toutes les personnes qui pourraient contribuer à l’évaluation d’un programme, de près ou de loin.

Selon Daigneault et Jacob (2012), il existe quatre types de parties prenantes :

1. Les décideurs, concepteurs et gestionnaires du programme : Il s’agit des personnes qui sont responsables du programme. Dans le secteur public, cela réfère notamment aux élus, aux hauts fonctionnaires, aux dirigeants et gestionnaires de programmes. Dans le milieu communautaire, cela réfère plutôt à la direction de l’organisme et aux membres du conseil d’administration.

2. Les responsables de la mise en œuvre du programme : Il s’agit des responsables de la production des biens et des services offerts par le programme, donc qui ont la responsabilité de mettre en œuvre le programme. Par exemple, dans le milieu scolaire, on peut parler d’enseignants, d’infirmières, de psychologues et de travailleurs sociaux, de conseillers pédagogiques, etc.

3. Les bénéficiaires directs et indirects et tiers négativement affectés : On élargit ici la définition de parties prenantes pour englober toutes les personnes visées par le programme, directement ou indirectement, et affectées positivement ou négativement par le programme. Par exemple, cela peut comprendre des élèves et leurs parents, des participants, des patientes, etc.

4. Société civile et citoyens : On réfère ici aux groupes organisés et aux citoyens qui pourraient avoir un intérêt dans le programme et son évaluation. Des regroupements tels que les groupes d’intérêt, les syndicats, les citoyens au sens plus large, constituent des exemples de ce type de partie prenante.

Tous ces types de parties prenantes ne se retrouvent pas forcément au cœur de toutes les évaluations et leurs points de vue n’ont pas tous le même poids. Par exemple, les responsables de l’évaluation peuvent choisir d’impliquer les deux premiers types de manière plus directe dans la démarche évaluative, ou mettre plus d’accent sur les bénéficiaires sans toutefois impliquer la société civile. Ce choix dépend largement de l’approche évaluative retenue (voir le chapitre 4 à ce sujet) et du contexte de l’évaluation.

L’identification et la description des parties prenantes : une étape clé

En plus du contexte de l’évaluation, il est essentiel de tenir compte des intérêts et des préoccupations des parties prenantes par rapport au programme évalué. Par exemple, les gestionnaires du milieu communautaire ne partagent pas nécessairement les mêmes préoccupations que les gestionnaires œuvrant dans le secteur public. L’identification et la description des parties prenantes de l’évaluation permettent de bien les cibler et d’identifier des moyens appropriés pour les engager dans la démarche. C’est pourquoi il est important de dresser une liste des parties prenantes dès la phase divergente de la planification de l’évaluation. Il existe de nombreux moyens d’identifier les parties prenantes de l’évaluation : des rencontres avec les commanditaires de l’évaluation, une discussion avec les gestionnaires du programme, une cartographie des parties prenantes, ou l’identification des parties prenantes à l’aide des documents fournis par le programme.

Pourquoi doit-on les impliquer ?

Marchand (2018) présente plusieurs avantages liés à l’implication des parties prenantes dans l’évaluation. D’abord, cela permet aux responsables de l’évaluation d’appréhender et de représenter une diversité de perspectives au cours de la démarche évaluative. Ensuite, lorsqu’une évaluation arrive à terme, les parties prenantes impliquées tout au long du processus possèdent une meilleure connaissance des résultats et sont moins aptes à douter de leur crédibilité. Puis, lorsque les parties prenantes sont engagées tout au long de la démarche, il est plus facile de maintenir leur intérêt et leur engagement face à l’évaluation et aux mesures qui seront prises suite à l’élaboration des recommandations. Aussi, d’autres avantages recensés par l’auteure portent moins sur l’utilisation de l’évaluation et témoignent davantage des principes d’équité et de justice sociale. L’implication de certains bénéficiaires dans le processus d’évaluation leur permet, entre autres, d’acquérir de nouvelles connaissances et compétences utiles pour l’avenir, tout en leur donnant une voix dans le processus décisionnel.

Dimensions de l’implication : étendue, diversité, contrôle

Les approches évaluatives nous fournissent des lignes directrices quant à l’implication des parties prenantes. Par exemple, en décrivant l’évaluation participative pratique, Cousins et Whitmore (1998) ont élaboré une typologie d’implication à trois dimensions. Ces trois dimensions, selon les auteurs, peuvent être conceptualisées en tant que continuums :

• L’étendue réfère à la participation des parties prenantes aux tâches techniques et opérationnelles. Par exemple, certaines parties prenantes peuvent contribuer à l’élaboration des questions d’évaluation, à la conception du modèle logique, ou peuvent même participer directement à la collecte et à l’analyse des données.

• La diversité des participants réfère à la variété des groupes représentés. Il s’agit donc, ici, de déterminer quels groupes, parmi la typologie de Daigneault et Jacob (2012), sont impliqués dans la démarche.

• Le contrôle de la démarche évaluative réfère au rôle joué par l’équipe d’évaluation. En d’autres mots, on cherche à déterminer si l’évaluation est contrôlée entièrement par les responsables de l’évaluation, par les parties prenantes, ou si ce contrôle est partagé. Dans le cas d’une évaluation externe, par exemple, où les responsables de l’évaluation dirigent tous les travaux en communiquant leurs progrès de temps à autre avec les gestionnaires du programme, il s’agirait d’un niveau de contrôle élevé. Dans le cas d’une évaluation où un comité consultatif composé de gestionnaires et d’autres parties prenantes est constitué et contribue à l’analyse des données, il s’agirait d’un niveau de contrôle moyen. L’équipe d’évaluation conserve donc une bonne partie du contrôle, mais négocie certains aspects avec les parties prenantes au besoin. Et finalement, lorsqu’une équipe d’évaluation est appelée à accompagner les parties prenantes sans toutefois réaliser les tâches évaluatives directement, il s’agirait d’un faible niveau de contrôle.

Ces trois dimensions peuvent donc se manifester différemment selon l’approche évaluative choisie et le contexte dans lequel l’évaluation a lieu. Lorsqu’une équipe d’évaluation souhaite impliquer des parties prenantes, il peut être utile de considérer ces dimensions et de faire des choix qui respectent l’approche retenue afin d’assurer la cohérence de l’exercice.

Défis associés à l’implication des parties prenantes et solutions possibles

Malgré les nombreux avantages associés à l’implication des parties prenantes, elle comporte aussi certains défis qui ont le potentiel de nuire à la démarche évaluative. Le premier défi présenté par Marchand (2018) est celui des perceptions internes et externes au sujet de l’influence potentielle des parties prenantes sur la démarche évaluative. Certaines personnes pourraient croire qu’une implication plus élevée des parties prenantes nuit à la neutralité de l’évaluation et compromet la crédibilité des résultats. Cette inquiétude, souvent associée aux modèles post-positivistes de l’évaluation (voir le chapitre 4), est moins bien fondée dans le cas d’évaluations constructivistes, pragmatiques, ou qui portent sur la transformation sociale. Néanmoins, un travail important de communication est nécessaire afin d’établir la confiance des parties prenantes et la crédibilité de l’exercice.

À ce défi s’ajoutent aussi les défis d’ordre plus pratique, tels que le temps et les ressources nécessaires à une démarche participative et inclusive, l’engagement soutenu des parties prenantes dans un processus qui peut s’étendre sur plusieurs mois, et la gestion de la diversité tout au long de l’évaluation. Les compétences de l’équipe d’évaluation en matière de gestion de la démarche, de relations interpersonnelles, ainsi que sa flexibilité et sa tolérance au risque influencent de manière importante le succès des évaluations collaboratives. Le tableau ci-dessous présente quelques défis et solutions possibles associés à l’implication des parties prenantes à l’évaluation.

Tableau 2.1. Défis pratiques et solutions lié à l’implication des parties prenantes

Conclusion

Comme nous l’avons vu tout au long de ce chapitre, diverses parties prenantes doivent être impliquées dans une évaluation afin d’assurer sa pertinence et son utilité. Cependant, le type d’implication varie obligatoirement selon le type de partie prenante pour profiter des perspectives et points de vue de toutes les personnes, tout en respectant leurs connaissances et leur temps. En d’autres mots, les gestionnaires des programmes sont habituellement beaucoup plus impliqués dans une démarche évaluative que des partenaires externes ou des bénéficiaires. Comme nous le verrons dans les autres chapitres, le type d’implication des parties prenantes peut aussi dépendre de l’approche évaluative qui est privilégiée ainsi que le contexte organisationnel.