7 L’interprétation et la diffusion des résultats de l’évaluation
Objectifs d’apprentissage
À la suite de la lecture de ce chapitre, vous serez en mesure de :
- Comprendre ce qu’est l’interprétation des données comment elle se réalise;
- Formuler des recommandations pertinentes et réalistes;
- Comprendre l’importance du suivi et le rôle du plan d’action dans ce dernier;
- Identifier des moyens appropriés de communiquer les résultats d’évaluation.
L’interprétation des données
Après avoir recueilli, rassemblé et analysé les données nécessaires à l’évaluation, le moment est venu d’interpréter les résultats afin de porter un jugement sur la valeur du programme. Cette étape réfère à l’interprétation des données. C’est ici que la personne responsable de l’évaluation cherchera à donner du sens aux tendances et aux thèmes récurrents retrouvés dans les données, lui permettant de tirer des conclusions sur l’efficacité, l’efficience ou la pertinence du programme évalué. C’est également au cours de l’interprétation des données que les seuils de réussite ou les critères de jugement établis lors de l’élaboration du cadre d’évaluation servent à déterminer dans quelle mesure le programme a atteint ses objectifs.
L’atelier d’interprétation des données
Puisque les responsables de l’évaluation travaillent rarement seuls, il peut être utile de rassembler les personnes ayant contribué à la planification et à la mise en œuvre de l’évaluation lors d’un atelier d’interprétation collective des données. Les résultats obtenus sont examinés et interprétés par l’ensemble des personnes participantes, permettant une prise en compte de différentes perspectives dans la construction du jugement évaluatif. Afin que cet exercice soit productif, il est important de bien le planifier : les rapports techniques, les tableaux de données, et les autres outils doivent être conçus à l’avance. Les besoins et les attentes des groupes ciblés doivent aussi être ciblés au préalable. Si certains membres ne connaissent pas l’évaluation (par ex., une nouvelle personne à la direction), on peut leur fournir un résumé ou un aperçu de l’évaluation à l’avance. Lors de l’atelier, on présente chacune des questions d’évaluation et on identifie les résultats principaux à l’aide des données recueillies ; ensuite, on formule des recommandations et des leçons apprises pour l’avenir. Les notes et les enregistrements captés au cours de l’atelier forment la base du rapport d’évaluation, puisqu’ils mettent en lumière les éléments les plus importants de l’évaluation.
On peut se servir d’un tableau d’interprétation afin de consigner les informations les plus pertinentes relatives aux questions d’évaluation. Ce tableau contient, entre autres, les questions d’évaluation, les seuils de réussite, le degré d’atteinte du critère, et les données probantes qui appuient le jugement du responsable de l’évaluation. La présentation des données est l’élément le plus important du rapport d’évaluation : tous les propos de la personne évaluatrice doivent être soutenus par des preuves. Autrement, l’évaluation pourrait être considérée comme peu rigoureuse et crédible.
Tableau 7.1. Exemple d’un tableau d’interprétation en évaluation
| Question d’évaluation | Critère de jugement | Degré d’atteinte du critère | Éléments de preuve |
| Le gouvernement joue-t-il un rôle légitime et nécessaire dans ce secteur ou cette activité de programme ? | D’autres organismes gouvernementaux (tous les niveaux) ne jouent pas un rôle principal dans ce secteur | Partiellement atteint | Examen des documents révèle que quelques gouvernements provinciaux agissent dans ce secteur |
| Ce secteur d’activité nécessite une intervention publique | Atteint | Une défaillance du marché dans ce secteur est identifiée dans les articles scientifiques examinés |
La formulation des leçons apprises et des recommandations
La très grande majorité des évaluations cherchent à tirer des apprentissages et à formuler des recommandations opportunes pour améliorer certains aspects du programme comme sa pertinence, son efficacité ou son efficience. Les leçons apprises permettent de documenter les succès et les défis du programme ainsi que les éléments à améliorer pour l’avenir. Les recommandations, quant à elles, sont des propositions d’actions concrètes visant à améliorer le programme, et ce, à la lumière des résultats obtenus. Elles s’adressent en général aux personnes responsables du programme ou de l’organisation: la haute gestion, le conseil d’administration, la direction, etc.
Les recommandations de bonne qualité sont claires, concises et résultent directement des constats issus de l’évaluation. Les parties prenantes doivent en effet être en mesure de voir les liens existants entre les questions d’évaluation, les données recueillies, les conclusions qui en découlent et les recommandations. Les recommandations doivent également être réalisables et respecter le contexte particulier dans lequel le programme se trouve. Par exemple, si le programme évalué appartient à une administration municipale, les recommandations devraient refléter le champ de compétences du palier municipal. C’est pourquoi les responsables d’une évaluation discutent à plusieurs reprises des recommandations avec les parties concernées avant de les formaliser : on parle alors d’un processus d’échange et de négociation visant à formuler des recommandations qui sont réalistes et prioritaires.
Plusieurs outils peuvent appuyer la formulation de recommandations de haute qualité. Par exemple, la liste de vérification des recommandations du Groupe d’évaluation des Nations Unies (2018) est composée d’énoncés portant sur la forme, le contenu et l’utilité des recommandations fournies dans le cadre d’une évaluation. De même, les objectifs SMART proposent un cadre efficace pour formuler des recommandations claires et utiles. Voici une description des différents éléments qui composent l’acronyme SMART :
- Spécifique : la recommandation doit être claire avec une cible bien définie.
- Mesurable : la recommandation doit comprendre des résultats concrets afin de suivre les progrès réalisés dans son atteinte.
- Atteignable : la recommandation doit être atteignable compte tenu du temps, des ressources et des capacités de l’organisation.
- Réaliste : la recommandation doit être pertinente et alignée sur la mission et les objectifs généraux de l’organisation.
- Temporel : La recommandation doit être assortie d’un délai précis.
Le plan d’action
Le plan d’action pour la mise en œuvre des recommandations est un document qui décrit clairement les actions à prendre pour donner suite aux résultats et aux recommandations d’une évaluation. Le plan d’action est divisé en quatre parties :
- Un aperçu des résultats de l’évaluation et des recommandations.
- Une description des actions qui seront prises en réponse aux recommandations.
- Un calendrier pour la réalisation de chaque action.
- Une description des ressources et du soutien qui seront nécessaires pour compléter les actions prévues.
Dans certains organismes, comme le gouvernement du Canada, l’élaboration d’un tel plan est obligatoire à la suite d’une démarche d’évaluation. Les gestionnaires sont appelés à répondre aux recommandations en indiquant, à l’aide d’un tableau inséré dans le rapport d’évaluation, s’ils sont d’accord avec celles-ci et, le cas échéant, comment ils comptent les appliquer. Les personnes responsables de l’évaluation sont parfois amenées à faire un suivi du plan d’action. Ce suivi peut être effectué de manière informelle par des communications ponctuelles avec la gestion du programme. Dans d’autres cas, le suivi peut être plus rigoureux, par exemple par l’entremise d’outils visant à documenter l’avancement de la mise en œuvre du plan d’action. Finalement, lorsqu’un programme a fait l’objet d’une évaluation, on cherche souvent à vérifier les progrès accomplis dans la mise en œuvre du plan d’action durant la planification d’une nouvelle évaluation.
La communication et la diffusion des résultats d’évaluation
La communication et la diffusion efficaces des résultats d’évaluation sont essentielles pour favoriser l’utilisation et le partage des connaissances et des apprentissages générés tout au long de la démarche. Elles contribuent également à renforcer la transparence de la démarche évaluative et la confiance du public envers les résultats d’évaluation.
La préparation d’un plan de communication et de diffusion permet d’assurer la communication des résultats d’évaluation. Pour ce faire, EuroÉval (2004) propose dans sa fiche technique sur la diffusion des résultats les trois étapes suivantes :
- Identifier les différents groupes cibles de la communication : la première étape consiste à identifier les groupes qui ont un intérêt particulier pour les résultats de l’évaluation. Il peut s’agir de gestionnaires de programmes, de la haute gestion, de bailleurs ou bailleuses de fonds, de partenaires ou d’autres groupes concernés par la démarche et ses résultats.
- Identifier les messages principaux : la deuxième étape consiste à choisir l’information à transmettre en fonction des besoins spécifiques des groupes ciblés. Par exemple, les résultats relatifs à l’efficience du programme pourraient être d’intérêt certain pour les bailleurs de fonds tandis que les leçons apprises par la mise en œuvre pourraient intéresser davantage les intervenantes et intervenants qui travaillent sur le terrain.
- Adapter les stratégies de communication : la troisième étape vise à s’entendre sur les stratégies à recourir pour transmettre les résultats de l’évaluation aux groupes cibles. Voyons voir quatre des stratégies les plus fréquemment employées afin de diffuser les résultats de l’évaluation : le rapport d’évaluation, le bilan synthèse, l’infographie et la présentation. Peu importe le moyen préconisé, une attention particulière doit être portée au niveau de littératie des groupes ciblés. Ce dernier doit être approprié à l’auditoire que l’on cherche à atteindre ; parfois, l’utilisation d’un langage trop technique ou bureaucratique peut nuire à la communication des résultats.
Le rapport d’évaluation
Le rapport d’évaluation est un document écrit qui fournit une description détaillée et complète du programme évalué et de la démarche d’évaluation, y compris les questions explorées, la méthodologie utilisée, les résultats obtenus et les limites recensées de l’évaluation. Pour un exemple, consultez le rapport d’évaluation du Programme des Autochtones réalisé par Patrimoine canadien (2022) ou l’encadré 7.2 plus bas. Les rapports d’évaluation sont généralement destinés à quelques parties prenantes, telles que les gestionnaires de programmes, la haute gestion et la direction de l’organisme.
La structure d’un rapport varie selon les exigences et les besoins des organisations. Il en va de même pour sa longueur qui dépendra surtout de la complexité du programme ainsi que des questions posées au départ. De façon générale, la structure typique d’un rapport d’évaluation correspond aux sections suivantes :
- Sommaire exécutif
- Description ou profil du programme
- Modèle logique ou théorie du changement
- Cadre d’évaluation
- Résultats
- Conclusion (peut être assez brève, surtout si elle est suivie des recommandations)
- Recommandations
- Annexes (méthodologie, instruments de mesure, données brutes, matrice d’évaluation, etc.).
Il est important de noter que le rapport d’évaluation n’est qu’un moyen parmi d’autres de communiquer les résultats de l’évaluation. Bien qu’il soit obligatoire dans certaines organisations, il existe d’autres moyens parfois plus efficaces pour rejoindre les groupes ciblés.
Le rapport d’évaluation du Programme des Autochtones réalisé par Patrimoine canadien (2022) illustre bien le contenu attendu par un tel document :
1. Sommaire exécutif : le rapport débute par un aperçu du Programme des Autochtones et met en évidence les principales conclusions de l’évaluation, dont sa contribution à la préservation, à la promotion et à la revitalisation des langues et des cultures autochtones.
2. Description ou profil du programme : l’historique et la population cible du Programme des Autochtones sont présentés en détail. On y apprend davantage sur les modifications apportées au programme à travers le temps, les différents volets du programme de subventions et de contributions dont il est responsable, de même que sur les ressources financières et humaines qui y sont investies.
3. Modèle logique ou théorie du changement : le modèle logique est présenté à l’annexe A du rapport, mais une description est intégrée à la description du programme. La description explique comment les activités du programme devraient contribuer à la préservation, à la promotion et à la revitalisation des langues et des cultures autochtones.
4. Cadre d’évaluation : cette section du rapport décrit les objectifs, les questions et la méthodologie de l’évaluation utilisée pour juger de la pertinence, l’efficacité et l’efficience du programme. Par exemple, on y constate qu’une approche mixte a été utilisée, cette dernière comprenant une analyse documentaire et une analyse des données secondaires, des entretiens et des groupes de discussion avec les parties prenantes, ainsi qu’une analyse des pratiques novatrices de préservation des langues dans d’autres programmes au Canada et à travers le monde.
5. Résultats : La section des résultats du rapport comprend des constats relatifs au besoin continu d’un programme visant la préservation des langues autochtones et à son alignement sur les priorités gouvernementales en matière de réconciliation. Elle rapporte également les résultats en lien avec l’efficacité du programme à promouvoir et à revitaliser les langues autochtones et son efficience en termes de prestation et de financement. Les résultats à ce sujet indiquent que le programme a réussi à en faire beaucoup avec les ressources disponibles, mais qu’il est peu probable qu’il puisse renverser le phénomène de déclin des langues autochtones sans bonification budgétaire.
6. Conclusion et recommandations : le rapport comporte plusieurs recommandations spécifiques pour améliorer le programme sur la base des résultats de l’évaluation. Par exemple, il propose un modèle de financement continu et flexible pour mieux répondre aux besoins en matière de préservation des langues.
Le bilan synthèse
Le bilan ou rapport de synthèse est une version condensée du rapport d’évaluation. Il présente les résultats et conclusions de l’évaluation dans un format clair et concis. Pour un exemple concret, consultez le bilan synthèse de l’évaluation du programme Bambinos préparé par le LaboÉval (2022). Le bilan est souvent accompagné de tableaux, de graphiques et de figures afin d’en faciliter la compréhension. Les rapports de synthèse d’évaluation sont généralement destinés à un public plus large, notamment aux décisionnaires, aux parties prenantes du programme et au public.
L’infographie
L’infographie est un moyen de transmettre visuellement des informations spécifiques et des faits intéressants relatifs à l’évaluation. Elles sont particulièrement utiles pour présenter des constats de manière accessible et convaincante. Elles peuvent capter l’attention d’un public large, telles que les bénévoles du programme, les partenaires et la communauté. Un exemple d’une infographie est présenté à la figure 7.1 (LaboÉval, 2022).
Figure 7.1. Exemple d’une infographie
La communication orale de l’évaluation
La communication orale, ou présentation, est une méthode courante pour partager les résultats d’une aux parties prenantes et en discuter ensemble. Durant la présentation, l’équipe d’évaluation donne généralement un aperçu des objectifs et du contexte du programme avant de poursuivre vers la méthodologie et les principales conclusions de l’évaluation. L’utilisation de diapositives et d’images vient appuyer et soutenir les propos de l’équipe. La présentation peut se conclure avec une discussion sur les implications des résultats sur le programme et les parties prenantes concernées. Plusieurs gabarits et dispositifs sont disponibles sur le web pour rendre la présentation intéressante d’un point de vue visuel, tout en abordant les points principaux à retenir. Il est aussi possible d’intégrer les impressions et les questions de l’auditoire tout au long de la présentation, afin de maintenir son attention et son intérêt.
La visualisation des données
Les évaluateurs peuvent avoir recours à des éléments visuels afin de présenter un grand nombre d’informations en peu d’espace. En évaluation, cette pratique s’apparente à la visualisation des données, qui désigne la représentation visuelle des résultats de l’évaluation. Il s’agit d’un domaine en pleine expansion : de nouvelles façons de présenter les données et les résultats se développent rapidement. La visualisation des données comporte plusieurs avantages : elle peut faciliter les comparaisons et les relations entre les données, ce qui favorise l’attention du lectorat, la rétention de l’information et allège le texte (Telea, 2018). Stephanie Evergreen est une spécialiste de renommée internationale dans le domaine de la visualisation de données. Son site Web (en anglais uniquement) contient une multitude de ressources pertinentes sur le sujet, dont un blogue, des articles scientifiques et des ateliers pratiques pour améliorer ses propres compétences en visualisation.
Conclusion
Ce chapitre a discuté du processus d’interprétation des données et de son importance pour la construction d’un jugement évaluatif utile à la prise de décision et à l’amélioration des programmes. Comme discuté, les ateliers d’interprétation sont fort pertinents afin de rassembler les parties prenantes clés pour en faire ressortir collectivement des interprétations et des recommandations réalistes et adaptées au contexte spécifique du programme évalué. Un suivi approprié, notamment par l’élaboration d’un plan d’action et de communication des résultats de l’évaluation, permettra d’assurer que les recommandations seront mises en œuvre dans des délais raisonnables et que des moyens de diffusion choisie répondront aux besoins d’informations et aux préférences des groupes ciblés.
