Ce que nous appelons le cadre, ou le plan d’évaluation, consiste en un document qui sert à démontrer la connaissance du programme à évaluer ainsi que les différents enjeux qui y sont rattachés. Ce cadre sert de contrat entre la personne évaluatrice et son client, et peut, dans le cas d’un désaccord, protéger l’équipe d’évaluation à la fin du projet.

Le cadre, ou le plan d’évaluation, consiste en un document qui sert à démontrer la connaissance du programme à évaluer ainsi que les différents enjeux qui y sont rattachés

Dans un cadre d’évaluation, on retrouve les thèmes, les questions d’évaluation ainsi que la méthodologie envisagée. Le cadre d’évaluation permet également d’identifier les limites de l’évaluation et spécifie clairement les responsabilités de chaque personne intervenant dans le processus. Ces informations permettent de clarifier les attentes par rapport à l’accès aux documents, aux personnes ou aux données dont on a besoin ainsi qu’aux rôles qui seront joués par l’équipe d’évaluation et celle du programme à évaluer.

Le cadre contient également un calendrier de réalisation du projet ainsi que les ressources qui seront nécessaires. Comme pour n’importe quel projet, des changements peuvent survenir au cours du projet et des ajustements sont parfois nécessaires. Ainsi, il est important d’y inclure également les risques possibles et les limites ainsi que les mesures préventives et d’atténuation envisagées. La personne évaluatrice doit être en mesure d’indiquer quelles conséquences certains changements entraîneront sur ce qui a été promis initialement.

Le cadre d’évaluation contient donc plusieurs éléments distincts qui sont tous essentiels au déroulement de l’évaluation. Ces éléments seront décrits au cours des prochains chapitres. Le présent chapitre traite des questions d’évaluation et de leurs indicateurs.

Quelques définitions clés

Avant d’aller plus loin dans le cadre d’évaluation comme tel, définissons quelques concepts clés.

Principaux thèmes d’évaluation

En évaluation, il y a généralement trois principaux thèmes abordés soit : la pertinence, l’efficacité et l’efficience. La pertinence réfère aux besoins que le programme tente de combler ainsi qu’à la concordance entre le programme et les priorités de l’organisation. L’efficacité porte sur l’obtention des résultats anticipés et les changements observés dans la population cible. L’efficience réfère à la saine gestion des ressources humaines et financières du programme afin de produire les extrants. Cependant, comme le précise Peersman (2014), il  existe d’autres thèmes pouvant être explorés dans l’évaluation, comme l’équité et la durabilité. Nous aborderons d’ailleurs certains de ces thèmes au chapitre 12 de cet ouvrage .

La pertinence

La pertinence porte sur le contexte du programme dans son environnement organisationnel, ainsi que son rôle dans la société en général (pertinence sociale).vLa pertinence porte sur le contexte du programme dans son environnement organisationnel, ainsi que son rôle dans la société en général (pertinence sociale). Un programme est habituellement créé dans un contexte particulier pour répondre à des besoins spécifiques. La pertinence vise à analyser si ces besoins existent toujours, ou si l’environnement a changé à un tel point que le problème n’existe plus ou a lui-même changé. Des décisions importantes sur l’avenir du programme s’imposent lorsque l’on détermine que les besoins originaux ayant mené à sa création n’existent plus.

Les questions d’évaluation s’inscrivant sous le thème de la pertinence, en plus de s’intéresser aux besoins de la population cible, portent aussi sur les liens qui existent entre les priorités de l’organisation et le programme. En effet, les programmes devraient refléter les objectifs, la mission et les responsabilités de l’organisation dont ils font partie.

L’efficacité pour mesurer l’atteinte des résultats

L’efficacité vise à déterminer dans quelle mesure le programme a atteint les résultats immédiats, intermédiaires, et ultimes escomptés. Il y a donc un lien étroit entre les questions d’efficacité et le modèle logique du programme, qui décrit ces résultats.

L’efficacité vise à déterminer dans quelle mesure le programme a atteint les résultats immédiats, intermédiaires, et ultimes escomptés.

Très souvent, afin de mieux comprendre pourquoi certains résultats n’ont pas été atteints comme prévu, il y a lieu de se pencher sur la manière dont le programme a été mis en œuvre ou adapté aux réalités du terrain. On s’intéresse donc aux activités et aux extrants, afin de mieux expliquer les résultats

L’efficacité permet donc de cerner l’impact réel du programme sur la problématique initiale.

L’efficience pour juger du rapport qualité-prix

L’efficience cherche à déterminer si les activités et extrants ont mené aux résultats attendus en utilisant le moins de ressources possibles.Puisque les programmes sont responsables de la saine gestion des ressources financières et humaines qui leur sont confiées, il est souvent utile de porter un regard évaluatif sur l’efficience dont le programme fait preuve. Les questions d’évaluation s’inscrivant sous ce thème cherchent à déterminer si les activités et extrants ont mené aux résultats attendus en utilisant le moins de ressources possibles.

Comment formuler des questions d’évaluation ?

Pour bien évaluer un programme, les questions doivent être formulées pour permettre de préciser ce que l’on souhaite mesurer. Il vaut mieux utiliser des questions ouvertes et factuelles qui s’apparentent à des questions de recherche. On entend par « questions ouvertes », des questions qui permettent d’apporter une réponse nuancée plutôt qu’un “oui” ou un “non”. De plus, les questions d’évaluation doivent porter sur un aspect précis du programme à évaluer.

On formule habituellement entre 8 et 10 questions d’évaluation – le nombre exact dépend surtout de l’ampleur du programme et des éléments à mesurer. Il est à noter que les questions d’évaluation ne sont pas celles qui seront posées aux parties prenantes au cours de la collecte de données. Il ne faut donc pas les confondre avec un guide d’entretien.

Pour formuler les questions d’évaluation, il faut se fier aux trois thèmes présentés précédemment, c’est-à-dire la pertinence, l’efficacité et l’efficience, mais également à plusieurs autres sources d’informations. L’approche évaluative retenue peut influencer le choix et la formulation des questions puisqu’elle permet de préciser certains éléments d’intérêt. Il en est de même pour des consultations qui auraient été réalisées auprès de certaines parties prenantes lors de la planification de l’évaluation. Toute la documentation du programme qui a été consultée lors de la planification – y compris le modèle logique – peut également influencer les questions et faire ressortir certains enjeux ou éléments d’intérêt.  Enfin, la recherche ou des évaluations antérieures du même programme ou d’autres évaluations de programmes semblables pourraient aussi proposer des éléments ou formulations intéressants à intégrer dans les questions d’évaluation.

Les formulations peuvent varier d’une évaluation à l’autre, mais voici quelques types de formulations dont se servent les personnes évaluatrices :

• Dans quelle mesure…
• De quelle façon…
• Quels sont les facteurs/conditions/etc.
• Quels sont les impacts spécifiques…
• Quels changements ont été observés…

Ces formulations permettent de produire des questions spécifiques, ouvertes et factuelles, qui permettent l’élaboration d’une réponse nuancée à partir des données empiriques.

Les indicateurs de rendement

Une fois les questions d’évaluation formulées, la personne évaluatrice formule des indicateurs qui permettront de les opérationnaliser et de les mesurer. Ces indicateurs sont comme des points de repère permettant de juger du progrès accompli et des changements causés par un programme.

Ils cherchent à rendre intelligibles des concepts autrement complexes et peu observables :

• Le nombre d’amis proches est un indicateur de la taille du réseau social
• Le taux de rétention des employés est un indicateur des conditions de travail
• Le nombre d’albums vendus est un indicateur de la popularité d’une artiste
• Le score à un examen est un indicateur des connaissances d’un étudiant au sujet d’une matière

Il y a deux genres d’indicateurs, les indicateurs quantitatifs et les indicateurs qualitatifs. Voici les particularités de chacun:

• Les indicateurs quantitatifs se composent d’un nombre et d’une unité. Le nombre précise l’ampleur (combien) et l’unité fournit au nombre sa signification (quoi), par exemple, le nombre de plaintes reçues par écrit.
• Les indicateurs qualitatifs prennent la forme d’un énoncé, par exemple les perceptions des participantes à un programme de perfectionnement professionnel sur les défis qu’elles rencontrent dans leur milieu de travail. Il n’est pas nécessairement pertinent de compter ces défis; dans ce cas-ci, les types de défis rencontrés et comment ils influencent les participantes sont davantage d’intérêt.

Pour bien formuler des indicateurs, la clé du succès est d’être aussi précis que possible. Les indicateurs identifient le concept ou l’élément à mesurer ainsi que certaines dimensions temporelles ou contextuelles permettant de mieux les baliser. Habituellement, un indicateur porte sur un concept ou une dimension unique du phénomène d’intérêt. Ainsi, une question d’évaluation peut se décliner en plusieurs indicateurs.

Comment s’assurer que les indicateurs sont de qualité?

Le « Evaluation Center » de l’Université du Michigan a constitué une liste de contrôle portant sur les indicateurs utilisés dans les évaluations. Entre autres, on y retrouve les éléments suivants :

• Adéquation et pertinence culturelle : l’indicateur doit être adapté et pertinent dans le contexte ou dans l’environnement concerné par l’évaluation.
• Clarté de l’orientation et signification : L’indicateur doit traduire ou représenter l’élément à mesurer de façon claire et complète. Des informations supplémentaires ne devraient pas être nécessaires pour interpréter les données recueillies à partir de l’indicateur.
• Disponibilité des données : L’indicateur doit être réaliste dans la mesure où les données exigées peuvent être recueillies ou existent déjà et sont disponibles.
• Formulation impartiale : Les indicateurs doivent être formulés de façon neutre et dépourvus d’orientation.
• Pertinence relative aux questions d’évaluation : Tous les indicateurs doivent être liés à au moins une des questions d’évaluation.
• Possibilité d’obtenir des résultats inattendus ou imprévus : Les indicateurs doivent nous permettre de vérifier nos hypothèses, le cas échéant, mais ils doivent aussi être suffisamment souples pour permettre l’obtention de résultats inattendus ou imprévus.
• Pratiques acceptées et historique d’utilisation : L’indicateur doit être conforme aux pratiques actuelles et antérieures, le cas échéant.

En résumé, les indicateurs doivent être clairs, pertinents et bien formulés. Ils doivent pouvoir être évalués par des données empiriques.

Les seuils de réussite ou critères de jugement

Dans certaines évaluations, on retrouve, en plus des indicateurs, des critères de jugement, aussi appelés seuils de réussite. Bien qu’ils ne soient pas nécessairement considérés comme étant obligatoires à la démarche évaluative, ils représentent tout de même une pratique exemplaire.

Puisque l’objectif ultime de l’évaluation est de porter un jugement sur le mérite et la valeur d’un programme, il importe de se doter de critères qui nous permettent de juger des résultats atteints et autres éléments de façon objective et précise : Dans quelle mesure le programme s’avère-t-il suffisamment  »bon »?

Ces seuils de réussite peuvent s’inspirer des cibles présentes dans le modèle logique du programme ou dans un cadre de mesure de rendement qui accompagnerait la documentation du programme. Comme les indicateurs, les seuils de réussite peuvent s’exprimer sous forme de cibles quantitatives, ou de manière plus descriptive ou qualitative. Une approche normative est privilégiée lors de l’établissement de seuils de réussite, même si cela n’est pas toujours possible.

Voici quelques exemples de seuils de réussite :

• Plus de 80% des participants se disent « satisfaits » ou « très satisfaits » des services obtenus
• Au moins 60% des participants obtiennent une note de passage au terme du cours en ligne
• Les familles des participants peuvent identifier des améliorations significatives au niveau du comportement
• Tous les fonds disponibles pour les activités du programme ont été utilisés

Dans tous les cas, ces critères ou seuils de réussite doivent être négociés, habituellement avec la gestion du programme, puisqu’ils résument le jugement qui pourrait être porté par la personne évaluatrice. Il est donc important de s’assurer, en tant qu’évaluateurs et évaluatrices, que nous comprenons bien les contraintes avec lesquelles le gestionnaire du programme doit composer, ainsi que le contexte élargi dans lequel se trouve le programme, afin d’ajuster nos critères en fonction de ceux-ci.

Comment présenter les informations?

Le tableau ci-dessous permet d’organiser les questions d’évaluation, leurs indicateurs, et leurs seuils de réussite. Chaque question d’évaluation peut être opérationnalisée à l’aide d’un ou plusieurs indicateurs. Chaque indicateur a ensuite un seuil de réussite qui lui correspond.

Tableau 5.1. Gabarit pour questions, indicateurs et seuils de réussite

Ce tableau peut et doit évidemment être adapté au contexte de chaque évaluation. Le nombre d’indicateurs et de seuils de réussite varie en fonction des questions d’évaluation. Toutefois, il faut se rappeler qu’il vaut mieux éviter de mettre un trop grand nombre d’indicateurs puisque les projets d’évaluation sont soumis à différentes contraintes (temporelles, financières, etc.).

Enfin, dans la documentation disponible sur le programme évalué, on devrait certainement avoir accès à un certain nombre d’informations pertinentes. Par exemple, lors de la planification du programme, l’organisation a peut-être élaboré des outils de suivi et d’évaluation du programme, comme un cadre de mesure du rendement, pouvant nous inspirer dans la rédaction des questions et des indicateurs.

Conclusion

La pièce de résistance du plan d’évaluation est habituellement un tableau qui contient, entre autres, les questions d’évaluation ainsi que les indicateurs et les seuils de réussite qui y correspondent. La formulation de ces questions, indicateurs et seuils exige un travail systématique et minutieux. Cependant, l’effort en vaut la peine lorsque vient le moment de choisir une méthode de collecte de données et de préparer les instruments qui serviront à cette collecte. Les questions, indicateurs et seuils servent comme « recette » à suivre lors de la mise en oeuvre de l’évaluation et faciliteront aussi la rédaction du rapport d’évaluation.