4 Les cadres théoriques et approches évaluatives
Objectifs d’apprentissage
Suite à la lecture de ce chapitre, vous serez en mesure de :
- Décrire les objectifs de l’évaluation et ses principaux cadres théoriques
- Décrire diverses approches évaluatives selon leurs fondements conceptuels et méthodologiques
- Sélectionner un cadre théorique et une approche évaluative pour un projet spécifique
Pourquoi est-il important de bien orienter son évaluation?
Il existe plusieurs façons d’aborder une évaluation, même si la démarche de base que nous avons déjà vue demeure relativement semblable d’une évaluation à une autre. Les choix que nous faisons au cours de la planification sont importants, parce qu’ils influencent les questions que nous poserons, les rôles des évaluateurs et des parties prenantes, les données que nous obtiendrons, et éventuellement, les résultats de l’évaluation.
L’évaluation peut porter sur divers moments (ex. à mi-parcours, fin de cycle du programme) et divers enjeux (ex. pertinence, efficacité, efficience). Elle peut aussi suivre divers chemins, que nous appellerons cadres théoriques, et adopter diverses approches. Nous regarderons ces divers éléments en plus de détail dans ce chapitre.
L’objectif de l’évaluation et les thèmes à aborder
Une évaluation peut répondre à des besoins informationnels variés. Le choix de procéder à une évaluation développementale, formative ou sommative dépend en grande partie de l’objectif de l’évaluation. Cherche-t-on à guider ou à orienter la conception d’une nouvelle initiative? Depuis combien de temps le programme existe-t-il? La gestion a-t-elle besoin d’informations particulières afin de prendre une décision? Souhaite-t-on améliorer la mise en œuvre du programme sur le terrain? Ces questions, et bien d’autres, font partie des discussions qui auront lieu tout au long de l’étape de planification de l’évaluation et les réponses obtenues permettront de déterminer l’objectif et les finalités de l’évaluation.
Les thèmes abordés dans une évaluation peuvent aussi varier, c’est-à-dire que les questions d’évaluation peuvent porter sur divers aspects du programme. La majorité des évaluations s’intéressent soit à la pertinence du programme, à son efficacité, à son efficience, ou à un mélange des trois:
- Les questions portant sur la pertinence visent à déterminer si le programme est toujours nécessaire.
- Les questions portant sur l’efficacité ciblent l’atteinte des résultats immédiats, intermédiaires et ultimes présentés dans le modèle logique ou la théorie du changement.
- Les questions portant sur l’efficience cherchent à vérifier que les ressources sont utilisées de manière économique et efficiente, c’est-à-dire de manière à optimiser les extrants (produits) par le programme.
Ainsi, le choix des thèmes dépend en partie des objectifs et des finalités de l’évaluation qui par la suite influencera le choix du cadre théorique et de l’approche évaluative.
Les cadres théoriques guidant la planification de l’évaluation
Le positionnement des personnes qui mèneront l’évaluation face à leur travail, ainsi que le degré d’implication des parties prenantes, sont déterminés en partie par le cadre théorique (paradigme) qu’elles choisissent. Dans le domaine de l’évaluation, comme en sciences sociales plus généralement, il existe quatre grands cadres théoriques qui nous permettent de nous positionner d’un point de vue ontologique (nature perçue de la réalité), épistémologique (postulats portant sur la production des connaissances), et méthodologique (choix des outils de collecte et méthodes d’analyse des données de l’évaluation). Il s’agit du postpositivisme, du constructivisme, du pragmatisme et de la transformation sociale (Mertens et Wilson, 2019).
Le postpostivisme
Le postpositivisme est dérivé du positivisme, qui est à l’origine des sciences sociales et qui a été la seule vision du monde des chercheurs jusqu’aux années 1990 environ. Comme son ancêtre, le postpositivisme présuppose qu’il nous est possible de percevoir le monde directement, tel qu’il est réellement, et ce, de manière objective et neutre. Il confère donc à l’équipe d’évaluation un rôle d’observation distante qui la sépare complètement de son objet d’étude ; cependant, au contraire du positivisme dont il est issu, le postpositivisme reconnait que l’action humaine est empreinte de complexité et tente d’en tenir compte par l’entremise de méthodes quantitatives probabilistes (qui sont basées sur des analyses statistiques). Le postpositivisme reflète en somme la méthode scientifique basée sur la vérification d’hypothèses, où les devis expérimentaux et quasi-expérimentaux sont privilégiés.
Le constructivisme
Selon les adeptes du constructivisme, la réalité que nous percevons n’est pas nécessairement identique à celle qui est perçue par les autres. Nos valeurs et expériences ont une influence importante sur nos perceptions. Ainsi, il existe de multiples réalités, perspectives, et valeurs. En interagissant avec d’autres personnes, nous construisons une compréhension commune des phénomènes : nos connaissances sont donc créées par le biais de nos interactions sociales.
Ce paradigme soutient l’idée qu’il est impossible pour l’équipe d’évaluation de demeurer complètement neutre et objective, puisque ses membres participent au même titre que les parties prenantes à la création des connaissances évaluatives. Les constructivistes soutiennent également que les choix méthodologiques qui sont faits au cours d’une évaluation peuvent grandement faire avancer la cause de certains groupes en reflétant leurs perspectives et leurs besoins. Il est donc essentiel de recueillir des données qui permettent de représenter de façon scientifique les différentes perspectives qui peuvent exister dans un groupe, incluant les siennes. Pour ce faire, les constructivistes privilégient les méthodes qualitatives, qui permettent à l’équipe d’évaluation de s’intégrer plus facilement dans le milieu et de susciter des interactions significatives avec toutes les parties prenantes.
Le pragmatisme
À l’instar du constructivisme, le pragmatisme est issu de l’insatisfaction de plusieurs scientifiques face à la perspective postpositiviste. Selon les pragmatistes, l’évaluation postpositiviste prend beaucoup de temps et de ressources à réaliser et ne reflète pas nécessairement les besoins informationnels des dirigeants d’organismes. Ce paradigme s’intéresse donc surtout aux perceptions et besoins des individus qui peuvent agir sur un programme. Les pragmatistes ne prétendent pas avoir accès à la « vérité » ; il s’agit de se pencher sur l’interprétation que les gens font des phénomènes observés. Ce qui compte pour les pragmatistes, c’est l’utilité des résultats de l’évaluation dans le processus décisionnel. C’est cette priorité qui dirige donc toutes les décisions relatives à la planification de l’évaluation, qu’elles soient de nature épistémologique ou méthodologique.
La transformation sociale
Le paradigme de la transformation sociale s’intéresse de manière spécifique aux questions de discrimination, d’oppression, et d’injustice. Ce cadre théorique est fondé sur la croyance que notre représentation de la réalité est déterminée par nos valeurs et nos expériences (au même sens que le constructivisme). Elle dépend aussi du contexte historique, économique, racial et structurel dans lequel nous nous situons. La compétence culturelle, soit notre habileté à comprendre et à nous adapter à ces contextes, est essentielle à la transformation sociale.
Ainsi, selon les adeptes de la transformation sociale, la connaissance n’est ni absolue, ni relative : elle est co-construite dans un contexte de pouvoir et de privilège. Afin d’avoir accès aux connaissances et perceptions issues des expériences vécues par un groupe social particulier, il est essentiel d’interagir avec ses membres. Cependant, cela signifie que nous devons être conscients de nos propres antécédents historiques et culturels, car ceux-ci influencent significativement nos interactions avec la communauté à l’étude.
Comme le paradigme pragmatique, on vise ici l’utilisation de l’évaluation, mais cette fois, à des fins émancipatrices. En d’autres mots, l’évaluation devrait contribuer à l’amélioration des conditions de vie des bénéficiaires des programmes évalués en leur fournissant l’occasion de développer de nouvelles compétences qui pourraient leur servir dans d’autres sphères de leurs vies. On utilise donc les méthodes qui nous permettent d’atteindre cet objectif, qu’elles soient quantitatives, qualitatives, ou mixtes.
Encadré 4.1 Quel cadre théorique s’apparente le plus à votre posture personnelle?
Thomas Delahais et ses collègues ont créé un questionnaire ludique visant à nous amener à réfléchir sur les quatre cadres théoriques et à déterminer notre propre positionnement. Nous vous encourageons à l’essayer afin de déterminer quelles valeurs orientent votre pratique d’évaluation.
Les approches évaluatives
Les approches évaluatives précisent davantage les cadres théoriques en identifiant clairement les rôles des membres de l’équipe d’évaluation et des parties prenantes, ainsi que les étapes ou concepts clés à respecter pendant l’évaluation. Ces approches permettent donc d’orienter les décisions qui doivent être prises lors de la planification de l’évaluation, mais aussi lorsque certaines contraintes ou imprévus imposent une modification au plan initial. En d’autres mots, les approches évaluatives constituent des cadres de référence qui aident à préciser les règles générales d’une évaluation. En ce sens, elles ressemblent à des stratégies opérationnelles d’évaluation. Il en existe plusieurs, qui se chevauchent et se distinguent les unes des autres. Il n’est pas nécessaire de les connaître en profondeur; ce qui importe, c’est de comprendre qu’il existe diverses approches évaluatives, qui peuvent être employées dans diverses situations et divers contextes d’évaluation.
Les approches postpositivistes
Le tableau suivant résume les principales caractéristiques des quatre approches postpositivistes les plus communément utilisées en évaluation.
Tableau 4.1. Approches courantes issues du paradigme postpositiviste en évaluation
Approche | Démarche | Objectifs principaux |
---|---|---|
Devis expérimental | Application de la méthode scientifique, groupe contrôle comparé au groupe traitement, distribution aléatoire dans les groupes | Démontrer une relation causale entre le programme et les résultats observés en éliminant d’autres facteurs |
Devis quasi-expérimental | Application de la méthode scientifique, groupe contrôle comparé au groupe traitement, la distribution n’est pas aléatoire | Démontrer une relation causale entre le programme et les résultats observés en éliminant d’autres facteurs |
Modèle Kirkpatrick | S’applique surtout aux programmes de formation en emploi | Documenter les changements au niveau de la réaction, l’apprentissage, les comportements et les effets d’une formation |
Évaluation axée sur la théorie | Porte principalement sur les éléments du modèle logique ou de la théorie du programme | Vise à tester la théorie du programme en recueillant des données à tous les niveaux de la chaîne de résultats |
Le devis expérimental et le devis quasi-expérimental
Le devis expérimental consiste en l’application des éléments traditionnels de la méthode scientifique. Cette approche ressemble aux devis cliniques que l’on retrouve en médecine ou en pharmacologie, où il est question de comparer deux groupes : un groupe exposé au programme ou au traitement (groupe expérimental) et un groupe qui possède les mêmes caractéristiques que le premier mais qui n’est pas exposé au programme ou au traitement (groupe contrôle). On cherche à mesurer l’effet du programme ou traitement, que l’on désigne comme la variable indépendante, sur l’état final souhaité, désigné comme la variable dépendante. Par exemple, on peut évaluer les effets d’un programme de cessation du tabagisme en comparant un groupe de personnes ayant participé au programme (groupe expérimental), à un groupe de personnes qui ont essayé de cesser de fumer sans aide (groupe contrôle). Si nos résultats indiquent que le groupe expérimental a réussi dans une plus grande proportion à arrêter de fumer que le groupe contrôle, on attribuera cet effet positif au programme. Bien sûr, nous devons nous assurer de minimiser l’effet d’autres variables, comme le statut socio-économique, par exemple, grâce à une distribution aléatoire des personnes dans le groupe expérimental et le groupe contrôle.
Bien que cette approche soit utile d’un point de vue scientifique, elle peut être difficile à mettre en œuvre sur le terrain. En effet, la répartition aléatoire des participants au groupe expérimental et au groupe contrôle n’est pas toujours possible ou souhaitable d’un point de vue éthique. Plus souvent qu’autrement, c’est le contexte d’implantation du programme qui permettra l’opérationnalisation d’un tel devis, parce qu’il doit être réfléchi au moment de la conception du programme.
Lorsque le devis expérimental n’est pas possible ou souhaitable, il est possible d’employer un devis quasi-expérimental, qui est moins robuste mais plus facilement réalisable dans le cadre d’une évaluation. Il s’agit de trouver un point de comparaison différent : au lieu de se servir d’un groupe contrôle, on se sert de mesures répétées avant et après la participation au programme. Ainsi, il est possible de constater une différence entre les deux mesures plutôt qu’entre deux groupes.
Le Abdul Latif Jameel Poverty Action Lab (J-PAL) a comme mission de lutter contre la pauvreté en veillant à ce que les politiques sociales s’appuient sur des preuves évaluatives provenant de devis expérimentaux. Cette courte vidéo explique comment les résultats d’évaluations au J-PAL ont été utilisés pour influencer positivement les décideurs publics (en anglais).
Le modèle Kirkpatrick
Le modèle Kirkpatrick est une approche très ciblée pour évaluer les programmes de formation. Cette approche comporte quatre étapes, ou composantes, présentées dans le tableau suivant.
Tableau 4.2. Le modèle Kirkpatrick
Étape | Description des mesures | |
1 | Réaction | Mesure de la satisfaction à l’égard de la formation |
2 | Apprentissage | Mesure des nouvelles compétences ou connaissances acquises au cours de la formation et tout de suite après |
3 | Comportements | Mesure des modifications apportées aux comportements ciblés par la formation et l’application des nouvelles connaissances au travail |
4 | Résultats | Mesure de l’effet du programme de formation à l’échelle de l’organisation |
La première composante vise à déterminer si les personnes ayant participé à la formation sont satisfaites de leur expérience. Cela peut se faire, par exemple, en utilisant un formulaire de rétroaction tout de suite après la séance de formation. Ensuite, on poursuit en évaluant les nouvelles compétences développées ou les connaissances acquises par les personnes ayant participé à la formation. Cela peut prendre la forme d’un test, d’un examen, d’une démonstration, ou toute autre preuve d’apprentissage. Cette étape peut avoir lieu durant la formation ou tout de suite après. À la troisième étape, on cherche à déterminer si les nouvelles connaissances et compétences ont mené à un changement au niveau des comportements des personnes formées. Pour ce faire, on peut réaliser des observations dans le milieu de travail ciblé ou du moins on peut interroger les personnes sur les changements qu’elles ont apportées à leur démarche professionnelle. Et finalement, on cherche à mesurer l’effet du programme sur l’ensemble de l’organisation plutôt que sur les individus. Cela peut se faire au moyen d’un sondage général, ou encore à partir d’entretiens individuels auprès de la direction.
Ces quatre composantes sont réparties sur une période de temps plus longue, ce qui peut poser certaines contraintes lors de la mise en œuvre de l’évaluation. De plus, elles portent uniquement sur l’évaluation de la formation, et donc, cette approche obéit à un contexte d’application assez limité.
Encadré 4.3 Exemple d’une évaluation selon le modèle Kirkpatrick
Un programme de formation visant le développement du leadership chez les enseignants, d’une durée de huit mois, a été dispensé à trois cohortes d’enseignants au cours d’une année. Afin d’évaluer cette intervention, on a choisi le modèle de Kirkpatrick. Les méthodes suivantes ont été employées aux différentes étapes de l’évaluation : 1) Réaction : sondages de satisfaction auprès des participants ; 2) Apprentissage : évaluation quantitative des connaissances (examen écrit) et un exercice « in-basket » pour mesurer les compétences de leadership acquises ; 3) Comportements : échelle psychologique mesurant le leadership ; 4) Résultats : sondage au sujet des plans de carrière des participants.
L’évaluation axée sur la théorie
L’évaluation axée sur la théorie, comme son nom l’indique, consiste principalement en l’élaboration et la vérification de la théorie qui sous-tend le programme. Il ne s’agit pas ici d’évaluer uniquement les effets ou les impacts du programme, même si cette approche permet de le faire ; il est aussi possible (voire souhaitable) d’évaluer toutes les composantes de la théorie du programme afin d’ouvrir la boîte noire et de comprendre comment toutes ces composantes travaillent ensemble pour atteindre les objectifs souhaités.
Les approches constructivistes
Les approches constructivistes visent à créer un climat de réciprocité et de partage qui est propice à la co-construction des connaissances tout au long de l’évaluation.
Tableau 4.3 Les principales approches constructivistes ainsi que leurs caractéristiques
Approche | Démarche | Objectifs principaux |
Évaluation sensible (responsive) | Débute par une période d’observation dans l’organisation afin de bien cerner les enjeux à évaluer
Les parties prenantes et l’équipe d’évaluation déterminent ensemble ce qui doit être évalué |
Vise à représenter les points de vue de toutes les parties prenantes
Vise aussi à adapter l’évaluation aux besoins des parties prenantes |
Évaluation sans objectifs | On réalise l’évaluation sans avoir développé le profil et la théorie du programme | Vise à évaluer sans idées préconçues au sujet des résultats attendus afin de capter l’ensemble des résultats du programme |
Évaluation démocratique délibérative | L’évaluation suit un processus continu au cours duquel les intérêts, les opinions et les idées des parties prenantes font surface
L’équipe d’évaluation et les parties prenantes réfléchissent ensemble aux résultats de l’évaluation et rédigent ensemble les conclusions |
Vise à prendre compte des intérêts des parties prenantes
Vise à identifier des éléments du contexte du programme qui ne sont pas visibles ou accessibles directement à l’équipe d’évaluation |
L’évaluation sensible
Selon Robert Stake (1975), l’auteur principal de l’évaluation sensible, qu’on appelle aussi « responsive evaluation » en anglais, la planification d’une évaluation doit commencer par une observation soutenue du programme. Lors de cette période d’observation, l’équipe d’évaluation prend connaissance des difficultés vécues ou pressenties par l’organisme et les groupes cibles. Ces enjeux ou difficultés sont ensuite privilégiés lors de la formulation des questions d’évaluation, afin de s’assurer que l’évaluation, à terme, contribuera à la résolution des problèmes auxquels font face toutes les parties prenantes du programme ou de l’intervention. Ainsi, l’évaluation sensible est une approche constructiviste centrée sur les besoins des parties prenantes. Selon Stake, les valeurs et les points de vue de toutes les parties prenantes, peu importe leur rôle, doivent être représentés dans le rapport d’évaluation. Les objectifs de l’évaluation, ainsi que les méthodes qui seront utilisées dans le cadre de la collecte de données, sont donc déterminés conjointement par l’équipe d’évaluation et les parties prenantes et reposent majoritairement sur des méthodes qualitatives.
L’évaluation sans objectifs
L’évaluation sans objectifs, proposée par Michael Scriven (1973), nous permet d’évaluer les effets d’un programme sans trop s’attarder à ses composantes. Dans le cadre d’une évaluation sans objectifs, l’équipe d’évaluation ne connaît pas, a priori, les résultats visés par le programme. Contrairement à l’évaluation axée sur la théorie, l’évaluation sans objectifs explore les effets généraux du programme sur la population cible sans idée préconçue de ce que l’on devrait trouver sur le terrain. Cette approche permet donc d’identifier les résultats non-escomptés positifs et négatifs du programme. Évidemment, il n’est pas possible de mener ce type d’évaluation à l’interne, parce qu’on connaît habituellement l’organisation et ses buts.
L’évaluation démocratique délibérative
Les auteurs de l’évaluation démocratique délibérative, Ernest House et Kenneth Howe (1999), préconisent le respect de trois grands principes : l’inclusion, qui vise à tenir compte des intérêts de toutes les parties prenantes tout au long de l’évaluation, le dialogue, défini comme un processus continu au cours duquel les intérêts, les opinions et les idées des parties prenantes sont identifiés au cours de l’évaluation, et la délibération, qui vise une réflexion approfondie de la part de l’équipe d’évaluation et des parties prenantes sur les résultats de l’évaluation, afin d’élaborer des conclusions conjointes, qui permettent de tenir compte des valeurs et préférences de toutes ces personnes. Cette approche, qui ressemble à d’autres approches constructivistes comme l’évaluation sensible, vise donc à inclure tous les points de vue dans le processus d’évaluation, afin d’arriver à produire des constats et recommandations auxquels toutes les parties prenantes peuvent adhérer.
Encadré 4.4 Exemple d’une évaluation démocratique délibérative
Dans un exemple de l’évaluation démocratique délibérative, on cherchait à évaluer la mise en œuvre d’un programme d’enseignement bilingue (espagnol et anglais) pour les élèves qui viennent d’immigrer au Colorado. Ces élèves parlent seulement l’espagnol jusqu’à leur entrée à l’école, et l’objectif d’un programme vise à intégrer l’anglais graduellement dans l’enseignement. Il s’agit cependant d’un programme controversé qui fait régulièrement l’objet de poursuites juridiques, où les émotions prennent souvent la place d’arguments raisonnés et probants. On reproche notamment à l’école de tenter, par l’entremise du programme, d’assimiler les jeunes hispanophones en leur retirant le droit de parler et d’apprendre en espagnol auprès des membres de leur communauté. Compte tenu de ce contexte tendu, l’équipe d’évaluation a opté pour une évaluation démocratique délibérative, qui implique à la fois les élèves et leurs familles, le personnel enseignant, ainsi que les membres de la communauté hispanophone impliqués dans les poursuites judiciaires. Pour recueillir les données, d’anciennes directions d’école hispanophones ont été engagées parce qu’elles sont à l’aise en espagnol et elles connaissent bien le milieu dont sont issus les élèves. Ces directions ont donc pu obtenir la confiance des parties prenantes plus aisément que les membres de l’équipe d’évaluation, qui n’étaient pas issus de ce milieu. L’adoption de cette approche axée sur le dialogue et la communication a permis de réduire l’ampleur du problème et a contribué à réduire les tensions dans la communauté.
Les approches pragmatiques
Le tableau suivant résume certaines approches fondées sur le cadre théorique du pragmatisme, qui privilégie l’utilisation de l’évaluation.
Tableau 4.4. Les approches fondées sur le pragmatisme
Approche | Démarche | Objectifs principaux |
Évaluation axée sur l’utilisation | Implique davantage les utilisateurs attendus
Définit leurs besoins informationnels auxquels l’évaluation tentera de répondre |
Vise à favoriser l’utilisation de l’évaluation en impliquant les utilisateurs attendus |
Évaluation participative pratique | Les parties prenantes contribuent activement à toutes les étapes de la démarche
Cette participation leur permet de comprendre comment l’évaluation peut contribuer à leur prise de décision Les évaluateurs jouent à la fois le rôle d’enseignants et d’évaluateurs |
Vise à favoriser l’utilisation de l’évaluation en impliquant directement les parties prenantes
Les résultats de l’évaluation sont plus pertinents en raison de l’implication continue des parties prenantes |
Évaluation évolutive | L’évaluateur fait partie de l’équipe de conception du programme et fournit des données pour appuyer la prise de décisions sur le programme et ses dimensions | Vise à informer le développement d’un nouveau programme en temps réel |
L’évaluation axée sur l’utilisation
L’évaluation axée sur l’utilisation a pris énormément d’envergure depuis les années 1990, celle-ci tente de réunir les personnes qui utilisent les résultats de l’évaluation et l’équipe d’évaluation afin d’optimiser la mise en œuvre des recommandations qui seront issues de l’évaluation. Michael Quinn Patton, l’un des fondateurs de l’évaluation contemporaine, est à l’origine de cette approche pragmatique. Dans sa propre pratique, Patton a constaté, au fil des ans, que les rapports d’évaluation tendent à être peu utilisés, souvent parce que les informations qu’ils contiennent ne contribuent pas aux décisions que doivent prendre les gestionnaires et autres parties prenantes des programmes évalués. Patton tente donc, avec cette approche, de résoudre ce problème d’utilisation en impliquant directement les personnes qu’il qualifie « d’utilisateurs principaux » (habituellement les gestionnaires des programmes) dans le processus d’évaluation, du début à la fin. Il leur demande, par exemple, d’identifier leurs besoins informationnels afin de produire des questions d’évaluation qui reflètent leurs intérêts et les décisions qui doivent être prises au sujet du programme. Il leur demande aussi comment elles désirent recevoir les constats et recommandations de l’évaluation, à quelle fréquence, etc. Ainsi, peu importe les méthodes de recherche employées (Patton adopte une perspective très pragmatique à ce sujet), l’équipe d’évaluation a pour objectif de fournir des informations utiles et utilisables, qui sont aussi fiables et qui arrivent à un moment propice. Il n’est pas question, ici, de produire un long rapport d’évaluation très technique qui arrive après la prise de décisions.
L’évaluation participative pratique
L’évaluation participative pratique se situe dans le paradigme pragmatique et découle des écrits de Michael Quinn Patton (2002) sur l’évaluation axée sur l’utilisation. Cette approche particulière mérite d’être signalée ici en raison de sa popularité et de son impact sur le monde de l’évaluation depuis le début des années 2000. Elle vise principalement à réduire la distance entre l’équipe d’évaluation et les parties prenantes en invitant celles-ci à participer activement à toutes les étapes de l’évaluation. Il est important de retenir, que dans le cadre de cette approche, l’équipe d’évaluation joue à la fois des rôles reliés à l’enseignement, l’encadrement et l’évaluation tout au long de l’étude. Parmi les activités d’évaluation qui peuvent être réalisées par les parties prenantes, nous comptons l’identification des questions d’évaluation, la collecte de données, l’analyse et l’interprétation des résultats. L’évaluation participative pratique, telle que définie par Cousins et Whitmore (1998) permet de réaliser des évaluations plus pertinentes, qui répondent aux interrogations des intervenants principaux (tels les gestionnaires des programmes évalués).
L’évaluation évolutive ou développementale
L’évaluation évolutive ou développementale a été conçue par Patton (2002) dans sa poursuite d’évaluations utiles et ciblées aux besoins des gestionnaires des programmes. Cette approche vise à guider le développement de programmes novateurs, complexes, dynamiques, et imprévisibles. Elle intègre les membres de l’équipe d’évaluation à l’équipe de conception du programme afin de leur fournir une rétroaction permanente et continue. Il s’agit donc d’une approche participative qui est adoptée au début du cycle de vie du programme plutôt qu’à la fin, où l’équipe d’évaluation est appelée à rendre compte de la complexité d’une innovation en produisant de nouvelles connaissances en temps réel.
L’évaluation évolutive, ou développementale, est de plus en plus employée pour appuyer la conception et la mise en oeuvre de nouveaux programmes. L’article de Turcotte et ses collègues (2021) met en relation les fondements de l’évaluation évolutive et les pratiques actuelles au Québec.
Les approches basées sur la transformation sociale
Afin de répondre aux questions d’inégalité sociale, de nouvelles approches évaluatives ont été développées et permettent de cibler l’émancipation de groupes marginalisés. Quelques-unes de ces approches sont présentées au tableau suivant.
Tableau 4.5. Approches évaluatives basées sur la transformation sociale
Approche | Démarche | Objectifs principaux |
Évaluation axée sur la culture | Évaluation qui répond aux besoins d’un groupe particulier en tenant compte des aspects culturels (par ex., évaluation en milieu autochtone, évaluation féministe) | Vise à réduire les inégalités entre les évaluateurs et les parties prenantes en adaptant les pratiques évaluatives
Vise à exposer la discrimination systématique |
Évaluation axée sur le pays | Les pays en voie de développement réalisent leur propres évaluations avec des évaluateurs externes en appui
Les pays qui reçoivent de l’aide humanitaire sont en mesure d’évaluer dans le respect de la culture et des personnes |
Vise à renforcer les capacités en évaluation des pays en voie de développement |
Évaluation émancipatrice | Implication des parties prenantes à toutes les étapes de l’évaluation
Les parties prenantes apprennent à évaluer et font l’acquisition de nouvelles compétences |
Vise l’émancipation ou le renforcement des capacités des groupes marginalisés |
L’évaluation axée sur la culture
Cette approche évaluative cherche à faire ressortir des motifs de discrimination systémique basée sur la race, l’ethnicité, ou toute autre caractéristique personnelle dans la prestation de services à diverses communautés culturelles. Il s’agit donc d’une approche qui transcende toutes les questions méthodologiques et qui se situe d’emblée dans une perspective de transformation sociale. En d’autres mots, l’évaluation axée sur la culture tient compte des caractéristiques de la diversité qui peuvent influencer la démarche évaluative et les questions qui y sont associées. Elle permet aussi l’intégration de pratiques culturelles reconnues au cœur même de la démarche évaluative.
Briser les barrières par les approches évaluatives adaptées à la culture
Les approches évaluatives adaptées à la culture (voir chapitre 4) tentent d’établir un pont entre l’équipe d’évaluation et toutes les parties prenantes en tenant compte de la diversité qui peut exister au sein du groupe. En portant une attention particulière à cette diversité et aux tensions qui peuvent en résulter, les responsables de l’évaluation visent à atténuer les malentendus et à encourager l’expression de perspectives différentes. Selon Chouinard et Cousins (2018), les approches adaptées à la culture, dont l’évaluation participative, permettent d’augmenter la validité et la pertinence des résultats de l’évaluation ; elles consolident la compétence culturelle des responsables de l’évaluation en plus de contribuer au renforcement des capacités locales et à la justice sociale.
Les équipes d’évaluation engagées dans une démarche évaluative adaptée à la culture sont ouvertes aux autres et sont prêtes à réfléchir à leurs propres valeurs. Elles tentent, dès le départ, d’acquérir une plus grande connaissance de la communauté et de son contexte historique et culturel. Elles exposent, de manière lucide, les différences dans les relations de pouvoir au sein de la communauté ainsi que parmi les parties prenantes afin d’encourager le partage et l’habilitation.
Chouinard et Cousins (2018) proposent un cadre conceptuel visant à positionner la culture dans l’évaluation. Le cadre présente des questions clés qui peuvent guider l’analyse ainsi que les impacts méthodologiques potentiels de cette approche. Par exemple, d’un point de vue méthodologique, les responsables de l’évaluation devraient se pencher sur la comptabilité entre les méthodes choisies et la culture locale et les besoins de la population. Ils devraient également se questionner quant aux points de vue les plus représentés dans l’évaluation (par qui et comment?) et quant à ceux qui en sont exclus. Cette prise de conscience leur permettra ensuite de s’assurer que les approches méthodologiques retenues respectent les connaissances et le vécu des parties prenantes, et leur permettront de développer un processus transparent pour favoriser l’inclusion.
Au Canada, la Commission de vérité et de réconciliation a produit un rapport témoignant des expériences des personnes ayant survécu aux pensionnats et à leurs familles. Ce rapport contient des recommandations concrètes visant à rétablir la relation entre le Canada et les peuples autochtones. Suite à ces recommandations, plusieurs agences de santé et de services sociaux ont adapté leurs programmes aux besoins des communautés autochtones. Ces adaptations ont mené à la reconnaissance qu’il est aussi nécessaire d’adapter les cadres d’évaluation à la culture et aux besoins des communautés autochtones. Un article publié par Kopp et ses collègues (2021) décrit un cadre d’évaluation des programmes autochtones fondé sur les enseignements nêhiyaw (cris) et co-créé par les aînés et les gardiens du savoir. Les auteurs utilisent un exemple illustratif pour démontrer comment un cadre d’évaluation de programme autochtone bien développé mène à une collecte de données, une évaluation et des recommandations plus complètes, précises et significatives.
L’évaluation axée sur le pays
L’évaluation axée sur le pays vise les pays en développement et s’inscrit dans une perspective de renforcement des capacités locales en matière de gouvernance et de gestion. Cette approche évaluative reconnaît que les programmes de développement international doivent être évalués sur le terrain par les personnes qui y habitent. En effet, les agences internationales envoient habituellement des équipes d’évaluation sur place afin d’évaluer leurs programmes ; bien que ces personnes connaissent habituellement le contexte particulier dans lequel le pays se trouve, elles ne parlent pas toujours la ou les langues des parties prenantes et ne connaissent pas toujours les enjeux locaux. Ainsi, leurs interprétations ne sont pas nécessairement les mêmes que celles des pays qui reçoivent l’aide. L’évaluation menée par un pays vise donc à renforcer les capacités locales en encourageant la participation de personnes qui peuvent représenter le pays bénéficiaire, dans le but éventuel d’être en mesure d’évaluer ces interventions directement, sans l’appui d’une équipe externe.
L’évaluation émancipatrice
Cette approche évaluative rejoint en partie l’évaluation participative pratique. Cependant, celle-ci vise en particulier le renforcement des capacités des personnes plus vulnérables. Ainsi, l’évaluation participative émancipatrice a pour objectif la justice sociale par l’entremise de l’implication des bénéficiaires des programmes, plutôt qu’un objectif qui vise principalement l’utilisation de l’évaluation par les gestionnaires. Ainsi, les parties prenantes qui adhèrent à la démarche évaluative peuvent, à la fois, faire ressortir les injustices inhérentes au programme évalué, ainsi que développer leurs propres compétences en matière de collecte de données et d’analyse. Ces nouvelles compétences leur permettraient de mieux revendiquer leurs droits, et dans certains cas, leur permettraient aussi de sortir d’une situation personnelle ou professionnelle difficile.
L’évaluation fondée sur l’analyse comparative entre les sexes plus (ACS+)
L’analyse comparative entre les sexes (ACS+) est une approche rigoureuse pour considérer les implications possibles de facteurs identitaires comme le genre, l’âge ou l’ethnicité sur l’équité dans les programmes et les politiques. L’intégration de l’ACS+ à l’évaluation permet de déceler les obstacles systémiques auxquels font face certains groupes dans les programmes et les politiques actuels et de formuler des recommandations afin de les réduire et de les éliminer. Les évaluateurs qui œuvrent au sein du Gouvernement du Canada, par exemple, sont fortement encouragés à produire une analyse ACS+ avant de planifier leurs démarches d’évaluation. Un document préparé par le Secrétariat du Conseil du Trésor du Canada (2019) présente en détail les étapes pour intégrer l’analyse ACS+ dans l’évaluation. Nous en discutons davantage au chapitre 11.
Conclusion
Les quatre cadres théoriques ainsi que les nombreuses approches présentées dans ce chapitre peuvent mener à confusion, surtout lorsque vient le moment de planifier une évaluation. Le choix du cadre et de l’approche dépend de quelques facteurs.
- Premièrement, vos propres préférences orienteront le choix de l’approche. Par exemple, un évaluateur très préoccupé par des questions de justice sociale ne choisirait pas une approche postpositiviste.
- Ensuite, il est essentiel de déterminer l’objectif principal de l’évaluation. Pourquoi vous a-t-on demandé de réaliser une évaluation du programme ? À quelles fins servira-t-elle?
- Finalement, vous devez explorer le contexte organisationnel et social du programme. Qui sont les bénéficiaires et les parties prenantes du programme ? Ces personnes seraient-elles en mesure de participer à l’évaluation ? Si oui, comment ?
La formulation de réponses claires à ces questions vous permettront de faire des choix éclairés quant au cadre théorique et à l’approche évaluative qui seront privilégiés dans une démarche évaluative. Ces informations vous permettront aussi de bien justifier ces choix et de vous assurer que l’évaluation répondra véritablement aux besoins des parties prenantes et de l’organisation.