11 Enjeux contemporains et débats actuels

La pratique évaluative s’inscrit dans un contexte social en constante évolution. Comme nous avons pu le voir tout au long de cet ouvrage, divers cadres théoriques et approches évaluatives ont vu le jour afin de mieux adapter la pratique évaluative à cette évolution. C’est en reconnaissant la complexité de notre monde qu’il devient possible de l’appréhender, et surtout, de l’améliorer. La communauté d’évaluation continue à élaborer de nouvelles approches afin de mieux adapter sa pratique au contexte présent. Ce chapitre vise donc à introduire certaines tendances actuelles en évaluation qui s’ajoutent à la panoplie de cadres théoriques et d’approches évaluatives dont nous nous servons déjà.

La justice sociale et l’évaluation

L’une des principales tendances actuelles dans le domaine de l’évaluation est l’accent mis sur la justice sociale (voir Encadré 11.1 ci-dessous pour une définition complète du concept). La justice sociale sert de fondement à plusieurs approches présentées dans ce chapitre, telles que l’évaluation féministe, l’évaluation adaptée à la culture et l’évaluation en contexte autochtone. Bien que chacune de ces approches possède ses propres objectifs et méthodes, elles ont pour but d’identifier les injustices sociales subies par certains groupes. Pour ce faire, elles accordent une attention particulière à toutes les parties prenantes, mais en particulier aux groupes marginalisés. En intégrant les voix de ces groupes, ces approches évaluatives permettent de mieux appréhender leurs besoins et de détecter les lacunes dans les programmes et les politiques. Elles favorisent également la co-création de processus et de résultats axés sur l’équité et le changement social. Pour ce faire, ces approches adoptent généralement une perspective critique face aux évaluations issues du paradigme post-positiviste (Thomas et Madison, 2010). Elles remettent donc en question les structures et les oppressions que peuvent générer les évaluations traditionnelles.

L’approche Blue Marble pour le développement durable

Le développement durable est une conception du développement qui prend en compte le caractère indissociable des dimensions environnementales, sociales et économiques dans la planification et la mise en œuvre de politiques et de programmes. L’évaluation fournit des informations essentielles sur l’efficacité des programmes à tenir compte des différentes dimensions du développement durable, et à contribuer à garantir que les ressources sont utilisées de manière efficace et efficiente pour atteindre les cibles. L’approche Blue Marble de Patton est fondée sur l’idée que les programmes doivent être évalués non seulement pour leur efficacité à atteindre leurs objectifs, mais aussi pour leur impact plus global sur l’environnement, la justice sociale et le bien-être. Ainsi, les personnes ferventes de cette approche évaluative prennent une position claire en faveur du développement durable. Le Blue Marble s’appuie sur quatre principes interreliés:

1. Le principe de la pensée globale (Global Thinking Principle) qui témoigne de la nécessité de prendre en compte le contexte global et systémique des programmes, incluant leurs conséquences intentionnelles et non intentionnelles sur le développement durable à l’échelle tant locale, régionale que mondiale.
2. Le principe de l’anthropocène comme contexte (Anthropocene as Context Principle) qui reconnaît la responsabilité des activités humaines sur les défis actuels en matière de développement durable et notre devoir d’agir pour les résoudre.
3. Le principe d’engagement transformateur (Transformative Engagement Principle) qui souligne la nécessité pour les responsables de l’évaluation de s’engager avec les parties prenantes d’une manière transformatrice, participative et culturellement sensible.
4. Le principe d’intégration (Integration Principle) qui met l’accent sur la nécessité d’intégrer l’ensemble des principes précédents pour agir de façon cohérente et durable.

Les personnes intéressées par cette approche novatrice combinant l’évaluation et le développement durable peuvent en apprendre davantage sur le site web du Blue Marble Evaluation. Ce site, pour l’instant en anglais uniquement, contient de nombreuses ressources gratuites, dont des études de cas, des webinaires enregistrés, des forums de discussion et une communauté de pratique en ligne.

En matière de stratégies d’interventions en développement international, l’Agenda 2030 pour le développement durable des Nations unies présente un cadre de résultats incluant 17 objectifs de développement durable (ODD) et 169 cibles à suivre et évaluer afin de mesurer les effets des programmes, des projets ou des stratégies nationales de développement. Le cadre permet surtout de cerner les effets des actions menées sur les populations cibles, de renforcer les capacités d’agir en visant des secteurs précis et contribue également à la transparence ainsi qu’à une reddition de comptes aux gouvernements et bailleurs de fonds. Les évaluations du développement doivent servir à mesurer les cibles grâce à des indicateurs SMART (simples, mesurables, atteignables, réalistes et limités dans le temps). Pour en savoir davantage, plus d’informations sont disponibles sur le site des Nations unies, ou encore dans le livre sur l’Évaluation en contexte de développement sous la direction de Rey, Quesnel et Sauvain.

L’évaluation féministe

L’évaluation féministe fait partie des approches évaluatives axées sur la transformation sociale. Cette approche existe depuis plusieurs années mais demeure tout de même moins connue que d’autres approches émancipatrices. L’évaluation féministe ne préconise pas un cadre conceptuel ou une approche évaluative particulière; elle fournit plutôt une orientation générale à partir de laquelle on peut développer un cadre d’évaluation. Cette orientation peut être décrite concrètement à l’aide des principes suivants :

1. La connaissance est culturellement, socialement et temporellement contingente. Pour les évaluatrices féministes, le savoir est profondément lié à un moment, un lieu et un contexte social ; il incombe aux praticiens de reconnaître comment ces connaissances sont situées.
2. La connaissance est une ressource puissante qui sert un objectif explicite ou implicite. Les personnes qui réalisent la collecte des données d’évaluation en sont les gardiennes et déterminent en grande partie comment ces données seront interprétées et utilisées.
3. L’évaluation est une activité politique ; les expériences personnelles, les perspectives et les caractéristiques des praticiens proviennent et conduisent à des positions politiques particulières. Les contextes dans lesquels les évaluations ont lieu sont politisés et imprégnés de relations de pouvoir asymétriques qui influencent la démarche évaluative et ses résultats.
4. Les méthodes, institutions et pratiques de recherche sont des constructions sociales. En tant que constructions sociales, les évaluations sont les produits de leur culture et de leur époque, y compris les idéologies, théories, traditions universitaires et perspectives dominantes au moment de leur réalisation.
5. Il existe de multiples façons de connaître. La théorie féministe suggère que des modes de connaissance particuliers sont privilégiés par rapport à d’autres par les détenteurs du pouvoir. L’évaluation féministe préconise l’utilisation de divers modes de connaissance.
6. L’inégalité entre les sexes est une manifestation de l’injustice sociale. La discrimination traverse les frontières de la race, de la classe sociale et de la culture et est inextricablement liée à ces trois éléments. La prise de conscience et l’attention portée aux inégalités entre les sexes constituent un point de départ pour une compréhension plus approfondie des multiples effets de la discrimination et des dynamiques de pouvoir existantes.
7. La discrimination fondée sur le sexe est systémique et structurelle. Le terme sexe renvoie aux attributs biologiques, c’est-à-dire les caractéristiques physiques et physiologiques retrouvées chez les humains.La discrimination fondée sur le genre (comme d’autres formes de discrimination) est perpétuée par des normes sociales qui façonnent et limitent les possibilités par le biais des politiques, des pratiques et des structures des institutions sociales. Les pratiques discriminatoires sont tellement ancrées dans les structures et les systèmes qu’elles ne sont pas faciles à reconnaître. Les problèmes structurels et systémiques nécessitent des solutions structurelles et systémiques.
8. L’action et le plaidoyer sont considérés comme des réponses moralement et éthiquement appropriées d’une évaluatrice féministe engagée. L’action et le plaidoyer peuvent prendre de nombreuses formes, de la diffusion stratégique des résultats à l’engagement dans des activités visant à modifier l’équilibre du pouvoir. Les décisions sur le niveau approprié de plaidoyer et d’action doivent être prises en relation avec les parties prenantes.

L’analyse comparative entre les sexes plus (ACS+)

En plus de l’évaluation féministe, on entend beaucoup parler de l’analyse comparative entre les sexes plus (ACS+). Ce processus d’analyse permet d’évaluer les répercussions potentielles des politiques, des programmes ou des initiatives sur des groupes divers, tels que les femmes. Il permet aussi d’intégrer d’autres marqueurs identitaires dans une perspective d’intersectionnalité, comme la race, l’ethnicité, la religion, l’âge ou les capacités mentales ou physiques.

Bien que l’ACS+ ne soit pas une approche évaluative proprement dite, il convient de la présenter dans ce chapitre parce qu’elle est de plus en plus intégrée aux démarches évaluatives. En effet, les évaluations devraient, entre autres, déterminer dans quelle mesure le sexe et les autres facteurs identitaires sont pris en compte dans la conception et la prestation des programmes, et quels effets peuvent être associés à certains groupes identitaires. Ainsi, ce type d’analyse permet d’identifier les préjugés et les stéréotypes relatives à l’égalité entre les sexes, la race et l’orientation sexuelle qui sous-tendent certains programmes, ainsi que les obstacles qui préviennent la participation de certains groupes aux programmes et les obstacles systémiques liés à l’inégalité entre les sexes. Les résultats d’une ACS+ permettent donc d’améliorer les interventions afin de les rendre plus accessibles pour tous et de comprendre leur impact sur certains groupes particuliers. Un guide élaboré par le gouvernement du Canada fournit plusieurs exemples d’ACS+ et de la manière dont elle peut être intégrée à une démarche évaluative.

L’évaluation adaptée à la culture et en contexte autochtone

Les approches occidentales en matière d’évaluation cherchent en général à rendre compte de l’efficacité, l’efficience ou de la pertinence des programmes par le biais de méthodes dites neutres et objectives. Puisqu’elles cherchent à répondre aux besoins des demandeurs d’évaluation, il est possible qu’elles ne tiennent pas nécessairement compte des différences culturelles et qu’elles ne reflètent pas les expériences et les perspectives des membres de la communauté. Les approches d’évaluation adaptées à la culture (culturally responsive evaluation) ainsi que les approches d’évaluation autochtones (Indigenous evaluation) donnent la priorité à l’engagement avec les membres des groupes concernés et à l’adaptation des méthodes d’évaluation pour correspondre aux besoins et aux préférences uniques de la communauté évaluée. Les équipes d’évaluation sont amenées à considérer comment le colonialisme, la dynamique des privilèges-marginalisation et les inégalités influencent le processus d’évaluation et la validité des résultats de l’évaluation.

Les approches d’évaluation adaptées à la culture mettent l’accent sur l’importance d’adapter les méthodes d’évaluation pour qu’elles soient culturellement appropriées et respectueuses des diverses normes et valeurs culturelles d’un ou plusieurs groupes. Cette approche reconnaît que la conscience culturelle est essentielle pour que les résultats de l’évaluation soient pertinents, crédibles et valides. Cette approche peut exiger un engagement avec des parties prenantes d’origines culturelles variées, d’utiliser des méthodes culturellement appropriées et de promouvoir l’équité et la justice sociale. Anderson et collab. (2022) ont conçu un cadre conceptuel pour guider les responsables de l’évaluation dans la planification et la mise en œuvre d’évaluations adaptées à la culture. De même, Chouinard et Cram (2020) proposent un ouvrage incontournable qui explore ces approches, en mettant en lumière des études empiriques issues de trois domaines culturels de la pratique d’évaluation: occidental, autochtone et développement international. Grâce à une analyse comparative, elles offrent des pistes pour améliorer les pratiques d’évaluation et tracent un programme pour alimenter la recherche sur le sujet.

Les approches autochtones en matière d’évaluation, quant à elles, sont spécifiquement conçues pour répondre aux besoins et aux perspectives uniques des communautés autochtones. Elles sont fondées sur les connaissances traditionnelles et la vision holistique du bien-être et de la spiritualité des peuples autochtones, et mettent l’accent sur la participation et le renforcement des communautés impliquées. Ces approches font appel à la narration, aux méthodes d’évaluation axées sur la conversation, aux cercles de partage ou à l’utilisation de symboles dans la collecte et l’analyse des données. Le guide élaboré par Bremner et collab.(2020) présente les principes et les méthodes d’évaluation issues des approches autochtones en matière d’évaluation.

La pensée évaluative

La pensée évaluative est liée au concept de « pensée critique » qui existe depuis plusieurs siècles et décrit par Socrate, Dewey, House et Freire. La pensée critique décrit l’importance de rechercher des preuves, d’examiner de près le raisonnement et les hypothèses, d’analyser les concepts de base et de déterminer les conséquences non seulement de ce qui est dit mais aussi de ce qui est fait (Patton, 2018).

Les écrits de House et Howe (2002) sur l’évaluation démocratique délibérative tissent un lien entre la pensée critique et le domaine de l’évaluation, en priorisant trois principes directeurs : l’inclusion des perspectives et points de vue de toutes les parties prenantes dans la démarche évaluative, le dialogue continu entre les évaluateurs et les parties prenantes et la délibération par toutes les parties intéressées afin de coconstruire les résultats de l’évaluation. Une participation comme celle envisagée par House et Howe exige donc des parties prenantes qu’elles soient en mesure d’appliquer une pensée critique non seulement à l’objet de l’évaluation (le programme ou l’intervention), mais aussi à la démarche évaluative elle-même.

Au fil des ans, les écrits portant sur le développement de la pensée critique en évaluation ont mené à des écrits portant sur le développement de la pensée évaluative. Ce concept, qui a pris de plus en plus d’ampleur au cours des dix dernières années, est lié de près au renforcement des capacités en évaluation et cible l’ensemble des membres d’une organisation.

Définitions de la pensée évaluative

Buckley, Archibald, Hargreaves et Trochim (2015) expliquent que plusieurs définitions de la pensée évaluative ont été avancées dans les écrits scientifiques et dans la littérature grise. La pensée évaluative peut, par exemple, être un synonyme pour l’utilisation du processus, un terme développé par Patton (1997) pour décrire les nouvelles compétences acquises par les parties prenantes au cours d’une évaluation et qui peuvent ensuite être appliquées à d’autres activités professionnelles ; elle peut aussi référer à une pratique professionnelle réflexive ; ou encore, à la capacité et la volonté individuelle et/ou organisationnelle de poser un regard évaluatif sur les activités d’une organisation.

Ces définitions demeurent toutefois imprécises et touchent à des domaines distincts, tels que les attitudes relatives à l’évaluation et les pratiques évaluatives mises en œuvre dans les organisations. Buckley et al. (2015) synthétisent ces domaines et les définitions précédentes et présentent une définition complète de la pensée évaluative (traduction) :

La pensée évaluative est une pensée critique appliquée dans le contexte de l’évaluation, motivée par une attitude de curiosité et une croyance en la valeur des preuves. Cela implique d’identifier les hypothèses, de poser des questions mûrement réfléchies, de chercher une compréhension plus approfondie par la réflexion et la prise de perspective, et d’éclairer les décisions en vue de l’action.

Bien que cette définition offre une vision plus succincte de la pensée évaluative, Vo et Archibald (2018) nous préviennent qu’il ne s’agit pas d’une définition unique du concept, mais bien d’une synthèse d’autres définitions qui pourraient aussi être utiles dans certains contextes.

Cadre conceptuel de la pensée évaluative

Plus récemment, Vo, Schreiber et Martin (2018) ont proposé un cadre conceptuel de la pensée évaluative, fondé sur une revue systématique de la littérature. Ces auteurs ont identifié quatre domaines principaux de la pensée évaluative :

• Les valeurs, c’est-à-dire les normes sociétales et disciplinaires qui servent de catalyseurs à l’évaluation.
• La cognition, qui concerne le processus de réflexion interne, ainsi que les normes culturelles qui guident la manière dont chaque organisation (ou groupe) s’engage dans une évaluation.
• L’application, qui concerne la réalisation de l’évaluation ou l’utilisation de méthodes pour recueillir des données et effectuer des analyses qui ont pour but de produire des résultats d’évaluation.
• L’attribution d’une valeur, c’est-à-dire le jugement porté par l’évaluateur par rapport au mérite, à la signification, ou à l’importance de l’objet de l’évaluation (un programme ou une intervention).

Ce cadre conceptuel nous permet de mieux saisir les divers éléments de la pensée évaluative et comment ils interagissent entre eux. En effet, les valeurs et l’attribution d’une valeur, selon les auteurs, fournissent un ancrage conceptuel duquel dépendent ensuite les deux autres dimensions. Ainsi, les valeurs sociétales et disciplinaires orientent la pratique évaluative, qui comprend aussi certains éléments de cognition, et qui prend forme au cours de l’application. Cette démarche permet enfin à l’évaluateur d’attribuer une valeur à l’objet de l’évaluation, selon les données probantes recueillies et son interprétation des résultats.

Finalités de la pensée évaluative

Outre les effets directs de la pensée évaluative sur les processus organisationnels, plusieurs écrits décrivent comment elle peut contribuer à l’établissement d’une société plus démocratique en permettant à la « vérité en contexte » d’être connue et débattue. L’importance de recueillir des points de vue diversifiés et d’encourager les parties prenantes à contribuer à l’évaluation permet donc de produire des évaluations crédibles, qui peuvent à leur tour influencer la prise de décisions et les conversations qui ont lieu à tous les niveaux de la société.

Conclusion: un regard tourné vers l’avenir

La pratique évaluative, bien qu’elle soit fondée sur une démarche reconnue, peut prendre plusieurs formes selon le contexte et les besoins des communautés, des organisations et des individus. Dans ce chapitre, nous avons abordé certaines tendances actuelles qui influencent les théories et les pratiques évaluatives. Ces tendances portent généralement sur l’amélioration des conditions dans lesquelles se retrouvent les personnes et les groupes vulnérables de nos sociétés. Henry, Mark et Julnes (1999) réfèrent au concept de « social betterment » pour exprimer cet objectif, repris plus tard par King (2019), qui note que ce concept pourrait aussi avoir des connotations négatives. Elle privilégie plutôt l’expression « justice sociale », qui reflète les valeurs collectives de la communauté évaluative et comprend aussi la justice raciale et la justice économique.

Nous observons donc une évolution du domaine de l’évaluation depuis ses débuts dans la période d’après-guerre. L’évaluation vise toujours à déterminer le mérite et la valeur des interventions par une approche systématique et empirique – cependant, chacun de ces éléments peut faire l’objet d’une réflexion plus approfondie qu’auparavant. Les évaluateurs et les évaluatrices se doivent désormais de réfléchir longuement aux questions suivantes : qui détermine les critères par lesquels le mérite de l’intervention sera évalué? Qui ne fait pas partie de cette conversation et comment le choix des critères peut-il nuire à certains groupes ou individus? Quelles valeurs orientent l’évaluation et le choix d’un cadre théorique ou d’une approche évaluative? Comment ces choix influencent-ils les questions choisies et les résultats de l’évaluation? Qui fera partie de la démarche évaluative et quels rôles seront joués par les parties prenantes? La collecte de données reflète-t-elle la culture et les préférences des groupes et individus qui seront appelés à participer à l’évaluation? Les activités de collecte pourraient-elles causer du tort à ces personnes? Comment les résultats de l’évaluation seront-ils communiqués aux groupes et individus ciblés par l’intervention? Auront-ils l’occasion de se prononcer sur ces résultats?

C’est à l’aide de ces questions que les évaluatrices et les évaluateurs pourront sélectionner, en collaborant avec les autres parties prenantes, les moyens les plus appropriés de procéder, en respectant les groupes et individus prenant part à la démarche ainsi que toutes les personnes ciblées par le programme ou l’intervention. Les tendances actuelles et les pratiques qu’elles mettent en valeur fournissent des orientations utiles à cet égard, et continueront à se développer dans l’avenir.