Pourquoi parler de collecte et d’analyse de données en évaluation?

Après avoir ciblé les questions d’évaluation au chapitre précédent, la personne évaluatrice doit recueillir et analyser des données probantes pour y répondre. Ces données sont des informations empiriques qui constituent les éléments de preuve de l’évaluation. Ces preuves peuvent être de nature quantitative, qualitative, ou un mélange des deux.

Le choix des données à recueillir pour l’évaluation dépend toujours du type de programme à évaluer et d’autres contraintes comme le temps et les ressources disponibles pour réaliser l’évaluation. Ce chapitre est divisé en deux grandes sous-sections qui portent respectivement sur les données qualitatives et les données quantitatives.

Quelques définitions

Les méthodes de collecte des données réfèrent aux procédures et instruments qui nous permettent de recueillir l’information dont nous avons besoin pour répondre aux questions d’évaluation. Ces méthodes sont soit quantitatives, qualitatives, ou mixtes.

Les méthodes de collecte des données réfèrent aux procédures et instruments qui nous permettent de recueillir l’information dont nous avons besoin pour répondre aux questions d’évaluation. Ces méthodes sont soit quantitatives, qualitatives, ou mixtes.

Quand on parle des sources de preuve, il s’agit des personnes, des documents, ou des bases de données à partir desquelles les informations seront recueillies. Ainsi, la source de preuve ne constitue pas la méthode de collecte des données. Cela est une erreur que l’on voit fréquemment dans les rapports d’évaluation. En effet, la méthode retenue (par exemple, sondage, entretien, observation, recension, etc.) peut s’appliquer à l’une ou plusieurs sources de données. De plus, on peut recueillir des données auprès une source (par exemple, des employés) à l’aide de plusieurs méthodes de collecte différentes.

Types de données et méthodes

Il existe une variété de données qui peuvent être recueillies et les méthodes d’analyses peuvent être tout aussi variées. Les données qualitatives servent normalement à décrire et comprendre en profondeur un phénomène tandis que les données quantitatives visent à chiffrer ou mesurer l’ampleur ou les effets d’un phénomène. Le tableau ci-dessous résume certaines caractéristiques propres à chacun des types de données :

Tableau 6.1. Types de données

À la lumière des informations fournies dans ce tableau, nous pouvons comprendre qu’une méthode de collecte, par exemple l’observation directe, peut servir autant à l’analyse qualitative que quantitative. Peu importe que nous utilisions une méthode quantitative ou qualitative, l’une n’est pas plus appropriée ou meilleure que l’autre puisque la pertinence d’une méthode dépend toujours de l’indicateur retenu. Il est aussi possible de combiner des données qualitatives et quantitatives pour faire des analyses qui se retrouvent dans la catégorie « mixte ».

Les méthodes et les données qualitatives

Les méthodes qualitatives visent à recueillir des données descriptives qui permettent de décrire un phénomène social en détail.

Les méthodes qualitatives visent à recueillir des données descriptives qui permettent de décrire un phénomène social en détail. On vise donc la richesse des données plutôt que la collecte d’un grand nombre d’informations standardisées. Les méthodes principales pour la collecte des données qualitatives sont les entretiens, les groupes de discussion (ou entretiens de groupe) ou encore l’observation (active ou passive, participante ou non-participante). Les méthodes d’analyse de ces données sont tout aussi multiples et dépendent toujours des disciplines. On peut penser à :

• L’analyse de contenu;
• L’analyse thématique;
• L’analyse à l’aide de catégories conceptualisantes;
• L’analyse en mode écriture;
• La théorisation ancrée (Grounded theory).

Avec les données qualitatives, plutôt que de rechercher la généralisation d’un échantillon à une population comme on le ferait lors d’une analyse quantitative, on veut « transférer » nos résultats d’un cas à l’autre par l’entremise de principes directeurs ou de conditions. On cherche à démontrer la validité des conclusions par rapport aux observations qui sont faites, ainsi que la crédibilité de la personne évaluatrice et de son analyse. On utilise notamment la triangulation pour y parvenir. Cette notion de triangulation sera présentée plus loin.

Le chapitre 4 présente les cadres théoriques qui sous-tendent la pratique évaluative. Il faut savoir que les données qualitatives sont généralement co-construites par la personne qui réalise l’évaluation et les personnes participantes à cette évaluation, ce qui correspond aux approches constructiviste, pragmatique ou encore axées sur la transformation sociale. Par exemple, les données qualitatives privilégiées par les constructivistes devraient permettre de susciter des interactions et recueillir des données qui reflètent les perspectives et les besoins de toutes les personnes impliquées. L’approche pragmatique, pour sa part, s’intéresse aux perceptions et besoins des individus impliqués dans un programme, qui peuvent être recueillis à partir de données qualitatives provenant d’entretiens. Enfin, le paradigme de transformation sociale qui s’attarde à analyser certains systèmes de pouvoir (oppression, discrimination, injustice, etc.) requiert des méthodes qualitatives co-construites pour mieux cerner les expériences vécues et les perceptions des personnes marginalisées sur des sujets qui peuvent être sensibles. Encore une fois, des données recueillies lors de l’observation directe ou d’entretiens aident à bien documenter ce type d’expériences et les représentations individuelles.

Les méthodes qualitatives se distinguent par le fait que la collecte des données a lieu sur le terrain, et non à partir d’un bureau ou d’un laboratoire. Les données qualitatives peuvent également être recueillies de façon virtuelle. Effectivement, il est possible de faire des entretiens sur une plateforme numérique ou encore par téléphone. Lors de la collecte de données qualitatives, la personne évaluatrice interagit avec les personnes impliquées dans le programme, afin de bien comprendre leurs points de vue, ainsi que la complexité de leurs interactions.

Les sources de preuves

Les méthodes qualitatives nous permettent de décrire et comprendre des phénomènes et leurs contextes grâce à leurs descriptions riches et détaillées. Elles favorisent donc l’intégration de multiples points de vue et puisqu’elles sont basées sur les interactions, elles permettent aussi parfois d’aborder des sujets plus délicats, ou de réaliser une collecte de données auprès de personnes plus vulnérables.

Lors d’une évaluation où l’on utilise des données qualitatives, les sources de preuves les plus fréquemment sollicitées sont les suivantes :

• Les personnes qui représentent le programme ou l’organisation (gestionnaires, personnes employées, haute direction);
• Les bénéficiaires du programme ou partenaires externes;
• Les documents internes;
• La recherche (études et données publiées dans les domaines scientifique ou professionnel).

Les avantages et inconvénients des méthodes qualitatives

L’un des grands avantages des méthodes qualitatives est qu’elles sont beaucoup plus accessibles que les méthodes quantitatives. Cela a un avantage important en évaluation, où les résultats sont vulgarisés et communiqués à des responsables politiques, gestionnaires ou autres parties prenantes qui ne détiennent pas toujours une expertise en recherche sociale. Ainsi, les récits narratifs produits grâce à certaines méthodes qualitatives sont plus faciles à comprendre pour les personnes qui ne sont pas spécialistes, comparativement aux analyses statistiques. Un autre avantage est que les méthodes qualitatives permettent d’adapter la collecte de données en cours de route, ou lorsque la personne évaluatrice découvre des éléments non anticipés. On peut donc, par exemple, ajouter des questions lors d’un entretien semi-dirigé, si on souhaite explorer une dimension qui n’avait pas été prévue au départ. On pourrait également décider d’ajouter une méthode supplémentaire (entretiens individuels ou de groupe par exemple) après la fin de la collecte de données pour valider certaines conclusions.

Cependant, les méthodes qualitatives peuvent être très coûteuses à cause des séjours sur le terrain et du temps requis pour analyser toutes les données obtenues. Parfois, elles ont moins de crédibilité auprès des gestionnaires, qui les croient trop anecdotiques ou non scientifiques même si cela n’est pas du tout le cas. Finalement, ces méthodes ne permettent pas, hors de tout doute, d’isoler les facteurs spécifiques qui mènent à l’atteinte des résultats prévus d’une intervention. Il s’agit alors d’identifier la contribution du programme aux résultats observés, plutôt que de lui attribuer.

Types de méthodes qualitatives

Dans les prochaines sections, nous discuterons des méthodes qualitatives les plus utilisées en évaluation de programme, dont l’analyse documentaire, les entretiens et l’observation.

Analyse documentaire

L’analyse documentaire vise à extraire des données à partir de documents déjà rédigés comme des rapports, des procès-verbaux, des articles scientifiques, des lettres ou courriels ou d’autres communications écrites. Lors d’une évaluation, la personne évaluatrice peut demander l’accès à de la documentation interne et peut également consulter la documentation publique.

Avantages et inconvénients de l’analyse documentaire

Cette méthode de collecte comporte plusieurs avantages comme le fait qu’elle offre plus de flexibilité et de discrétion en n’impliquant pas directement les parties prenantes. Par ailleurs, la lecture de documents peut aider à se familiariser avec la terminologie employée par les parties prenantes. Elle est aussi utile pour confirmer ou infirmer des informations issues d’autres sources de données.

Cette méthode comporte aussi quelques inconvénients. Parfois, les documents peuvent s’avérer difficiles à lire ou à comprendre. On peut avoir de la difficulté à trouver et obtenir certains documents dont on a besoin, ce qui peut nuire au calendrier de l’évaluation ainsi qu’à la qualité des données recueillies. Cette méthode exige aussi des ressources considérables, puisque l’évaluateur doit consacrer beaucoup de temps à la lecture des documents et à la saisie des données. Finalement, les documents recensés peuvent être incomplets ou même contenir des erreurs, ce qui peut fausser les résultats de l’évaluation.

Processus d’analyse documentaire

Normalement, l’analyse documentaire se déroule en quatre étapes schématisées ci-dessous :

Figure 6.1. Démarche d’analyse documentaire

Définir le corpus

La première étape de la démarche vise à rassembler tous les documents qui feront partie de l’analyse; c’est ce que nous appelons le « corpus ». Afin de trouver ces documents, il faut définir les concepts ou mots clés qui seront utilisés pour fouiller dans les moteurs de recherche internet, les bases de données disponibles dans les bibliothèques, les archives ou d’autres endroits spécifiques où nous pourrions trouver de la documentation pertinente.

Préparer le registre des documents

Afin de bien organiser les documents constitutifs du corpus, on peut se doter d’un outil qui nous permet de saisir la référence de chacun des documents ainsi que nos décisions les concernant. Le registre des documents est une liste de tous les documents du corpus et de ce qu’ils contiennent. Il comporte la référence bibliographique complète de chaque document, un court résumé ou quelques notes suite à la lecture préliminaire, ainsi que les décisions quant à son inclusion ou exclusion du corpus. Il est souhaitable, pour chacun des documents, d’élaborer un identifiant alphanumérique qui permettra d’y référer plus rapidement.

Développer une grille d’analyse

La troisième étape de l’analyse documentaire constitue le développement d’une grille d’analyse. Celle-ci doit s’inspirer des questions d’évaluation ainsi que des indicateurs qui ont été préétablis. La grille servira à extraire des unités de sens ou groupes de mots dans les documents.

La grille peut être organisée avec des codes et des catégories. Les codes sont déterminés grâce aux indicateurs préalablement définis et peuvent aussi émerger pendant l’analyse de données. Ils aident à résumer les unités de sens avec des mots clés. Ces derniers peuvent décrire un processus, une émotion, une attitude, un comportement, etc. Les catégories, quant à elles, constituent des éléments permettant de répondre aux questions d’évaluation. Elles facilitent le regroupement de certains codes et peuvent représenter un thème, une cause, une explication, une relation, etc. Elles servent à déterminer des tendances générales.

La grille d’analyse peut être reproduite dans un logiciel d’analyse de données qualitatives pour faciliter le codage. Il en existe plusieurs, dont NVivo, QDA Miner et MAXQDA. Peu importe le logiciel utilisé, le principe est généralement le même. Il est aussi possible de réaliser l’analyse des données sans utiliser un logiciel spécifique. Chaque personne évaluatrice peut choisir la façon dont elle analysera les données du corpus.

Extraire les données

La dernière étape de l’analyse documentaire est l’extraction des données. Il est possible d’employer un chiffrier pour la grille de collecte, car cela permet l’inclusion d’un nombre illimité de lignes et de colonnes. Il est aussi préférable de noter qu’une seule unité de sens dans chacune des cases, quitte à répéter le nom du document sur plusieurs lignes. Cela facilitera la manipulation des données lors de leur classification et de leur analyse.

En utilisant un logiciel d’analyse de données qualitatives comme NVivo, on peut surligner et classifier les unités de sens dans les codes et catégories appropriées. Le logiciel fournira des informations sur les occurrences de certains thèmes et on pourra télécharger les données dans différents formats.

Une fois les données extraites, la grille d’analyse permet de les regrouper de manière à les répertorier et les synthétiser lors de l’analyse. Elle permet aussi de mettre de côté des informations moins pertinentes en donnant une vue d’ensemble des données recueillies. La classification des unités de sens s’effectue en partie lors de leur extraction, puisque chaque unité de sens est inscrite sous une question de recherche ou un indicateur.

Entretiens individuels ou de groupe

Les entretiens, aussi appelés entrevues, sont des interactions verbales qui se tiennent entre les personnes participantes à l’évaluation et la personne évaluatrice. On parle d’entretiens individuels quand on rencontre une seule personne, ou de groupes de discussion ou entretiens de groupe, lorsque la personne évaluatrice anime une discussion auprès de plusieurs personnes qui interagissent entre elles. Les entretiens peuvent avoir lieu en personne, par téléphone ou de façon virtuelle.

Le choix de recourir à un entretien individuel ou de groupe dépend toujours des questions d’évaluation et de la personne évaluatrice qui aura identifié, au préalable, les données à recueillir et les meilleures méthodes pour le faire.

Il est possible de classifier les entretiens individuels en différentes catégories. Lorsque la personne évaluatrice utilise un questionnaire qui contient des questions ouvertes, ce qui arrive dans la majorité des cas, il s’agit d’un entretien semi-dirigé. Dans le cas contraire, si elle préfère laisser libre cours au participant sans lui proposer de thèmes à aborder, il s’agit d’un entretien non-dirigé ou ouvert. Quant aux groupes de discussion, un guide d’entretien ouvert sert habituellement à animer la conversation et diriger les interventions des participants. Il est aussi possible de faire un entretien très structuré à l’aide d’un guide d’entretien fermé. Dans ce cas, cela s’inscrit dans ce que nous pourrions appeler un questionnaire administré oralement, qui serait employé lors d’une enquête par sondage.

Avantages et inconvénients des différents types d’entretiens

L’avantage des entretiens individuels et de groupe, c’est que la personne évaluatrice peut clarifier ses questions si la personne participante ne les comprend pas, ou peut même ajouter des questions en cours de route, si elle cherche certaines clarifications ou désire des détails supplémentaires. Il s’agit donc d’une méthode plus flexible que l’enquête par sondage, qui ne permet pas de modifications à l’instrument en cours de route. Un avantage spécifique aux entretiens de groupe est qu’ils permettent d’obtenir des opinions différentes afin d’éclairer des questions qui seraient plus complexes. Le fait de faire interagir des personnes ensemble peut permettre de faire émerger des informations ou des discussions qui n’auraient pas été possibles lors d’entretiens individuels.

L’inconvénient principal, c’est que l’évaluateur peut influencer les participants sans le vouloir, c’est-à-dire que les participants peuvent moduler leurs réponses en raison de la présence de la personne évaluatrice. De plus, les entretiens ne donnent souvent accès qu’aux perceptions et opinions des personnes participantes. Les réponses obtenues ne sont pas toujours claires et précises, et quelquefois, il est difficile de prendre de bonnes notes au cours d’un entretien. Enfin, lors des entretiens de groupe, on ne peut garantir l’anonymat des personnes. Certes, en début d’entretien, on avisera les personnes participantes que tout ce qui se dit pendant cette rencontre ne doit pas être divulgué à d’autres individus. Toutefois, l’équipe d’évaluation ne peut garantir la confidentialité de toutes les personnes impliquées.

La réalisation des entretiens

Pour réaliser des entretiens, on commence par identifier les individus ou les groupes qui seront invités. On prépare ensuite un guide d’entretien, qui contient des informations au sujet de l’évaluation en cours, les questions d’entretien spécifiques qui seront posées et un remerciement bref. Il est toujours préférable de valider son guide en demandant à quelques collègues de le lire et de le commenter, afin d’améliorer ou de clarifier la formulation des questions, et afin de s’assurer que les questions permettront de recueillir toutes les informations identifiées dans les indicateurs. Il est même recommandé de tester son guide d’entretien auprès de ses collègues ou d’autres personnes qui connaissent le sujet.

On invite ensuite les participants, par téléphone ou par courriel, et on prend rendez-vous pour l’entretien. Le moment de l’entretien doit convenir à toutes les parties et doit se faire dans un lieu relativement calme pour éviter les dérangements et perturber les enregistrements audio, le cas échéant.

Les membres de l’équipe d’évaluation réalisent habituellement les entretiens. Il est utile de mener des entrevues à deux, puisque la seconde personne peut recueillir les propos des participants sous forme de notes d’entrevue. On peut prendre des notes à la main ou par ordinateur, selon les préférences du preneur de notes. On peut aussi enregistrer les entrevues et les transcrire ensuite, afin de recueillir tous les propos de la personne ; c’est d’ailleurs souvent le cas pour les groupes de discussion. Lorsque l’on veut faire un enregistrement, le participant doit en être informé et donner son consentement par écrit au préalable.

La transcription des entretiens

Avant de procéder à la transcription, il est possible de réécouter les enregistrements et de relire nos notes. Cela nous permettra de déterminer s’il faut transcrire les entretiens dans leur intégralité ou seulement les passages les plus riches. Il est encore plus pertinent de réécouter les enregistrements si la personne qui procède à l’analyse n’est pas celle qui a fait l’animation des entretiens.

Dans le cas des entretiens de groupe, la transcription peut être un défi. Plusieurs personnes discutent ensemble et il peut être difficile de savoir qui a dit quoi ou de bien entendre tous les passages. Il existe des logiciels pouvant aider à la retranscription, mais les meilleurs sont dispendieux et ne sont pas très fiables pour les retranscriptions de fichiers audios réalisés en français. Dans le cas où les entretiens sont nombreux, certaines équipes auront parfois recours à une firme professionnelle pour effectuer la transcription des entretiens. Dans ce cas, les firmes s’engagent à respecter la confidentialité du contenu des entretiens.

L’analyse des données transcrites

Une fois l’entretien terminé et retranscrit, les données transcrites sont transférées dans une grille d’analyse semblable à celle que nous avons décrite dans la section portant sur l’analyse documentaire.

L’analyse des données d’entretien suit généralement les mêmes étapes que celles de l’analyse documentaire. Ce type d’analyse, qui consiste à classer, étiqueter et catégoriser les unités de sens pour ensuite les rassembler et les décrire, se nomme « analyse de contenu ». On cherche, en bout de ligne, à « raconter » les résultats en présentant un texte cohérent qui décrit clairement les propos de l’ensemble des participants. On n’attribue pas, en évaluation, les commentaires en nommant la personne participante. Tous les résultats sont présentés de manière anonyme afin de protéger les gens. Si ces derniers n’avaient pas une garantie de confidentialité, ils seraient peut-être moins enclins à dire clairement ce qu’ils pensent.

L’observation

L’observation est une autre méthode qualitative qui est utilisée plus fréquemment en recherche qu’en évaluation, mais qui peut tout de même s’avérer utile dans certains cas. La personne évaluatrice voudra observer directement la mise en œuvre du programme sur le terrain, afin de percevoir les événements et comportements au moment où ils ont lieu.

Il y a deux types d’observations: en observation participante, nous intégrons le groupe à observer sans que les autres membres du groupe ne soient conscients de notre rôle d’évaluateur ou d’évaluatrice. Lorsque l’on agit à titre de personne observatrice-chercheuse dans le cadre d’une observation non-participante, les membres du groupe savent que nous réalisons une évaluation et nous observons habituellement les activités du groupe en retrait sans intervenir.

Avantages et inconvénients de l’observation

L’avantage principal de l’observation est qu’elle permet à la personne évaluatrice de faire l’expérience directe d’un programme et de recueillir les données sur place. Elle n’a donc pas recours à la mémoire des participants ou participantes comme dans le cas d’entretiens semi-dirigés. L’observation peut aussi être utile dans les cas où on étudie un phénomène plus délicat – l’observation directe peut nous permettre d’éviter des questions plus sensibles.

Cependant, comme dans le cas des entretiens, la présence même de la personne qui réalise l’évaluation peut influencer le comportement et les propos des gens. On ne sait donc pas nécessairement si les données recueillies reflètent véritablement le programme tel que mis en œuvre en l’absence de l’évaluateur ou l’évaluatrice. Toutefois, notons que l’observation participante pourrait permettre à la personne évaluatrice de contourner cette limite en étant plus impliquée dans l’observation et en interagissant activement dans le programme.

D’un point de vue éthique, un évaluateur pourrait être témoin d’un événement secret ou privé sans le vouloir, ce qui peut lui causer certains dilemmes.

Finalement, il peut être difficile de s’intégrer à un groupe qui existe déjà, même si les gens ne savent pas que l’on évalue le programme. Les dynamiques de groupe peuvent être difficiles à gérer dans certains cas.

La démarche de l’observation

La démarche de l’observation commence par l’identification d’un contexte particulier dans lequel elle aura lieu. On détermine d’abord l’endroit où aura lieu l’observation, ensuite la durée de l’observation, et qui y participera. Enfin, on choisit le type d’observation (participante ou non participante)

Certains instruments de mesure aident l’évaluateur à consigner les données d’observation de façon systématique. Par exemple, une fiche d’observation peut fournir une liste des comportements à observer, et la personne qui évalue les décrit pendant l’observation ou en note la fréquence. Le tableau ci-dessous est un exemple de grille d’observation qui pourrait être utilisée pour l’observation de réunions organisées dans le cadre d’un programme.

Une grille de notation permet à l’évaluateur ou l’évaluatrice de saisir les qualités particulières des comportements. Par comportements, on peut entendre l’humeur des personnes qui participent à l’évaluation ou leur ton de voix.

D’autres instruments moins structurés, comme le journal de bord, permettent enfin à la personne ou l’équipe évaluatrice de saisir des impressions et toute autre observation qualitative.

Encore une fois, il est toujours préférable de piloter les instruments de collecte afin de s’assurer de leur clarté et de leur exhaustivité. Enfin, il reste à préciser les détails de la période d’observation et d’obtenir la permission de l’organisation, avant de se lancer sur le terrain.

Analyse des données issues de l’observation

Les données peuvent être analysées de la même façon que les autres données qualitatives. La seule différence, c’est que parfois, la fréquence d’apparition de certains comportements pourrait nous intéresser, et nous obtiendrons aussi des données plus quantitatives qui se prêteront à une analyse chiffrée.

Les données consignées dans la grille de correction seront utilisées pour faire ressortir des unités de sens manuellement dans un document Word par exemple, ou encore dans un logiciel spécialisé en analyses qualitatives. Ces unités de sens seront classées par indicateur. Il s’agira ensuite de lire toutes les données recueillies pour un indicateur et de les étiqueter pour ensuite décrire cet ensemble dans un texte narratif.

Les études de cas

On réfère souvent à l’étude de cas comme une méthode d’évaluation. Cependant, l’étude de cas regroupe habituellement plusieurs méthodes (par exemple, analyse documentaire et entretiens). L’étude de cas s’avère utile lorsque l’on cherche à identifier des impacts plus complexes ou qui s’étalent sur plusieurs années. Il s’agit donc de sélectionner une unité d’analyse (un individu, par exemple, ou encore une région) et de décrire cette unité d’analyse en détail. La sélection du ou des cas à traiter dans le cadre d’une évaluation s’effectue habituellement sur la base de certains critères, comme la répartition géographique.

Les avantages et inconvénients des études de cas, ainsi que leur analyse, dépendent des méthodes choisies. Cependant, il est important de se rappeler que les données doivent être analysées et interprétées en fonction du cas ou des cas choisis.

Les méthodes et les données quantitatives

L’objectif principal des méthodes quantitatives est de mesurer l’effet d’une variable indépendante sur une variable dépendante grâce à un grand nombre d’observations ou de données. Les méthodes quantitatives nous permettent d’établir dans quelle mesure un changement observé chez la population cible est le résultat du programme évalué grâce à des données numériques (chiffrées).

Les méthodes quantitatives nous permettent d’établir dans quelle mesure un changement observé chez la population cible est le résultat du programme évalué grâce à des données numériques (chiffrées). En d’autres mots, il s’agit d’attribuer les effets observés au programme plutôt qu’à d’autres facteurs ou variables. Cette section fournit une introduction de base aux méthodes quantitatives, mais au besoin, il est recommandé de suivre des cours ou des ateliers spécialisés.

Le choix de méthodes quantitatives ou qualitatives repose principalement sur l’indicateur retenu à l’étape de planification de l’évaluation. Ainsi, les indicateurs qui portent sur un nombre ou une proportion, par exemple, font appel à des données quantitatives. On peut penser, par exemple, à une enquête par sondage ou à une analyse des données administratives du programme. Dans le cas des méthodes quantitatives, la mise en œuvre débute habituellement par l’identification des variables indépendantes et dépendantes, qui reposent sur une question d’évaluation et ses indicateurs. Par exemple, l’une de nos hypothèses peut être que la population cible, c’est-à-dire les participants au programme, a modifié son comportement suite à l’intervention. À partir des hypothèses et des variables, nous pouvons choisir un instrument de mesure et le développer. Il faut ensuite le valider auprès d’un petit nombre de participants, qui nous permettront de nous assurer des qualités techniques de l’instrument. L’échantillonnage et la collecte de données suivent ensuite cette étape, pour nous mener à l’analyse.

Plusieurs méthodes quantitatives peuvent servir dans le cadre d’une évaluation, selon les sources de données disponibles et les indicateurs retenus.

Les avantages et inconvénients des méthodes quantitatives

Les méthodes quantitatives présentent certains avantages pour les personnes évaluatrices. Premièrement, elles peuvent permettre de généraliser les résultats à une plus grande population en faisant toutefois attention aux limites de cette généralisation. Deuxièmement, les résultats statistiques peuvent identifier l’ampleur et la distribution des résultats d’une intervention sur la population cible. Troisièmement, les méthodes quantitatives permettent d’identifier les coûts et les avantages d’une intervention et de les comparer. Quatrièmement, il est possible de documenter les propriétés techniques des instruments de mesure quantitatifs afin de les réutiliser plus tard ou de vérifier la validité des résultats. Cinquièmement, on peut contrôler l’effet de certaines variables grâce à des manipulations statistiques. Enfin, les résultats quantitatifs, peu importe leur qualité et leur validité, ont souvent plus de crédibilité et de poids chez les décideurs.

Cependant, les méthodes quantitatives ne sont pas toujours appropriées pour tous les types d’évaluations. Quand on veut bien comprendre le contexte d’une intervention, par exemple, une échelle de mesure n’est pas toujours le meilleur outil. Lorsque l’on travaille auprès de populations vulnérables, il peut être difficile de leur demander de compléter un questionnaire et on ne sait pas toujours à quel point on peut faire confiance aux données recueillies. Les méthodes quantitatives, de par leur nature, sont habituellement peu flexibles, et il est difficile d’apporter des changements en cours de route si le contexte de l’étude change.  Finalement, l’analyse des données quantitatives peut s’avérer complexe et exige des connaissances spécialisées – elle pose donc un risque d’erreur considérable, ce qui peut fausser les résultats de l’évaluation.

La démarche pour la collecte de données quantitatives

Normalement, la collecte de données quantitatives s’échelonne sur trois phases. La première porte sur l’information à recueillir et la façon de le faire. La deuxième s’intéresse au traitement de l’information et la dernière consiste en l’analyse de l’information. La figure ci-dessous illustre cette démarche.

Figure 6.2. Démarche d’analyse quantitative

Les cadres d’analyse quantitatifs

Les cadres d’analyse quantitatifs tentent d’établir une relation de causalité entre une intervention et les résultats observés. Pour attribuer des changements sociaux à une initiative particulière, il s’agit d’isoler les effets spécifiques de l’initiative. Pour ce faire, la personne évaluatrice peut se prémunir de l’un de deux devis : le devis expérimental, qui consiste en la comparaison d’un groupe témoin et d’un groupe expérimental, auxquels les participants sont assignés au hasard. Le groupe expérimental participe au programme, ou en d’autres mots, bénéficie du traitement. On vérifie ensuite les différences entre les deux groupes afin de constater l’effet du programme sur les résultats observés.

Le devis quasi-expérimental établit la même comparaison, mais est un peu plus souple : ici, les participants ne sont pas assignés au hasard ; souvent, les deux groupes existent indépendamment de l’évaluation. Cependant, la création naturelle des groupes peut entraîner des effets particuliers qu’il faudra éliminer plus tard par le biais de l’analyse statistique.

Cependant, rappelons que de tels devis ne sont pas toujours possibles en évaluation, puisqu’il est pratiquement impossible de contrôler tous les facteurs externes qui pourraient influencer l’atteinte des résultats. De plus, les ressources nécessaires pour produire de telles évaluations sont considérables. Dans ces cas, on peut employer un troisième type de devis, appelé devis non-expérimental, ou pré-expérimental, où l’on ne fait pas de comparaison. On voit ce type de devis fréquemment en évaluation, puisqu’il est souvent impossible de restreindre l’accès à un programme pour des raisons purement évaluatives.

L’échantillonnage

L’échantillonnage est une technique qui permet à la personne évaluatrice de réduire les coûts et le temps liés à une évaluation sans pour autant nuire à la collecte de données et leur analyse. L’échantillonnage, lorsqu’il est réalisé selon les règles de l’art, permet de recueillir des données auprès d’une fraction de la population qui nous intéresse, puis de généraliser les résultats obtenus à l’ensemble de cette population. Pour nous assurer de cette représentativité, cependant, il importe de bien sélectionner son échantillon. Pour ce faire, il s’agit premièrement de bien définir la population cible. Rappelons ici que cela doit être fait dès le début de la planification de l’évaluation. S’agit-il, par exemple, de tous les bénéficiaires d’un programme ? Désirons-nous aussi inclure ceux qui voulaient y participer mais qui n’ont pas été sélectionnés?

Une fois la population bien établie, il s’agit de déterminer si nous souhaitons un échantillon probabiliste, où les individus sont choisis au hasard, et qui garantit la représentativité grâce aux lois des probabilités, ou un échantillon non-probabiliste, qui reproduit le plus fidèlement possible la population, en tenant compte des caractéristiques connues. On a tendance, lorsque cela est possible, à privilégier l’échantillon probabiliste, car il nous permet d’éliminer les facteurs contextuels ou autres variables qui risquent d’influencer les résultats de l’étude.

L’enquête par sondage

L’enquête par sondage est une méthode fréquemment utilisée lors de collectes de données quantitatives. C’est une méthode privilégiée en évaluation et en sciences sociales en général, puisqu’elle peut facilement être adaptée à plusieurs situations. L’instrument de mesure utilisé dans le cadre d’une enquête par sondage est un questionnaire. On administre ce questionnaire à un échantillon de participants – lorsqu’on l’administre à toute la population visée, il s’agit d’un recensement plutôt qu’un sondage.

Il y a deux façons d’administrer un questionnaire : en premier lieu, la personne évaluatrice questionne la personne participante, soit en personne ou par téléphone, et remplit le questionnaire. Cette pratique a l’avantage de réduire les erreurs associées à la compréhension des questions et d’augmenter le taux de réponse et de questionnaires complétés. Par contre, c’est une pratique dispendieuse, puisque le temps de l’évaluateur ou d’autres individus doit être pris en compte dans la gestion des ressources de l’évaluation.

L’élaboration du questionnaire

Plusieurs étapes sont requises pour l’élaboration d’un questionnaire. Celles-ci sont illustrées dans la figure ci-dessous.

Figure 6.3. Élaboration du questionnaire

Il s’agit donc, dans l’ordre qui apparaît dans la figure :

• Définir les objectifs: Il s’agit ici de reprendre la matrice d’évaluation afin d’identifier les questions et les indicateurs quantitatifs afin de bien saisir les objectifs du questionnaire. Sur quels thèmes le questionnaire doit-il porter? À qui s’adresse-t-il plus particulièrement?
• Ensuite, il s’agit de formuler les questions qui seront posées, selon les indicateurs. Ces questions sont généralement fermées ou proposent des échelles selon lesquelles les participants doivent répondre.
• Une fois les questions formulées, leur ordre de présentation doit être déterminé. Les questions devraient être regroupées de manière logique, selon les thèmes principaux de l’évaluation, ou encore, selon certains éléments clés du programme, comme ses étapes de mise en œuvre.
• Le questionnaire devrait être révisé afin d’en assurer la plus grande clarté possible, et toutes les questions qui ne sont pas absolument nécessaires devraient être supprimées afin que le questionnaire ne soit pas trop long.
• Puis, vient le moment du pré-test; ici, on peut demander à divers individus, tels que le gestionnaire du programme, quelques bénéficiaires, ou encore à des collègues, de remplir le questionnaire et de noter leurs commentaires au passage sur la clarté et la pertinence des questions. Ces commentaires seront ensuite utilisés pour bonifier la structure et le contenu du questionnaire.
• Finalement, il est essentiel de rédiger une introduction et des consignes claires pour les répondants, afin de présenter l’étude et de leur fournir des informations sur ce qui est attendu en termes de participation.

À la suite de toutes ces étapes, il sera maintenant temps d’administrer le questionnaire auprès des personnes ciblées dans l’échantillonnage.

L’analyse des données secondaires

Cette méthode est employée lorsque les données qui nous intéressent existent déjà, par exemple dans les dossiers des clients d’un programme. Il s’agit donc, dans un premier temps, de sélectionner les variables que nous souhaitons analyser, puis d’examiner leur crédibilité et leur qualité. Cette méthode permet d’épargner beaucoup de temps puisqu’elle n’exige pas une collecte de données sur le terrain ; cependant, les limites associées à la qualité des données (par exemple des données manquantes) peuvent s’avérer difficiles à surmonter. De plus, l’évaluateur n’a accès qu’aux données qui existent déjà et ne dispose donc d’aucune flexibilité dans son analyse.

Pour réaliser une analyse des données secondaires, on commence par regarder la base de données afin de se l’approprier. Si les données ne sont pas déjà disponibles dans un fichier, on doit les transposer avant de commencer. Ensuite, on sélectionne les catégories, ou les variables, qui nous intéressent, selon les questions d’évaluation et les indicateurs.

Parfois, il est nécessaire de « nettoyer » les données, c’est-à-dire de les traiter avant de commencer l’étape d’analyse. Au début de l’analyse, on identifie les champs vides ou les erreurs, et on essaie de réparer en consultant les dossiers originaux ou en modifiant les paramètres de l’analyse.

Évidemment, cette méthode, comme toutes les autres méthodes quantitatives, exige des compétences en analyse statistique. Ces compétences se développent grâce à des cours plus spécialisés, ou on peut aussi faire appel à des analystes pour cette partie de l’étude.

L’analyse économique

Les évaluateurs et évaluatrices ont aussi parfois recours à l’analyse économique, surtout lorsqu’il est question de mesurer les impacts d’un programme ou son efficience. En principe, l’analyse économique nous offre d’excellents outils sur lesquels fonder nos études. En pratique, cependant, l’analyse économique comporte les mêmes limites que les autres méthodes quantitatives – la qualité d’une analyse économique est sujette, elle aussi, à la qualité des données recueillies.

Il y a cinq grands types d’évaluation économique, selon Brousselle (2012).

• Minimisation des coûts: on compare les coûts reliés à deux interventions qui ont les mêmes effets;
• Coût-efficacité: utilisée pour comparer des interventions qui ont un objectif unique, non ambigu; elle est mesurée en unités physiques, comme les années de vie sauvée;
• Coût-utilité: Sert à mesurer les effets d’une intervention dans différents cas; premièrement, quand la qualité de vie est le résultat important; deuxièmement, quand les effets sont de nature différente d’une intervention à l’autre; troisièmement, quand les interventions ont plusieurs résultats pertinents; quatrièmement, quand certains résultats peuvent être considérés comme plus importants que les autres.
• Coût-avantage: Vise à établir la rentabilité d’une intervention; alors que l’analyse coût-efficacité et coût-utilité se préoccupent des effets d’une intervention, on essaie ici plutôt de déterminer s’il est rentable de continuer à offrir une intervention ou non.

Méthodes et devis mixtes

Au cours des années 1980 et 1990, le monde de l’évaluation s’est polarisé en deux camps autour des débats sur les paradigmes. Les évaluateurs étaient soit quantitatifs, soit qualitatifs. Les distinctions étaient souvent établies sur une base disciplinaire, comme la psychologie, la sociologie, l’éducation et l’administration publique.

Aujourd’hui, ces débats sont largement éteints. On perçoit plutôt les méthodes quantitatives et qualitatives comme étant posées sur un continuum de connaissances, et on reconnaît que l’incommensurabilité des paradigmes se situe au niveau épistémologique et non méthodologique.

En évaluation, on privilégie souvent les devis mixtes qui font usage de méthodes qualitatives et quantitatives. Les devis mixtes permettent la corroboration et la confirmation des informations recueillies.

En évaluation, on privilégie souvent les devis mixtes qui font usage de méthodes qualitatives et quantitatives. Les devis mixtes permettent la corroboration et la confirmation des informations recueillies.

Nous retenons qu’il existe quatre types principaux de devis mixtes : séquentiel exploratoire, séquentiel explicatif, concomitant triangulé ou concomitant niché (Pluye, 2012). Les figures qui suivent vous aideront à mieux les comprendre.

Ces devis exigent la collecte et l’analyse d’un type de données avant de procéder à la collecte et l’analyse des données de l’autre type.

Dans un devis séquentiel exploratoire, les méthodes qualitatives sont utilisées pour explorer un phénomène.  On leur accorde la priorité, et on suit leur collecte et analyse par une collecte et analyse de données quantitatives, qui servent à confirmer et généraliser les résultats qualitatifs.

Devis séquentiel exploratoire

Dans un devis séquentiel explicatif, il s’agit du contraire. Des données quantitatives sont recueillies et analysées en premier lieu, suivies des données qualitatives. Dans ce cas, il s’agit d’utiliser les données qualitatives pour expliquer ou interpréter les résultats quantitatifs. Par exemple, on pourrait mener une enquête par sondage auprès des participants d’un programme. Suite à l’analyse des résultats, des questions plus détaillées pourraient faire l’objet de quelques entretiens individuels afin de mieux comprendre certains éléments du contexte.

Devis séquentiel explicatif

Il y a d’autres types de devis d’analyse mixte comme les devis concomitants qui intègrent les données qualitatives et quantitatives ; la collecte et l’analyse des données des deux types ont lieu au même moment.

Le devis concomitant triangulé recherche la convergence et la correspondance entre les deux types de données. La figure ci-dessous présente ce type de devis.

Devis concomitant triangulé

Le devis concomitant niché, lui, donne préséance à l’un des deux types de données, bien que les deux types de données soient recueillies et analysées en même temps. On pense ici par exemple à un instrument de sondage qui comporte surtout des questions quantitatives, mais qui contient aussi quelques questions qualitatives.

Devis concomitant niché

Triangulation des données

La personne évaluatrice doit toujours s’assurer de bien trianguler ses résultats en se servant de plusieurs sources de preuve. La triangulation se définit comme étant la corroboration ou la confirmation d’une information lorsqu’elle provient de répondants différents ou de sources différentes. Par exemple, on peut obtenir des informations pertinentes lors d’un entretien avec une personne clé, ensuite on peut confirmer les dires de cette personne en consultant la littérature. Le fait de trianguler les données avec d’autres sources permet de renforcer la validité et la crédibilité des preuves.

L’utilisation de plusieurs méthodes de recherche n’implique pas nécessairement une bonne triangulation. Par exemple, si on choisit de mener des entretiens semi-dirigés auprès des gestionnaires d’un programme, un sondage des employés, et un groupe de discussion auprès de la haute gestion, il s’agit en fait d’une seule source de données (les personnes employées par l’organisation). On risque alors d’entendre les mêmes messages de tous ceux et celles qui seront consultés, même à l’aide de méthodes différentes.

Présentation de la méthodologie

La section du cadre d’évaluation portant sur la méthodologie décrit les méthodes qualitatives et quantitatives qui permettent à la personne évaluatrice de recueillir les données servant à répondre aux questions d’évaluation. La méthodologie doit donc fournir des détails quant à l’échantillon, les répondants visés, les instruments de mesure qui seront utilisés, et tous les autres détails techniques nécessaires à la planification du terrain. Puisque les méthodes sont intimement reliées aux questions d’évaluation et à leurs indicateurs, il convient de résumer toutes ces informations dans un grand tableau, comme nous l’avons déjà montré. Ce tableau contient habituellement les questions d’évaluation, les indicateurs, les seuils de réussite, les sources de données et les méthodes et on y réfère habituellement en tant que « matrice d’évaluation ».

La méthodologie doit aussi présenter les risques et limites pressentis pour l’étude. Par exemple, les limites associées à l’accessibilité ou la qualité des données administratives qui sont hors du contrôle de l’évaluateur, les limites associées à l’échantillonnage, ou encore le refus de certains intervenants de participer aux entretiens, peuvent poser des difficultés à la personne évaluatrice au cours de l’exécution de son projet. Il s’agit donc d’identifier les limites ou les risques potentiels, et de trouver des moyens de les éviter ou de les atténuer. Ceci permet au client d’avoir des attentes réalistes face au travail de la personne évaluatrice sur le terrain. Bien entendu, tous les risques ne peuvent être anticipés, mais une réflexion avant d’entreprendre l’évaluation permet au moins de se préparer pour ceux qui ont une plus grande probabilité de nuire au travail de la personne évaluatrice.

Conclusion

L’évaluation est fondée sur les méthodes de recherche sociale afin d’assurer une collecte de données qualitatives et quantitatives rigoureuse et systématique. Les résultats d’évaluation crédibles doivent découler de données solides, d’où l’importance de la méthodologie. Dans ce chapitre, nous avons tenté de vous présenter les méthodes utilisées le plus souvent en évaluation; cependant, il en existe aussi d’autres qui sont employées moins fréquemment mais qui peuvent être tout aussi valides et utiles. De plus, il est important de noter que de nos jours, la majorité des plans d’évaluation combinent plusieurs méthodes différentes afin d’assurer une couverture complète des indicateurs; ces méthodes peuvent être qualitatives ou quantitatives, selon le cadre théorique et l’approche évaluative retenus.