3 La description et la modélisation du programme

L’importance de bien décrire le programme à évaluer

Une description complète du programme qui sera évalué est essentielle pour la planification efficace de l’évaluation. Un tel portrait permettra à l’équipe d’évaluation de bien comprendre les objectifs du programme et son contexte particulier, de même que son fonctionnement et son action envisagée sur la situation ou la problématique pour laquelle il a été créé. Qui plus est, la production d’une description détaillée du programme requiert bien souvent des échanges multiples avec les principales parties prenantes afin d’obtenir des informations spécifiques. Ces échanges constituent eux-mêmes une occasion favorable pour l’équipe d’évaluation de nouer des liens de confiance avec les parties prenantes du programme, notamment en clarifiant l’objectif de l’évaluation (sommative, formative, et/ou développementale) et en répondant à leurs questions ou préoccupations quant à la démarche à venir.

La description du programme est généralement placée dans la première partie du cadre d’évaluation et se retrouvera aussi, une fois la démarche complétée, dans le rapport d’évaluation. Dans le cas des évaluations réalisées pour le gouvernement fédéral, on trouve la description du programme sous la section Profil du programme au début du rapport d’évaluation comme le montre d’ailleurs cet exemple provenant des Instituts de recherche en santé du Canada (2021).

Éléments de la description de programme

La description du programme est jugée comme adéquate lorsqu’elle contient suffisamment d’informations pour bien comprendre les six éléments présentés brièvement dans le tableau ci-dessous, bien qu’ils soient expliqués en détail plus loin dans ce chapitre :

Tableau 3.1. Aperçu des éléments d’une description de programme

1.   Historique et contexte organisationnel

Cet élément situe le programme dans son contexte historique et organisationnel. Un bref aperçu historique du programme et de son évolution présente les besoins ayant mené à sa création ainsi que son évolution dans le temps. Cette section fournit également des détails au sujet de la structure organisationnelle relative au programme.

2.   Objectifs

Cet élément décrit les objectifs du programme en précisant le changement souhaité chez les bénéficiaires ou leur environnement. En d’autres mots, les objectifs décrivent comment le programme contribuera à résoudre la situation problématique vécue par les bénéficiaires. Cette section établit aussi les liens entre les objectifs du programme et les priorités, le mandat ou la mission de l’organisation. Par exemple, si le programme évalué est financé par Affaires mondiales Canada, cet élément pourrait décrire le lien existant entre les objectifs du programme et les priorités gouvernementales en matière d’aide internationale, comme stipule la Politique d’aide internationale féministe.

3.   Population cible

Cet élément porte sur la population cible du programme ainsi que ses caractéristiques sociodémographiques. La population cible réfère aux personnes ou aux groupes que l’on cherche à influencer ou qui profiteront de la mise en œuvre du programme. Dans certains cas, il peut être utile de différencier la population cible primaire de la population cible secondaire. La population cible primaire réfère aux bénéficiaires directs du programme, alors que la population cible secondaire renvoie aux autres personnes qui profitent du programme par ricochet puisqu’elles interagissent avec la population cible primaire. Par exemple, un programme qui offre des petits déjeuners dans les écoles aurait pour population cible primaire les élèves des écoles participantes, tandis que les parents et les enseignantes de ces élèves seraient considérés comme la population cible secondaire. Ces deux groupes profitent indirectement du programme : les parents sont rassurés que leurs enfants s’alimentent convenablement tandis que le personnel enseignant bénéficie de la santé physique des enfants qui arrivent en classe prêts à entamer leur journée d’apprentissage.

4.   La théorie du programme

Cette section décrit le programme et ses éléments constitutifs.  On y présente la théorie du programme, dont il est question plus loin dans ce chapitre, qui établit des liens logiques entre les activités réalisées par le programme et les résultats ou impacts visés. La théorie du programme est habituellement accompagnée d’un schéma visuel qui résume les activités, les extrants et les résultats du programme ainsi que les liens qui les unissent.

5.   Gouvernance

Cet élément porte sur la gouvernance du programme, c’est-à-dire sa structure de fonctionnement et de gestion dans l’organisation. On y retrouve habituellement une description des rôles et des responsabilités des personnes qui en sont chargées, ainsi qu’une présentation des individus ou organismes qui contribuent au fonctionnement du programme. Par exemple, le succès d’un programme de petits déjeuners dépend non seulement des bénévoles et des responsables de l’initiative, mais aussi des fournisseurs qui sont prêts à cuisiner et à offrir des repas aux écoles. Par conséquent, ce partenaire, même s’il n’est pas directement impliqué dans la gouvernance du programme de petits déjeuners, doit être identifié dans cette partie en raison de son rôle essentiel. Dans certains cas, l’ajout d’un organigramme peut être utile afin d’illustrer les liens hiérarchiques et fonctionnels entre les différents acteurs d’un programme.

6.   Ressources

Finalement, le sixième et dernier élément offre un aperçu des ressources financières et humaines affectées au programme. Généralement, on présente ces informations à l’aide de tableaux qui synthétisent les données sur une période de cinq à dix ans, afin de fournir un portrait plus complet de l’évolution du programme dans le temps ainsi que des risques encourus. Les deux cas pédagogiques qui figurent à la fin du volume fournissent des exemples concrets de la manière dont on présente un tableau de ressources.

Sources d’information pour décrire le programme

Au moins deux sources fournissent les renseignements nécessaires à l’élaboration de la description du programme : les documents et les parties prenantes.

Les documents

Certains documents peuvent contenir des renseignements utiles concernant les six éléments décrits ci-dessus. Ces documents peuvent être recensés par l’équipe d’évaluation afin de mieux comprendre le contexte et le fonctionnement du programme. Pour ce faire, on se sert habituellement des documents suivants, selon leur disponibilité : le plan stratégique ou le rapport annuel de l’organisme, les demandes de financement soumises par l’organisme ou le programme, les rapports d’évaluation ou les études antérieures, le matériel de communication et de promotion du programme (ex. son site web, une brochure informative, etc.) et les articles scientifiques portant sur le programme ou son contexte. Ces documents peuvent être fournis par les parties prenantes ou repérés sur le web.

Les parties prenantes du programme

Après s’être familiarisé avec la documentation existante, on peut ensuite organiser quelques rencontres préliminaires avec les principales parties prenantes du programme, qui en possèdent une connaissance approfondie. En d’autres mots, les gestionnaires, la direction générale ou les membres de l’équipe de travail les plus expérimentés seront les mieux placés pour fournir des détails relatifs à l’historique du programme, ses objectifs, sa théorie, sa gouvernance et ses ressources. Les rencontres permettront de vérifier l’exactitude des renseignements obtenus à partir des documents et d’obtenir des informations supplémentaires sur le programme et son contexte.

La modélisation du programme

Comme nous l’avons vu plus haut, la planification d’une évaluation doit s’appuyer sur une description exhaustive et juste du programme évalué. La modélisation du programme ou de l’intervention est un élément essentiel de cette description. La modélisation permet d’identifier les éléments constitutifs de la théorie du programme et de les représenter visuellement. La théorie du programme permettra de bien comprendre en quoi consiste l’intervention, comment elle a été mise en œuvre sur le terrain, et à quels changements on devrait s’attendre auprès de la population cible.

La représentation visuelle des éléments constitutifs du programme

Deux outils sont particulièrement utiles afin de modéliser la théorie du programme : le modèle logique et la théorie du changement (TdC). Ces deux outils permettent la production d’une représentation logique et plausible de la manière dont les activités d’un programme peuvent mener à la résolution ou l’amélioration d’une situation problématique ou d’un besoin. Nous présentons d’abord le modèle logique pour ensuite expliquer davantage la théorie du changement.

Le modèle logique

Le modèle logique permet de représenter visuellement la théorie du programme. Un peu comme une carte routière, il présente à l’aide de flèches les liens entre les ressources et les activités d’un programme et ses résultats escomptés. Le texte de Porteous (2012) décrit les caractéristiques principales des modèles logiques et en fournit plusieurs exemples. La figure ci-dessous présente les éléments principaux d’un modèle logique.

Figure 3.1. Composantes principales d’un modèle logique

Les intrants

Les intrants réfèrent aux ressources investies dans la mise en œuvre du programme. L’Innovation Network (2013) identifie cinq types d’intrants :

1. Les ressources humaines : le personnel à temps plein et à temps partiel, les bénévoles et les partenaires.
2. Les ressources financières : les subventions, le budget de fonctionnement, les dons et autres ressources monétaires.
3. L’espace :  les bureaux servant à loger le personnel et les bénévoles, ainsi que les autres installations physiques nécessaires à la mise en œuvre du programme.
4. Les ressources technologiques : les logiciels et équipements informatiques spécialisés.
5. Les ressources matérielles et autres éléments : les fournitures de bureau, etc.

Les activités

Les activités renvoient aux actions concrètes réalisées à partir des ressources du programme. Comme le montrent les exemples suivants, les activités débutent par un verbe d’action et indiquent, lorsque possible, leur fréquence attendue :

• Distribuer du matériel pédagogique sur les mathématiques aux élèves
• Animer hebdomadairement des ateliers pour les personnes âgées
• Effectuer des analyses en continu sur la situation des personnes en situation de handicap de la région
• Sélectionner des candidat·e·s pour un programme de formation professionnelle
• Fournir des subventions à des organismes communautaires œuvrant auprès de personnes immigrantes

Les extrants

Les extrants représentent le produit concret et direct des activités. On a tendance à confondre les extrants avec les activités, mais la nuance est très importante. Le tableau ci-dessous offre des exemples d’activités et d’extrants afin d’illustrer les différences qui existent au niveau de la formulation de chaque élément.

Tableau 3.2. Exemples d’activités et d’extrants

Les résultats du programme

Les termes « résultats » et « effets » peuvent être utilisés de façon interchangeable pour désigner les changements ciblés par le programme. On distingue généralement trois niveaux de résultats: ceux à court, à moyen et à long terme (aussi désignés comme résultats immédiats, intermédiaires et ultimes).

Les résultats à court terme

Les résultats à court terme réfèrent à la réaction immédiate de la population-cible aux extrants.  En d’autres mots, les résultats à court terme décrivent les changements souhaités chez la population-cible suite à la réception des extrants. Habituellement, ces résultats reflètent un ou des changements au niveau des connaissances, des attitudes, ou de la participation de la population ciblée par le programme. Voici quelques exemples de résultats à court terme :

• Les jeunes adultes comprennent les impacts potentiels des changements climatiques sur la santé.
• Les familles acquièrent de nouvelles connaissances au sujet de l’alimentation saine chez les enfants.
• Les organismes communautaires de la région envoient des représentants à une table de concertation.

Les résultats à moyen terme

Les résultats à moyen terme réfèrent aux changements d’habitudes, de comportements ou de capacités qui se manifestent suite à l’atteinte des résultats à court terme. Ils représentent ainsi la mise en application des nouveaux apprentissages et des acquis réalisés durant le programme.

Le tableau ci-dessous propose quelques comparaisons entre les résultats à court et à moyen terme. En réalité, les résultats à moyen terme résultent souvent d’une combinaison d’effets à court terme : ils peuvent donc être moins nombreux que ces derniers.

Tableau 3.3. Comparaison entre les résultats à court et à moyen terme

Les résultats à long terme

Les résultats à long terme décrivent l’atteinte de l’objectif ultime du programme, qui peut être observé auprès de la population cible ou d’un groupe élargi. On parle habituellement ici de changements au niveau des conditions sociales, environnementales, économiques, ou sanitaires. Ces changements dépassent donc souvent l’envergure du programme et ainsi, on parle généralement de la contribution du programme à ces résultats en tenant compte d’autres facteurs externes qui peuvent aussi les influencer. Par exemple :

• Les personnes en situation de handicap s’épanouissent dans un environnement inclusif et accueillant.
• Les adolescents actualisent leur plein potentiel dans un contexte de pandémie.

Présentation du modèle logique

Il existe de nombreuses manières de présenter un modèle logique, selon les préférences de l’équipe d’évaluation et des parties prenantes. Les modèles logiques peuvent être présentés sous forme de tableaux, de schémas avec cases et flèches, de cercles, etc. Les modèles logiques peuvent aussi être lus de gauche à droite, de droite à gauche, de haut en bas ou de bas en haut. Dans tous ces cas, le schéma du modèle logique ne devrait pas dépasser une page. Rappelons que l’une des principales forces du modèle logique réside dans sa capacité à illustrer de façon simple et rapide le fonctionnement et les résultats d’un programme. En plus de la représentation visuelle, une description narrative peut aussi fournir des détails au sujet de chacun des éléments du modèle logique et expliquer les liens qui existe entre eux. La technique « si, alors » présentée brièvement dans l’encadré 3.3 et en plus de détail dans le texte de Porteous (2009), propose une manière efficace et des exemples concrets pour rédiger une description narrative claire et précise.

Composantes additionnelles du modèle logique

Certains modèles logiques présentent d’autres composantes, permettant de clarifier davantage le fonctionnement du programme ainsi que son contexte particulier : la situation initiale, la population cible et les facteurs contextuels.

La situation initiale

Cette composante présente les besoins ou la problématique ayant mené à la création du programme. La situation initiale peut être ajoutée au-dessus du modèle logique en une phrase. Par exemple :

• Un nombre grandissant de personnes vivent de l’isolement social et de la détresse psychologique en raison de la pandémie de COVID-19.

La population cible

La population ciblée par les extrants peut être précisée dans le modèle logique par l’ajout de cases entre les extrants et les résultats à court terme. Cette précision permet de mieux comprendre l’importance du rôle joué par la population-cible dans l’atteinte des résultats visés.

Les facteurs contextuels

Les facteurs contextuels présentent les conditions qui ont des implications particulières sur la planification, la mise en œuvre ou les résultats du programme. Ces facteurs sont généralement hors de la zone de contrôle du programme : enjeux politiques, économiques, géographiques, sociaux, etc. L’exploration des facteurs contextuels lors de l’élaboration d’un modèle logique est utile pour approfondir la compréhension de la situation initiale et pour identifier les faiblesses potentielles du programme. Les facteurs contextuels peuvent être présentés dans un encadré spécifique placé près du modèle logique.

Contrôle et influence

L’atteinte des résultats d’un programme dépend des activités et extrants qui assurent sa mise en œuvre, ainsi que d’autres facteurs qui ne sont pas nécessairement sous le contrôle de l’organisation.  Ainsi, on peut parler d’une zone de contrôle et d’une zone d’influence dans le modèle logique. En effet, comme le montre la figure 3.2, les intrants, les activités et les extrants se situent dans la zone de contrôle du programme puisque l’organisation a le pouvoir de les modifier au besoin. Les résultats, cependant, se situent dans la zone d’influence du programme, puisqu’il ne peut pas contrôler directement les changements espérés chez les bénéficiaires.

Figure 3.2. Zone de contrôle et zone d’influence

Par exemple, la direction d’un programme de petits déjeuners pourrait décider d’ajouter à son menu des repas végétariens afin d’augmenter la quantité de fruits et de légumes consommés par les élèves. Cette décision est réalisable puisqu’elle concerne les activités et les extrants du programme, une composante qui est sous la zone de contrôle de la direction. Toutefois, elle ne pourrait pas forcer les élèves à consommer les repas provenant du menu végétarien, même si ce dernier présente des bienfaits sur le plan nutritif. La direction pourrait cependant tenter d’influencer le choix des élèves en ajoutant des campagnes d’information liées à la nutrition.

La théorie du changement (TdC)

La théorie du changement, ou TdC, constitue un autre moyen de modéliser un programme. Si le modèle logique se contente principalement de décrire la théorie du programme, la TdC précise aussi les hypothèses et les risques associés à chacun des éléments constitutifs du modèle logique. On se retrouve ainsi avec une explication indiquant « comment » et « pourquoi » la mise en œuvre du programme devrait, dans un environnement particulier, mener aux changements escomptés. L’équipe pourra ensuite s’en servir afin d’identifier des thèmes et des questions pertinentes à aborder dans le cadre d’évaluation.

La TdC est surtout utilisée pour décrire les programmes complexes qui comprennent plusieurs éléments qui interagissent ensemble pour produire les changements escomptés. Elle permet de décrire comment le programme contribue au résultat ultime. Plusieurs ressources sont disponibles en français afin de soutenir le développement d’une TdC :

• Mayne (2017) propose dans son article un modèle générique de TdC fort intéressant pour appuyer les évaluateurs de différents milieux, y compris le secteur public et parapublic.
• de Reviers (2012) fait une synthèse critique des méthodologies utilisées pour développer une TdC et en propose une qui est particulièrement pertinente pour les groupes et organismes communautaires.
• Lopez Mejia et Rey (2022, voir le chapitre 8) offrent également des repères pour développer une TdC, surtout en contexte de développement international.

De façon générale, ces auteurs s’entendent pour dire que la conception d’une TdC nécessite une démarche itérative et participative, faisant intervenir à plusieurs reprises différents types de parties prenantes : gestionnaires, membres de l’équipe de travail, bénéficiaires, partenaires, etc. C’est pourquoi son développement peut être plus long et coûteux que celui d’un modèle logique.  Le tableau ci-dessous expose quelques différences entre le modèle logique et la TdC :

Tableau 3.4. Différences entre un modèle logique et une théorie de changement

Conclusion

La description d’un programme est essentielle à sa compréhension et à sa modélisation. Il est impossible d’évaluer ce que l’on ne connaît pas, et nombre d’évaluations ont essayé de le faire sans succès. Bien qu’il ne soit pas obligatoire de formuler une théorie du changement ou un modèle logique dans toutes les évaluations, il est toujours utile de décrire l’intervention et ses balises clairement dans un plan d’évaluation. Cela nous permet de préciser ce sur quoi l’évaluation portera et ce sur quoi elle ne portera pas. La gestion des attentes des parties prenantes est importante dans une démarche évaluative, et ces clarifications aideront grandement à nous assurer que toutes les parties prenantes débutent la démarche avec une compréhension commune de ce qui sera évalué.