8 Les aspects professionnels de l’évaluation

Les rôles et responsabilités des évaluatrices et évaluateurs

Afin d’examiner en détail les rôles que jouent les évaluatrices et les évaluateurs dans les organismes où ils interviennent, nous jugeons pertinent de rappeler les différences qui existent entre un mandat interne et un mandat externe. Les équipes d’évaluation internes font partie de la structure organisationnelle et sont donc constituées de personnes employées par l’organisation. Les équipes internes se concentrent sur l’évaluation des programmes de cette organisation seulement. Pour ce faire, ces équipes peuvent faire partie d’une direction centrale de l’évaluation, ou encore d’une équipe de programme.

Généralement, les équipes internes sont chargées de coordonner et de réaliser des évaluations, de diriger les travaux menés par des équipes externes, de renseigner la haute gestion au sujet des évaluations complétées, de diffuser les résultats des évaluations au sein de l’organisme et auprès de ses partenaires et d’appuyer le développement d’une culture évaluative dans l’organisation. Il est avantageux pour les organisations de se doter d’une équipe interne d’évaluation, puisque ses membres possèdent une bonne connaissance du milieu organisationnel dont ils font partie, sont perçus comme crédibles et efficaces dans leur travail, peuvent renforcer les capacités en évaluation de l’organisation et peuvent assurer une utilisation accrue des résultats de l’évaluation par la haute gestion.

Les équipes externes servent plusieurs organisations-clientes en même temps, à partir d’une société-conseil privée. Ainsi, ces équipes et les individus qui les composent travaillent à contrat pour réaliser des mandats d’évaluation ponctuels et spécifiques. Les équipes externes peuvent être embauchées pour combler les besoins d’un organisme en matière d’expertise technique ou en matière de ressources humaines consacrées à l’évaluation. Elles jouent donc un rôle essentiel, surtout dans les organisations qui n’ont pas établi de fonction d’évaluation à l’interne.

Il est possible, de nos jours, de combiner les deux types d’équipes en un modèle hybride. Ce modèle permet de maximiser les ressources disponibles pour réaliser un projet spécifique tout en renforçant les capacités organisationnelles en évaluation. Dans un modèle hybride, les deux équipes travaillent ensemble pour réaliser un mandat d’évaluation. Il va sans dire que ce modèle requiert des compétences interpersonnelles approfondies chez tous les membres de l’équipe combinée, qui sont appelés à adopter des moyens créatifs leur permettant de compléter les travaux nécessaires dans les délais convenus.

Peu importe le type d’équipe chargé de la réalisation d’une évaluation, les membres de l’équipe ont des responsabilités similaires. Les évaluatrices et les évaluateurs sont responsables, entre autres, d’élaborer un plan ou un devis d’évaluation, de recueillir et d’analyser les données, de gérer les ressources financières et le projet d’évaluation, d’élaborer un rapport d’évaluation et d’informer la haute gestion et d’autres parties prenantes au sujet des résultats de l’évaluation. Les compétences nécessaires pour réaliser toutes ces tâches seront présentées un peu plus loin.

Les rôles et responsabilités des parties prenantes

Bien que les équipes d’évaluation jouent un rôle essentiel au bon déroulement d’un projet d’évaluation, elles doivent aussi se fier à d’autres personnes qui y contribueront à divers moments. Les gestionnaires des programmes évalués doivent fournir les renseignements nécessaires à la réalisation du plan ou du devis d’évaluation, ainsi que les données existantes qui feront partie de l’analyse des extrants et des résultats du programme. Les gestionnaires doivent aussi réviser les documents produits par l’équipe d’évaluation et fournir de la rétroaction ou des commentaires au besoin. Les membres de la haute direction de l’organisation doivent communiquer leurs attentes clairement à l’équipe d’évaluation, en décrivant les décisions à prendre sur la base des informations qui seront fournies dans le rapport d’évaluation. Ils sont aussi responsables de d’approuver le devis d’évaluation (et donc doivent orienter la sélection de l’approche évaluative et des questions d’évaluation). Ils doivent finalement développer un plan d’action et le mettre en œuvre suite au dépôt du rapport d’évaluation. Les membres du personnel, les bénéficiaires et les parties prenantes externes doivent participer activement à la collecte de données lorsqu’on leur demande leur avis, de porter un intérêt envers l’évaluation, d’appuyer l’équipe d’évaluation au besoin et de mettre en œuvre le plan d’action visant à améliorer le programme suite à l’évaluation.

La Société canadienne d’évaluation

Il n’existe pas d’ordre professionnel en évaluation, comme ceux que l’on retrouve par exemple en médecine, en droit, en ingénierie, etc. Cependant, il existe des associations professionnelles nationales partout à travers le monde qui ont pour mission de réunir les évaluatrices et les évaluateurs et de promouvoir l’évaluation comme pratique professionnelle. Au Canada, la Société canadienne d’évaluation (SCÉ) joue ce rôle depuis plus de trente ans. La SCÉ est « vouée à l’avancement de la théorie et de la pratique de l’évaluation ». Ses membres profitent à la fois d’un abonnement régional et national et peuvent participer à un large éventail d’activités de perfectionnement, dont des ateliers et des cours en présentiel et en ligne, des colloques locaux et un congrès national. La SCÉ commandite aussi une revue qui publie des articles scientifiques ainsi que des notes sur la pratique.

Parmi les nombreuses ressources produites par la SCÉ, deux sont particulièrement pertinentes pour les praticiens et les praticiennes de l’évaluation : les normes d’évaluation de programme et le guide sur l’éthique en évaluation de programme.

Les normes d’évaluation de programme

L’assurance de la qualité de l’évaluation passe donc par l’adhésion volontaire à des normes qui correspondent aux rôles et aux responsabilités des évaluatrices et des évaluateurs. Les normes pour la pratique évaluative ont été élaborées par un comité américain, le « Joint Committee on Standards for Educational Evaluation ». Les membres de ce comité représentent diverses associations professionnelles, telles que la American Educational Research Association, la American Psychological Association et le National Council on Measurement in Education. Ces normes, qui existent depuis plusieurs années et qui sont révisées de façon ponctuelle, ont été adoptées par la Société canadienne d’évaluation en 2012. Il existe cinq grandes catégories de normes : l’utilité (U), qui vise à assurer que les processus et les produits d’évaluation correspondent aux besoins des intervenants ; la faisabilité (F), qui porte sur l’efficacité et le rendement de l’évaluation ; la convenance (C), qui vise ce qui est convenable, équitable, légal, correct et juste dans une évaluation ; la précision (P), qui vise à assurer la fiabilité et véracité des représentations, des propositions et des découvertes en évaluation ; et la responsabilité en évaluation (E), qui porte sur la documentation produite à l’appui des évaluations ainsi que sur la métaévaluation. Chacune de ces cinq catégories se divise en sous-catégories qui énoncent les comportements et les produits attendus dans le cadre d’une évaluation.

L’éthique en évaluation

La pratique éthique de l’évaluation revêt plusieurs aspects essentiels, dont le respect des droits et du bien-être des personnes qui participent à la démarche évaluative, l’intégrité et la transparence du travail réalisé dans le cadre d’une évaluation et le professionnalisme. Ces trois aspects reflètent les valeurs fondamentales de la SCÉ et de ses membres. Puisque l’évaluation est un domaine d’intervention humaine, il n’est pas possible de prévoir ou d’imaginer tous les scénarios qui pourraient se produire au cours d’une démarche évaluative. Ainsi, le guide de la SCÉ est fondé sur un questionnement éthique qui permet aux évaluatrices et aux évaluateurs de prendre des décisions éclairées, qui respectent les valeurs fondamentales auxquelles elles et ils adhèrent.

Le guide de la SCÉ propose également un scénario fictif ainsi que des exemples de dilemmes et de risques encourus dans le cadre de démarches évaluatives afin de stimuler l’échange et la discussion parmi ses membres et ainsi, de contribuer au développement d’une pratique éthique dans le domaine.

Les compétences et le titre d’Évaluateur Qualifié

La Société canadienne d’évaluation est la première au monde à se doter d’un profil de compétences lié à un titre professionnel. Bien que ce titre ne soit pas requis pour exercer le métier d’évaluateur, il confère certains avantages aux membres de la SCÉ qui le détiennent. Les personnes qui ont obtenu le titre d’ÉQ ont démontré à un jury de leurs pairs qu’ils ont les compétences et l’expérience nécessaires pour réaliser des évaluations de qualité. L’obtention du titre n’est pas obligatoire et son implication légale est limitée; cependant, il permet parfois d’obtenir des postes ou des contrats intéressants et sert d’un gage de reconnaissance de ses capacités professionnelles.

Comme indiqué ci-haut, l’obtention du titre d’ÉQ exige une démonstration de l’atteinte de compétences, qui sont décrites dans un référentiel produit par la SCÉ. Les 36 compétences présentées dans ce référentiel sont organisées en cinq domaines:

• Pratique réflexive: Ce domaine réfère aux connaissances portant sur la théorie et la pratique de l’évaluation, aux normes de pratique et à l’éthique. Il porte aussi sur la capacité à réfléchir rétrospectivement sur sa pratique afin de continuer à apprendre et à s’améliorer.
• Pratique technique: Ce domaine réfère aux compétences techniques nécessaires pour planifier et réaliser une évaluation. Les compétences liées à la modélisation des programmes ainsi qu’à la collecte et l’analyse des données font partie de ce domaine.
• Pratique contextuelle: Ce domaine réfère à l’adaptation des pratiques évaluatives au contexte organisationnel et culturel dans lequel on se retrouve.
• Pratique de gestion: Ce domaine réfère à l’utilisation saine des ressources dédiées à l’évaluation et à la gestion de projet.
• Pratique concernant les relations interpersonnelles: Ce domaine couvre tous les aspects liés au développement et au maintien de relations de travail saines et à la communication avec toutes les parties prenantes impliquées à la démarche évaluative.

Conclusion

La professionnalisation de l’évaluation a des avantages et des inconvénients. Le choix d’obtenir le titre d’Évaluateur Qualifié dépend généralement du type de poste que l’on occupe ou que l’on recherche ainsi que de l’intensité de nos activités évaluatives. Peu importe notre décision, le référentiel des compétences de la SCÉ ou d’autres organisations nationales peut être utile et nous permettre de cerner les compétences à développer à l’aide de cours, de formation professionnelle, ou d’autres moyens d’apprentissage.