Charte d'évaluation de programme du Ministère

Ce document informe de nos règles de conduite pour une évaluation de programme, en rappelant :

• la déontologie professionnelle des évaluateurs de programmes du Ministère;
• le rôle du comité d'évaluation;
• le règlement des arbitrages utilisé lors des étapes de validation du cadre et du rapport.

Dans toutes nos évaluations, la Charte est systématiquement transmise aux membres du comité.

La Charte informe des critères de qualité d'une évaluation, du rôle des comités d'évaluation et des règles d'arbitrage durant les étapes de validation du cadre et du rapport d'évaluation. Elle vise les personnes participant à un mandat d'évaluation et plus particulièrement les membres du comité d'évaluation.

La Charte se veut un guide et un rappel permanent de principes généraux largement reconnus dans le milieu de l'évaluation de programmes publics au Canada. Elle permet de prévenir, autant que possible, les difficultés qui surgissent souvent en cours d'évaluation faute d'avoir clarifié les questions de principes et de déontologie professionnelle.

L'application des principes contenus dans la Charte contribue à la réalisation d'évaluations objectives et de qualité ainsi qu'à la préservation de la liberté de choix des décideurs publics.

L'évaluation de programme consiste à évaluer les résultats des aides financières du Ministère, qu'il s'agisse d'un programme normé, d'un financement d'organisme, d'une mesure fiscale, d'un projet ou d'une politique. L'évaluation vise à produire des connaissances sur les résultats des programmes, dans le but d'apprécier leur pertinence, leur efficacité et leurs effets. Elle a pour objectifs d'aider les décideurs à améliorer les programmes et de permettre aux citoyens d'en estimer la valeur. L'évaluation contribue ainsi à rationaliser la prise de décision et à rendre plus efficace la dépense publique.

Principe d'utilité

L'évaluation produit de l'information utile, pertinente et livrée à temps, en vue de contribuer à une prise de décision éclairée. L'évaluation est réalisée dans les délais prévus pour fournir aux décideurs les réponses aux questions qui les préoccupent. Le rapport d'évaluation est concis (40 pages au maximum). Il contient un sommaire exécutif, l'énoncé du contexte de l'évaluation, des limites et des sources d'information, les analyses factuelles des résultats obtenus, l'appréciation de ces résultats par rapport à ceux attendus (ou aux cibles) et les conclusions.

Principe de clarté

Un mandat d'évaluation donne lieu à deux livrables : le cadre d'évaluation et le rapport d'évaluation. Le cadre expose clairement les objectifs de l'évaluation, la logique de l'intervention du Ministère, une brève description de l'objet évalué et le protocole d'évaluation. Ce protocole décrit les critères à évaluer, les cibles de résultats et leurs indicateurs, les méthodes de collecte de données, les limites de l'évaluation et la méthode de pointage de l'appréciation des résultats. Le rapport résulte de l'application du protocole d'évaluation décrit dans le cadre et il rappelle la finalité et le contexte de l'évaluation. Les analyses contenues dans le rapport s'appuient sur une argumentation rationnelle basée sur les faits constatés. Cette argumentation est limitée à l'énoncé des constats relatifs aux résultats obtenus et à l'appréciation de leurs écarts par rapport aux résultats attendus (cibles).

Principe de transparence

La version définitive du rapport d'évaluation est transmise aux parties prenantes qui composent le comité d'évaluation. Par la suite, elle est remise aux autorités du Ministère. La diffusion publique du rapport est souhaitable, mais elle est conditionnelle à l'autorisation du sous-ministre du Ministère.

Principe de respect des personnes

L'évaluation est réalisée dans le respect et la considération auxquels ont droit les personnes associées de près ou de loin à la réalisation des mandats d'évaluation, notamment les membres du comité d'évaluation. La révélation de toute information nominative est à exclure, à moins d'une autorisation des personnes concernées. Les informations publiques (par exemple un nom d'organisme) peuvent être nominatives et présentes dans le rapport sans l'accord des personnes concernées.

Principe d'intégrité

Les évaluateurs réalisent leurs mandats de manière professionnelle, dans le respect des valeurs éthiques et morales du Ministère et de la fonction publique québécoise, pour assurer la légitimité de l'évaluation. Ils doivent être extérieurs à l'environnement du programme à évaluer, non seulement pour éviter d'éventuels conflits d'intérêts, mais aussi pour renforcer la neutralité et la transparence de l'évaluation.

Rôle du comité

Le comité valide le cadre et le rapport d'évaluation. Il n'est cependant pas demandé au comité d'approuver ces documents. À cet effet, nous faisons la distinction suivante :

• valider : reconnaître que le contenu est vrai en vertu des faits constatés et qu'il est conforme au protocole d'évaluation;
• approuver : juger que le contenu correspond à son opinion et consentir à sa diffusion.

Fonctionnement du comité

Le comité est constitué pour la durée de l'évaluation. Il prend fin au moment de la diffusion de la version définitive du rapport. Aucune rémunération ne sera versée aux personnes composant le comité.

Composition du comité

Le comité est composé des représentants des principales parties prenantes de l'évaluation. La présence d'experts externes peut être envisagée à la demande des clients de l'évaluation, qui en assureront les frais, le cas échéant. Le nombre de membres participant au comité ne devrait pas dépasser huit personnes, dans le but de faciliter et d'accélérer la gestion de l'évaluation.

Engagement de confidentialité à l'égard des livrables

Les membres du comité s'engagent à ne pas divulguer les livrables ou des documents dont ils ont connaissance durant l'évaluation à des personnes extérieures au comité. À cet effet, tant et aussi longtemps que la diffusion publique des livrables (cadre et rapport) n'est pas autorisée par le Ministère, leur accès est limité aux membres du comité et au personnel ayant signé un engagement de confidentialité.

Principe de neutralité

L'évaluation est réalisée à charge et à décharge, c'est-à-dire que sont recueillis tant les éléments en faveur que ceux à l'encontre de l'objet évalué, et ce, sans parti pris de la part des évaluateurs. Le rapport résulte de l'application directe du protocole d'évaluation validé dans le cadre par le comité d'évaluation. Le rapport validé par le comité d'évaluation est la version définitive transmise aux autorités du Ministère.

Principe de pluralité

Les étapes de validation du cadre et du rapport favorisent la collégialité et le discours contradictoire. La collégialité permet de gommer les appréciations personnelles et la contradiction permet de rechercher un point d'équilibre entre les parties prenantes. L'application de ce principe vise à prendre en compte les différents intérêts en présence et à recueillir la diversité des points de vue.

Principe d'impartialité

Le rapport d'évaluation est impartial, tant dans les constats que dans les appréciations des résultats obtenus et les conclusions. Les appréciations des résultats sont équilibrées et rationnelles. Elles sont basées sur les écarts constatés entre les résultats obtenus et ceux attendus (ou cibles).

Principe de responsabilité

Les évaluateurs sont responsables de l'application des principes de neutralité, de pluralité et d'impartialité. Les personnes participant au comité d'évaluation, quant à elles, ont l'obligation d'adhérer à ces principes. Dans les étapes de validation, il revient aux membres du comité de proposer les ajustements pertinents aux projets de cadre et de rapport. Ces demandes d'ajustements doivent être motivées par la logique et appuyées par un argumentaire factuel et rationnel.

Principe de distanciation

La distanciation se traduit par la neutralité des évaluateurs relativement à l'objet évalué et par leur impartialité relativement aux demandes d'ajustements des projets de cadre et de rapport.

À cet égard, lorsqu'il n'est pas possible de trouver un point d'équilibre entre les propositions des évaluateurs contenues dans le projet de cadre ou de rapport et les demandes d'ajustements d'une ou de plusieurs parties prenantes, l'arbitrage conduit à la solution suivante :

• Une tribune d'une page dans le cadre ou le rapport est offerte aux parties prenantes concernées pour leur permettre d'exposer leur point de vue et leur argumentaire, et les propositions des évaluateurs demeurent en l'état dans les versions définitives du cadre ou du rapport d'évaluation.