Politique ministérielle d’évaluation de programme

La Politique a pour objectif de soutenir le ministère de l’Économie, de l’Innovation et de l’Énergie (le Ministère) dans l’exercice de l’évaluation de programmes. Elle décrit la raison d’être de la fonction, tout en précisant l’encadrement, la pratique, le financement et le partage des responsabilités liées à l’exercice de l’évaluation de programmes.

Bien que la mise en place de l’évaluation de programmes au Ministère remonte au début des années 1970, c’est en 2000, avec l'adoption de la Loi sur l’administration publique (RLRQ, chapitre A-6.01), qu’un cadre de gestion axée sur les résultats a été instauré au sein des ministères et des organismes du gouvernement du Québec. En février 2014, le Secrétariat du Conseil du trésor (SCT) a diffusé sa directive concernant l’évaluation de programmes (Décret no 125-2014 du 19 février 2014) en vue de renforcer la pratique de l’évaluation au sein des ministères.

Dans ce contexte, il incombe au Ministère d’évaluer de façon continue les résultats de ses programmes d’aide financière, de ses stratégies, de ses plans d’action ou de toute autre intervention (organismes, projet et mesure) qu’il juge nécessaire. La première Politique ministérielle d’évaluation de programme a été diffusée en 2015. Après huit ans d’existence, il est devenu nécessaire pour le Ministère de procéder à sa mise à jour.

L’expression « évaluation de programmes » est utilisée pour éviter la confusion avec d’autres formes d’évaluation, par exemple l’évaluation foncière ou l’évaluation des apprentissages. Par conséquent, notre définition du terme « Programme » est la suivante :

L’évaluation vise à générer des connaissances sur les résultats des programmes, dans le but d’apprécier leur pertinence, leur efficacité, leur efficience et la conformité de leur mise en œuvre. Elle a pour objectifs d’aider les décideurs à améliorer les programmes et de permettre aux citoyens d’en connaître les résultats. L’évaluation est une démarche rigoureuse de collecte et d’analyse d’information et contribue ainsi à rationaliser la prise de décision et à rendre plus efficace la dépense publique. Au Ministère, la mission de l'évaluation consiste :

• à fournir aux décideurs en temps opportun une information utile, crédible et objective sur la pertinence et les résultats du programme évalué à l’occasion du renouvellement des cadres normatifs ou des ententes de financement;
• à recommander des mesures à prendre en vue d’améliorer les résultats des programmes;
• à participer efficacement au processus de reddition de comptes, notamment à l’occasion du renouvellement de cadres normatifs de programmes ou du renouvellement d’une entente de financement consenti à un organisme;
• à contribuer à une gestion axée sur les résultats, en procurant aux directions concernées un soutien pour la détermination des résultats attendus, le choix d’indicateurs et la conception d’outils de suivi des résultats.

La Politique ministérielle d'évaluation de programmes a pour objectif de maintenir au Ministère une fonction d’évaluation efficace et indépendante, et de rendre disponible au moment opportun, des informations sur les résultats du programme évalué.

Le Ministère utilise l’évaluation de programmes dans sa gestion pour :

• communiquer en temps opportun, au sous-ministre, aux sous-ministres associés ou adjoints, aux directeurs généraux ainsi qu’aux gestionnaires, de l’information crédible, stratégiquement ciblée, objective et fondée sur des faits, au sujet des résultats des programmes d’aide financière;
• concevoir des programmes indiquant clairement les résultats visés et comportant dès le départ des systèmes valides de mesure et de suivi des résultats et de reddition de comptes;
• évaluer d’une manière rigoureuse et objective les résultats de ses programmes et, au besoin, les résultats de ses autres mesures d’intervention.

Cette politique s’applique à toutes les unités administratives du Ministère.

Les activités d’évaluation de programmes s’exercent en conformité avec le cadre légal gouvernemental, qui comprend :

• la Loi sur l’administration publique (RLRQ, chapitre A-6.01);
• la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (RLRQ, chapitre A-2.1);
• la Loi concernant principalement l’organisation gouvernementale en matière d’économie et d’innovation (L.Q. 2019, chapitre 29)
• la Loi sur le ministère de l’Économie et de l’Innovation (RLRQ, chapitre M-14.1)
• la Loi sur Investissement Québec (RLRQ, chapitre I-16.0.1)
• les règlements adoptés en vertu de ces lois;
• les décisions du Conseil exécutif et du Secrétariat du Conseil du trésor  (SCT);
• les règlements sur la gestion contractuelle et les services professionnels.

Par ailleurs, les évaluateurs de programmes sont assujettis à plusieurs dispositions légales, réglementaires, professionnelles ou autres dans le cadre de leur travail, soit :

• la Loi sur la fonction publique (RLRQ, chapitre F-3.1.1);
• le Règlement sur l’éthique et la discipline dans la fonction publique (RLRQ, chapitre F-3.1.1, r. 3);
• le Guide de l’évaluation des programmes du Ministère;
• la Charte ministérielle d’évaluation de programmes;
• le Plan pluriannuel d’évaluation de programmes du Ministère.

L’application de la Politique exige le respect de certains principes directeurs dans l’exercice de l’évaluation de programmes. Ces principes sont les suivants :

• L’évaluation de programmes s’inscrit dans le processus de reddition de comptes prévu par la Loi sur l’administration publique (RLRQ, chapitre A-6.01).
• L’évaluation est reconnue formellement comme une fonction distincte au sein du Ministère, à laquelle sont allouées des ressources financières.
• Le champ d’application dans lequel s’exerce l’évaluation inclut tous les programmes du Ministère, qu’ils soient administrés par le Ministère ou par Investissement Québec.
• Les mandats d’évaluation découlent du Plan pluriannuel d’évaluation (PPE), des plans annuels d’évaluation et des mandats ad hoc confiés par les autorités du Ministère. Le nombre de mandats et leur envergure devront être en adéquation avec les ressources disponibles à la Direction des programmes et de l’évaluation (DPE).
• La planification des mandats d’évaluation répond aux besoins du Ministère et de son réseau de partenaires, notamment le SCT. Par conséquent, des arrimages efficaces doivent être maintenus avec chacun des secteurs du Ministère.
• L’évaluation de programmes s’appuie sur un noyau solide de ressources professionnelles, au sein du Ministère, dont la formation continue est reconnue comme un besoin essentiel.
• Les évaluateurs de programmes exercent leur fonction conformément à l’encadrement légal et réglementaire détaillé à la section 2 (Encadrement légal, réglementaire et normatif) de la présente politique.
• Les évaluateurs de programmes ont accès à toutes les sources d’information disponibles et peuvent compter sur l’entière collaboration du personnel du Ministère.
• Les évaluateurs de programmes sont tenus à la discrétion sur ce dont ils ont connaissance dans l’exercice de leurs fonctions.
• Le personnel de l’équipe d’évaluation peut être appelé à participer au processus d’élaboration des programmes d’aide financière, des politiques, des stratégies ou des plans d’action dès les premières étapes, pour faire en sorte que les résultats visés soient définis en des termes qui se prêtent à une évaluation ultérieure.

Sous-ministre

• Approuver et diffuser la présente politique, ainsi que les modalités d’application en découlant, et veiller à sa mise en œuvre.
• Avaliser le PPE.
• Recevoir les rapports d’évaluation et autoriser leur utilisation, au besoin, pour toute reddition de comptes requise en matière de gestion axée sur les résultats.
• Veiller à ce que l'on tienne compte des constatations, des conclusions et des recommandations issues des évaluations pour prendre des décisions stratégiques concernant les politiques et les programmes ainsi que pour rendre compte des résultats des interventions du Ministère.

Sous-ministres adjoints (propriétaires et copropriétaires de programmes)

• Collaborer à l’élaboration du PPE.
• Prendre connaissance des cadres d’évaluation qui touchent leur secteur pour être informés de la réalisation et de la portée des mandats d’évaluation.
• Veiller à ce que leur secteur fournisse à l'équipe d’évaluation la collaboration et l’information requises et suffisantes lors de la réalisation des mandats.
• Prendre connaissance minutieusement des rapports d’évaluation et des recommandations ainsi que des plans d’action proposés par les directeurs généraux, les directrices générales et les gestionnaires et visant à y donner suite.
• Utiliser, au besoin, les rapports d’évaluation pour :
  • prendre des décisions stratégiques concernant le renouvellement ou la fermeture d’un programme;
  • préparer et déposer, au SCT, toute reddition de comptes requise en matière d’évaluation de programmes.

Membre du Comité exécutif (COMEX) responsable de l’évaluation de programmes

• Mettre en place une fonction d’évaluation de programmes, lui allouer les ressources nécessaires et nommer un gestionnaire de l’évaluation.
• Approuver le PPE et le présenter au COMEX.
• Prendre connaissance des cadres d’évaluation réalisés par l’équipe d’évaluation.
• Veiller à ce que les rapports d’évaluation soient acheminés au sous-ministre, aux sous-ministres adjoints et aux directeurs généraux dans des délais raisonnables.

Directeurs généraux, directrices générales et gestionnaires (responsables ou coresponsables de volets de programmes et administrateurs ou coadministrateurs de programmes)

• Collaborer à la mise à jour du PPE et des plans annuels d’évaluation.
• Veiller à ce que les résultats attendus des mesures d’aide financière ou des ententes de financement avec des organismes soient définis dans les actes administratifs (cadres normatifs ou conventions de subvention) en des termes qui se prêtent à une évaluation ultérieure (au besoin, en concertation avec l’équipe d’évaluation), et s’assurer que des mesures sont prises pour que les bénéficiaires fournissent, en temps opportun, l’information attendue à propos des résultats découlant des aides financières reçues.
• Participer au processus d’évaluation en assistant aux comités d’évaluation, pour valider le cadre et le rapport d’évaluation et s’assurer que les enjeux liés au mandat sont pris en considération.
• Informer, au besoin, le sous-ministre adjoint ou le directeur général des résultats critiques ou stratégiques constatés, et ce, y compris durant la réalisation de l’évaluation.
• Fournir aux évaluateurs la collaboration et l’information requises et suffisantes lors de la réalisation des mandats d’évaluation.
• Transmettre à l’évaluateur en chef, dans un délai de 20 jours ouvrables suivant le rapport d’évaluation, un plan d’action dans le but de donner suite aux recommandations découlant du rapport d’évaluation.
• Prendre les décisions appropriées à la lumière des constats de l’évaluation.
• Veiller à la mise en œuvre des actions envisagées au regard des recommandations de l’évaluation.

Gestionnaire responsable de l’évaluation de programmes au Ministère

• Soutenir les autorités du Ministère dans leurs besoins et obligations en évaluation de programme.
• S’assurer d’une qualité optimale des cadres méthodologiques et des rapports d’évaluation réalisés par les membres de son équipe.
• Assurer l’élaboration des politiques, procédures, outils et processus, et ce, dans le but de donner lieu à une réalisation constante, efficace et efficiente des mandats d’évaluation.
• Voir à ce qu’il y ait un mécanisme en place de suivi régulier des recommandations en évaluation de programmes.

Évaluateur en chef

• Élaborer le PPE et les plans annuels des opérations en évaluation, en tenant compte des obligations de reddition de comptes au SCT et des priorités du Ministère.
• Mettre à jour le PPE, selon l’agenda requis par le SCT.
• Coordonner la mise en place et la réalisation du PPE de même que des plans annuels des opérations en évaluation et en effectuer le suivi.
• Élaborer la Charte ministérielle d’évaluation de programmes, pour définir les principes de déontologie professionnelle ainsi que les protocoles encadrant la pratique de l’évaluation et les faire approuver par le gestionnaire responsable de l’évaluation.
• Superviser le déroulement des mandats d’évaluation et accompagner les évaluateurs dans leurs dossiers.
• Assurer la qualité des évaluations, de concert avec le gestionnaire responsable de l’évaluation de programmes.
• Veiller à ce que les rapports d’évaluation soient utiles et pertinents pour soutenir la prise de décision quant à l’amélioration des interventions du Ministère.
• Assurer, auprès des autorités et des gestionnaires du Ministère, la mise à profit et le transfert des connaissances liées aux résultats de l’évaluation, en présidant les comités d’évaluation et en veillant à la réalisation d’une présentation formelle du rapport d’évaluation et des recommandations.
• Représenter le Ministère pour les questions relatives au rôle, aux pratiques, aux méthodes d’évaluation et aux orientations de la fonction d’évaluation.

Évaluateurs de programmes

• Exercer la pratique de l’évaluation conformément aux normes et aux règles prévues dans le Guide et la Charte d’évaluation de programmes du Ministère.
• Fournir des conseils, des avis et des services dans le domaine de l’évaluation, notamment aux gestionnaires et au personnel affectés à la mesure et à l’évaluation des résultats des programmes financés.
• Formuler et proposer les questions précises de l’évaluation, au regard des préoccupations des autorités du Ministère, en ce qui concerne un programme, un financement d’organisme ou une mesure d’intervention.
• Proposer une stratégie d’investigation précise de nature à répondre aux questions d’évaluation, y compris le recours éventuel à des moyens particuliers d’évaluation.
• Collecter les données pertinentes qui leur permettront de bien asseoir le processus d’évaluation et de réaliser les analyses et les rapports nécessaires et utiles à la prise de décision.
• Faire participer les professionnels et les gestionnaires responsables de l’intervention aux étapes stratégiques de la démarche d’évaluation, ainsi qu’au transfert des connaissances découlant des résultats de l’évaluation.

Le financement de l’évaluation a trait aux dépenses liées à la réalisation d’études complémentaires et nécessaires aux mandats, par exemple des sondages, des analyses de retombées économiques ou des études d’étalonnage, mais ne comprend pas le salaire des évaluateurs qui travaillent pour le Ministère.

À la fin de chaque année financière, une prévision budgétaire est établie pour chacune des évaluations à effectuer l’année suivante. Cette prévision s’intègre par la suite dans la planification budgétaire de la direction responsable de l’évaluation de programmes, ce qui assure l’allocation des ressources financières nécessaires pour mener à bien la réalisation des évaluations prévues.

6.1 Les questions d’évaluation

L’évaluation d’un Programme vise à apprécier dans quelle mesure les objectifs et les résultats visés de l’aide financière consentie ou de l’incitation fiscale sont atteints et, si possible, dans quelle mesure les résultats obtenus sont comparables à d’autres interventions similaires.

Pour ce faire, les évaluations mettent l’accent sur les préoccupations suivantes :

• la pertinence, pour déterminer dans quelle mesure le programme évalué répond à des priorités stratégiques et à des besoins réels;
• l’efficacité, pour déterminer dans quelle mesure les résultats visés sont atteints, en distinguant les résultats immédiats (extrants), les résultats intermédiaires (effets) et les résultats ultimes (retombées économiques et autres retombées);
• l’efficience, pour apprécier dans quelle mesure les résultats sont obtenus à des coûts raisonnables;
• la conformité, pour apprécier dans quelle mesure la mise en œuvre du programme est conforme aux balises normatives et évaluer la satisfaction de la clientèle.

6.2 Planification de l’évaluation de programmes

L’élaboration du Plan pluriannuel d’évaluation (PPE) incombe à la direction responsable de l’évaluation de programmes au Ministère. Il s’agit d’un plan triennal faisant état de tous les mandats d’évaluation prévus au cours de la période concernée. Les mandats déjà prévus dans les années ultérieures peuvent y figurer.

Depuis 2015, la complexité des évaluations a augmenté, en raison des envergures des programmes évalués et des contrôles externes de la qualité des évaluations exercés par le SCT. Par conséquent, les mandats d’évaluation doivent être retenus en tenant compte des priorités et des orientations ministérielles, des obligations légales en vertu des décisions du SCT et des ressources disponibles. C’est pourquoi l’élaboration du PPE devra tenir compte des critères suivants, en vue de prioriser les évaluations à réaliser :

• Prioriser les évaluations demandées par le SCT; en vertu d’une décision C.T.
• Privilégier l’évaluation d’un programme dont l’aide financière accordée est d’au moins 5 millions de dollars au total pour la période évaluée.
• Privilégier une évaluation de dispositif, plutôt que des évaluations individuelles d’organismes.
• Privilégier les nouveaux programmes n’ayant jamais fait l’objet d’une évaluation.

Dans le cas des évaluations de résultats d’un organisme soutenu par le Ministère, la demande d’évaluation du secteur pourrait être refusée ou annulée si la convention de subvention est renouvelée avant l’évaluation.

Les sous-ministres adjoints, les directeurs généraux et les gestionnaires jouent un rôle important dans l’élaboration du PPE, pour le choix des mandats à réaliser en vertu d’obligations légales auprès du SCT et pour la définition de la portée des mandats et des risques qui y sont associés.

Le PPE est approuvé par le sous-ministre et est mis à jour en octobre de chaque année en collaboration avec chacun des secteurs du Ministère. Conformément à l’article 6 de la Directive concernant l’évaluation de programmes dans les ministères et les organismes, le PPE et, au besoin, les plans opérationnels qui en découlent seront transmis au SCT au plus tard le 31 octobre de chaque année.

6.3 Évaluation de programmes et reddition de comptes

En vertu de la Loi sur l’administration publique (RLRQ, chapitre A-6.01), il est attendu du Ministère qu’il rende compte des résultats de ses politiques, de ses orientations et de ses programmes. Cela s’inscrit dans la volonté de rendre l’administration publique plus transparente dans ses actions et surtout dans son utilisation des fonds publics.

Dans cette perspective, il est souhaitable de rendre visible l’évaluation de programmes dans le plan stratégique ministériel ainsi que dans le rapport annuel de gestion, ce dernier présentant sommairement les principaux résultats des évaluations réalisées par le Ministère.

Par ailleurs, il est utile de rappeler que l’évaluation de programmes fait partie intégrante du cycle de gestion axée sur les résultats. Elle peut être mise à contribution à chacune de ses étapes, de la planification à la mise en œuvre, jusqu’au suivi des résultats.

6.4 Approbation et signature

Le gestionnaire responsable de l’évaluation de programmes et l’évaluateur en chef approuvent tous les rapports d’évaluation réalisés par la direction en les signant. Ils garantissent ainsi au sous-ministre que l’information contenue dans les rapports est valide et cohérente et que ceux-ci ont été réalisés dans le respect de l’ensemble des principes et méthodologies appliqués au Ministère.

6.5 Charte et Normes

La Charte ministérielle d’évaluation, présentée à l’annexe C, définit les critères de qualité d’une évaluation, le rôle des comités et les règles d’arbitrage durant les étapes de validation du cadre et du rapport d’évaluation. Elle vise les personnes participant à un mandat d’évaluation et plus particulièrement les membres du comité d’évaluation.

De plus, les activités d’évaluation doivent respecter les règles et les normes du SCT relatives à l’évaluation de programmes et diffusées dans la documentation disponible sur le site Internet du SCT .

6.6 Rôle et composition des comités d’évaluation

Un comité d’évaluation est constitué au démarrage de chaque évaluation. Le rôle du comité est présenté à l’annexe c – Charte d’évaluation et est composé des principales parties prenantes au programme évalué, sans dépasser un effectif de dix personnes. Les parties prenantes représentées à un comité sont les suivantes :

• Unités responsables de l’administration ou de la mise en œuvre du programme.
• Unités responsables de la conception du programme, à titre d’observateur.
• Ministères et organismes tiers partenaires du Ministère dans la mise en œuvre du programme.

Qu’il s’agisse d’une intervention normée ou du soutien à un organisme, lorsque le programme évalué dépasse un montant de 10 millions de dollars d’aide financière accordée, le comité d’évaluation doit être composé de deux parties externes au Ministère.

Les parties prenantes externes au Ministère qui prennent part aux travaux d’évaluation proviennent, par exemple, de ministères (fédéral ou provincial), d’organismes partenaires, d’organismes œuvrant dans le domaine de l’objet évalué ou, encore, de la société civile (ex. : expert dans un domaine particulier).

Également, la présence d’experts externes peut être envisagée à la demande des clients de l’évaluation, qui en assureront les frais, le cas échéant.

La diffusion des rapports d'évaluation se fait conformément à la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (RLRQ, chapitre A-2.1) et au Règlement sur la diffusion de l’information et sur la protection des renseignements personnels (RLRQ, chapitre A-2.1, r. 2).

Ce règlement prévoit la diffusion publique de rapports d’analyse, d’études et de documents statistiques. Puisque le rapport d’évaluation s’assimile à ce type de documents, le Ministère diffuse depuis 2013 sur Internet les rapports d’évaluation ou les résumés de ces derniers, sous réserve d’approbation par le sous-ministre.

La Direction des programmes et de l’évaluation assure le suivi de la présente politique ainsi que sa mise à jour.

Elle réalisera un suivi annuel des recommandations émanant des évaluations qui sera réalisé en février de chaque année et soumis au sous-ministre à titre d’information. Il porte sur les recommandations émanant des rapports d’évaluation réalisés dans l’année précédant le suivi ainsi que sur les recommandations émanant des rapports d’évaluation réalisés dans l’année du suivi. L’avancement de la mise en œuvre des recommandations sera mesuré selon l’un des quatre états suivants : réalisé, en cours de réalisation, non réalisé, ne s’applique plus/pas.

La Politique ministérielle d’évaluation de programme entre en vigueur à la date de son approbation par le sous‑ministre.

David Bahan, sous-ministre
Date : 16 juin 2023

Pour les décideurs

• Faciliter et accélérer la prise de décisions concernant l’attribution de financement.
• Prioriser les éléments critiques pour la décision.
• Faciliter la comparaison entre les différents programmes soumis à la décision.

Pour les propriétaires et copropriétaires de programmes, les responsables et coresponsables de volets de programmes, les administrateurs et coadministrateurs de programmes

• Rendre compte au SCT des résultats des programmes.
• Préparer les demandes de financement lors du renouvellement des programmes.
• Relever les points critiques nécessitant les améliorations aux programmes.
• Favoriser la confrontation des idées et l'apprentissage entre les parties prenantes durant le mandat d'évaluation.
• Faciliter la mise en place de systèmes de suivi des résultats des programmes.
• Déterminer les résultats à atteindre et définir les indicateurs pertinents.

Pour les citoyens et les parlementaires

• Faciliter l'accès aux résultats des programmes du Ministère.
• Procurer aux parlementaires un outil de suivi des résultats des programmes du Ministère.
• Favoriser la transparence de l'information relative aux résultats du Ministère.

Pour le Ministère

• Améliorer de façon continue ses programmes et ses interventions.
• Améliorer le contenu de l'information mise à disposition des décideurs et de la population.

La Direction des programmes et de l’évaluation offre les services suivants :

Mandats d’évaluation

Les formes du livrable d’évaluation peuvent prendre les formes suivantes :

• Évaluation normale de toute intervention du Ministère : ces évaluations portent sur la pertinence, l’efficacité, l’efficience et la conformité de la mise en œuvre; de 6 à 8 mois de travaux. Le contrôle de la validité des constats est effectué par un comité d’évaluation.
• Évaluation rapide : ces évaluations portent sur la pertinence et l’efficacité; de 4 à 12 semaines de travaux. Le contrôle de la validité des constats est effectué par un comité d’évaluation.
• Évaluation éclair : ces évaluations portent sur un critère dans l’un des 4 volets évalués normalement (pertinence, efficacité, efficience et conformité); de 1 à 4 semaines de travaux. Le contrôle de la validité des constats est effectué de gré à gré avec l’évalué.
• Évaluation ou bilan de mise en œuvre ou de mi-parcours : c’est un examen de l’état d’avancement de l’intervention. Le contrôle de la validité des constats est effectué par un comité d’évaluation.
• Bilan évaluatif des résultats : l’évaluation est centrée sur l’efficacité du programme, en vue de faire état des résultats obtenus, sans nécessairement porter un jugement sur l’atteinte des résultats visés. Ce type d’évaluation peut ne pas être accompagnée de recommandations.

Mandats de services-conseils

• Accompagnement pour la préparation et la réalisation d’enquêtes (sondages téléphoniques et autres).
• Analyses de données d’enquêtes.
• Services-conseils pour l’emploi de techniques d’analyse de données.
• Élaboration de tableaux de bord de gestion.
• Détermination d’indicateurs et de cibles de résultats.
• Soutien à la préparation de cadres normatifs et de documents administratifs pour la détermination d’objectifs, de cibles et d’indicateurs de résultat.

Mandats réalisés de façon continue

• Accompagnement des autorités du Ministère, en matière d’évaluation et de reddition de comptes, notamment auprès du SCT.
• Lien avec les organismes externes d’évaluation de programmes.
• Encadrement, soutien et gestion de la fonction d’évaluation, incluant particulièrement la mise en œuvre d’un programme d’assurance qualité des travaux d’évaluation et la formation nécessaire pour les évaluateurs de programmes.
• Collaboration à l’élaboration des cadres normatifs des programmes, à propos du choix des résultats visés et des indicateurs de résultats.

L’exposé des motifs

La Charte informe des critères de qualité d’une évaluation, du rôle des comités d’évaluation et des règles d’arbitrage durant les étapes de validation du cadre et du rapport d’évaluation. Elle vise les personnes participant à un mandat d’évaluation et plus particulièrement, les membres du comité d’évaluation.

La Charte se veut un guide et un rappel permanent de principes généraux largement reconnus dans le milieu de l’évaluation des programmes publics au Canada. Elle permet de prévenir, autant que possible, les difficultés qui surgissent souvent en cours d’évaluation faute d’avoir clarifié les questions de principes et de déontologie professionnelle.

L’application des principes contenus dans la Charte contribue à la réalisation d’évaluations objectives et de qualité ainsi qu’à la préservation de la liberté de choix des décideurs publics.

L’évaluation de programmes au Ministère

L’évaluation de programmes consiste à évaluer les résultats des programmes du Ministère et vise à générer des connaissances sur les résultats de ces derniers, dans le but d’apprécier leur pertinence, leur efficacité, leur efficience et la conformité de leur mise en œuvre. Elle a pour objectifs d’aider les décideurs à améliorer les programmes et de permettre aux citoyens d’en connaître les résultats. L’évaluation contribue ainsi à rationaliser la prise de décision et à rendre plus efficace la dépense publique.

Les critères de qualité d’une évaluation

Principe d’utilité

L’évaluation produit de l’information utile, pertinente et livrée à temps, en vue de contribuer à une prise de décision éclairée. L’évaluation est réalisée dans les délais prévus pour fournir aux décideurs les réponses aux questions qui les préoccupent. Le rapport d’évaluation est concis (30 à 40 pages au maximum). Il contient un sommaire exécutif, l’énoncé du contexte de l’évaluation, des limites et des sources d’information, les analyses factuelles des résultats obtenus, l’appréciation de ces résultats par rapport à ceux attendus (ou aux cibles) et les conclusions.

Principe de clarté

Un mandat d’évaluation donne lieu à deux livrables : le cadre d’évaluation et le rapport d’évaluation. Le cadre expose clairement les objectifs de l’évaluation, la logique de l’intervention du Ministère, une brève description de l’objet évalué et le protocole d’évaluation. Ce protocole décrit les critères à évaluer, les cibles de résultats et leurs indicateurs, les méthodes de collecte de données, les limites de l’évaluation et la méthode de pointage de l’appréciation des résultats. Le rapport résulte de l’application du protocole d’évaluation décrit dans le cadre et il rappelle la finalité et le contexte de l’évaluation. Les analyses contenues dans le rapport s’appuient sur une argumentation rationnelle basée sur les faits constatés. Cette argumentation est limitée à l’énoncé des constats relatifs aux résultats obtenus et à l’appréciation de leurs écarts par rapport aux résultats attendus (cibles).

Principe de transparence

La version définitive du rapport d’évaluation est transmise aux parties prenantes qui composent le comité d’évaluation. Par la suite, elle est remise aux autorités du Ministère. La diffusion publique du rapport est souhaitable, mais elle est conditionnelle à l’autorisation du sous-ministre.

Principe de respect des personnes

L’évaluation est réalisée dans le respect et la considération auxquels ont droit les personnes associées de près ou de loin à la réalisation des mandats d’évaluation, notamment les membres du comité d’évaluation. La révélation de toute information nominative est à exclure, à moins d’une autorisation des personnes concernées. Les informations publiques (par exemple un nom d’organisme) peuvent être nominatives et présentes dans le rapport sans l’accord des personnes concernées.

Principe d’intégrité

Les évaluateurs réalisent leurs mandats de manière professionnelle, dans le respect des valeurs éthiques et morales du Ministère et de la fonction publique québécoise, pour assurer la légitimité de l’évaluation. Ils doivent être extérieurs à l’environnement de l’intervention évaluée, non seulement pour éviter d’éventuels conflits d’intérêts, mais aussi pour renforcer la neutralité et la transparence de l’évaluation.

Le comité d’évaluation

Rôle du comité

Le comité valide le cadre et le rapport d’évaluation. Cependant, il n’est pas demandé au comité d’approuver ces documents. À cet effet, nous faisons la distinction suivante :

• valider : reconnaître que le contenu est vrai en vertu des faits constatés et qu’il est conforme au protocole d’évaluation;
• approuver : juger que le contenu correspond à son opinion et consentir à sa diffusion.

Fonctionnement du comité

Le comité est constitué pour la durée de l’évaluation. Il prend fin au moment de la diffusion de la version définitive du rapport. Aucune rémunération ne sera versée aux personnes composant le comité.

Composition du comité

La composition des comités d’évaluation est définie à l’article 6.6 de la Politique ministérielle d’évaluation de programme du Ministère. Le nombre de membres participant au comité ne devrait pas dépasser dix personnes, dans le but de faciliter et d’accélérer la gestion de l’évaluation.

Engagement de confidentialité à l’égard des livrables

Les membres du comité s’engagent à ne pas divulguer les livrables ou des documents dont ils ont connaissance durant l’évaluation à des personnes extérieures au comité. À cet effet, tant et aussi longtemps que la diffusion publique des livrables (cadre et rapport) n’est pas autorisée par le Ministère, leur accès est limité aux membres du comité et au personnel ayant signé un engagement de confidentialité.

Le règlement des arbitrages

Principe de neutralité

L’évaluation est réalisée à charge et à décharge, c'est-à-dire que sont recueillis tant les éléments en faveur que ceux à l'encontre de l’intervention évaluée, et ce, sans parti pris de la part des évaluateurs. Le rapport résulte de l’application directe du protocole d’évaluation validé dans le cadre par le comité d’évaluation. Le rapport validé par le comité d’évaluation est la version définitive transmise aux autorités du Ministère.

Principe de pluralité

Les étapes de validation du cadre et du rapport favorisent la collégialité et le discours contradictoire. La collégialité permet de gommer les appréciations personnelles et la contradiction permet de rechercher un point d’équilibre entre les parties prenantes. L’application de ce principe vise à prendre en compte les différents intérêts en présence et à recueillir la diversité des points de vue.

Principe d’impartialité

Le rapport d’évaluation est impartial, tant dans les constats que dans les appréciations des résultats obtenus et les conclusions. Les appréciations des résultats sont équilibrées et rationnelles. Elles sont basées sur les écarts constatés entre les résultats obtenus et ceux attendus (ou cibles).

Principe de responsabilité

Les évaluateurs sont responsables de l’application des principes de neutralité, de pluralité et d’impartialité. Les personnes participant au comité d’évaluation, quant à elles, ont l’obligation d’adhérer à ces principes. Dans les étapes de validation, il revient aux membres du comité de proposer les ajustements pertinents aux projets de cadre et de rapport. Ces demandes d’ajustements doivent être motivées par la logique et appuyées par un argumentaire factuel et rationnel.

Principe de distanciation

La distanciation se traduit par la neutralité  des évaluateurs relativement à l’intervention évaluée et par leur impartialité  relativement aux demandes d’ajustements des projets de cadre et de rapport. À cet égard, lorsqu’il n’est pas possible de trouver un point d’équilibre entre les propositions des évaluateurs contenues dans le projet de cadre ou de rapport et les demandes d’ajustements d’une ou de plusieurs parties prenantes, l’arbitrage conduit à la solution suivante :

Une tribune d’une page dans le cadre ou le rapport est offerte aux parties prenantes concernées pour leur permettre d’exposer leur point de vue et leur argumentaire, et les propositions des évaluateurs demeurent en l’état dans les versions définitives du cadre ou du rapport.