Politique ministérielle d'évaluation de programme - Évaluer ses résultats pour s'améliorer

Réalisation

Cette publication a été produite par la Direction de la coordination, de l'évaluation et de la planification (DCEP) du ministère de l'Économie, de l'Innovation et des Exportations.

Nous remercions l'ensemble des personnes qui ont contribué à la préparation de ce document pour l'expertise qu'elles ont apportée au cours des travaux, et plus particulièrement le personnel de l'équipe d'évaluation, soit :

• Maria Garcia, adjointe administrative technique;
• Valérie Horth, évaluatrice de programmes;
• Marc-Michel Lavoie, évaluateur de programmes;
• Jean-François Lizotte, évaluateur de programmes;
• Chantale Poirier, évaluatrice de programmes;
• Jean-René Tagne Kuelah, évaluateur de programmes;
• Ibrahima Thiongane, évaluateur de programmes.

Conception et réalisation : Christophe Marchal, évaluateur principal

Révision et validation finale : François Maxime Langlois, directeur

Pour obtenir un exemplaire de ce document, faites parvenir votre demande à l'adresse suivante :

Par courriel : gar@economie.gouv.qc.ca
Par la poste :
Ministère de l'Économie, de l'Innovation et des Exportations
Direction de la coordination, de l'évaluation et de la planification
710, place D'Youville, 7e étage
Québec (Québec) G1R 4Y4

Dans la présente politique, le genre masculin est utilisé sans discrimination, dans le seul but d'alléger le texte.

Toute reproduction totale ou partielle de ce document est autorisée, à condition que la source soit mentionnée.

Version définitive – juillet 2015
© Gouvernement du Québec

Table des matières

• Mise en contexte
• 1. Objectif et portée de la politique
• 2. Encadrement légal, réglementaire et normatif
• 3. Principes directeurs
• 4. Partage des responsabilités
• 5. Financement de l'évaluation de programme
• 6. Pratique de l'évaluation de programme
  • 6.1 Les questions d'évaluation
  • 6.2 Planification de l'évaluation de programme
  • 6.3 Évaluation de programme et reddition de comptes
  • 6.4 Approbation et signature
  • 6.5 Charte et Normes
• 7. Diffusion des rapports d'évaluation
• 8. Entrée en vigueur
• Annexe A - Avantage de l'évaluation
• Annexe B - Offre de services
• Annexe C - Charte d'évaluation

La Politique a pour objectif de soutenir le ministère de l'Économie, de l'Innovation et des Exportations dans l'exercice de l'évaluation de programme. Elle décrit la raison d'être de la fonction, tout en précisant l'encadrement, la pratique, le financement et le partage des responsabilités liées à l'exercice de l'évaluation de programme.

Mise en contexte

En 2000, avec l'adoption de la Loi sur l'administration publique (RLRQ, chapitre A-6.01), un cadre de gestion axée sur les résultats a été instauré au sein des ministères et des organismes du gouvernement du Québec. En février 2014, le Secrétariat du Conseil du trésor (SCT) a diffusé sa directive concernant l'évaluation de programme (Décret no 125-2014 du 19 février 2014) en vue de renforcer la pratique de l'évaluation au sein des ministères. Dans ce contexte, il incombe au ministère de l'Économie, de l'Innovation et des Exportations d'évaluer de façon continue les résultats de ses programmes d'aide financière et de ses mesures.

Officialisée en 2000 au Ministère, la fonction d'évaluation de programme a contribué à rendre compte des résultats de nombreux programmes d'aide financière, qu'il s'agisse de programmes de subvention, de projets d'envergure, de mesures fiscales ou d'organismes. Après 15 ans d'exercice de cette fonction, il est devenu nécessaire pour le Ministère de se doter d'une politique d'évaluation de programme.

L'expression « évaluation de programme » est utilisée pour éviter la confusion avec d'autres formes d'évaluation, par exemple l'évaluation foncière ou l'évaluation des apprentissages. Par conséquent, notre définition du terme « programme » est la suivante :

• Le terme « programme » est un terme générique désignant toute forme de mesure d'aide financière du Ministère, que ce soit un programme de subvention, une mesure fiscale, un projet ou le financement consenti à un organisme.

L'évaluation vise à produire des connaissances sur les résultats des programmes, dans le but d'apprécier leur pertinence, leur efficacité et leurs effets. Elle a pour objectifs d'aider les décideurs à améliorer les programmes et de permettre aux citoyens d'en estimer la valeur. L'évaluation est une démarche rigoureuse de collecte et d'analyse d'information et contribue ainsi à rationaliser la prise de décision et à rendre plus efficace la dépense publique. Au Ministère, la mission de l'évaluation (Les avantages liés à la pratique de l'évaluation de programme sont présentés à l'annexe A) consiste :

• à fournir aux décideurs en temps opportun une information utile, crédible et objective sur la pertinence et la performance du programme d'aide financière évalué, que ce soit une politique, un programme de subvention, un fonds, un crédit d'impôt ou le financement d'un organisme, notamment à l'occasion du renouvellement des cadres normatifs ou des ententes de financement;
• à recommander des mesures à prendre en vue d'améliorer les résultats des programmes;
• à participer efficacement au processus de reddition de comptes, notamment à l'occasion du renouvellement de cadres normatifs de programmes ou du renouvellement d'une entente de financement consenti à un organisme;
• à contribuer à une gestion axée sur les résultats, en procurant aux directions concernées un soutien pour la détermination des résultats attendus, le choix d'indicateurs et la conception d'outils de suivi des résultats.

1. Objectif et portée de la politique

La Politique ministérielle d'évaluation de programme a pour objectif de maintenir au Ministère une fonction d'évaluation efficace et indépendante, de rendre disponible au bon moment des informations sur les résultats des programmes d'aide financière, et ce, qu'il s'agisse de politiques, de programmes de subvention, de fonds, de mesures fiscales, de financements d'organismes ou de projets majeurs.

Le Ministère utilise l'évaluation de programme dans sa gestion pour :

• communiquer en temps opportun, au sous-ministre, aux sous-ministres associés ou adjoints, aux directeurs généraux ainsi qu'aux gestionnaires, de l'information crédible, stratégiquement ciblée, objective et fondée sur des faits, au sujet des résultats des programmes d'aide financière;
• concevoir des programmes indiquant clairement les résultats attendus et comportant dès le départ des systèmes valides de mesure et de suivi des résultats et de reddition de comptes;
• évaluer d'une manière rigoureuse et objective les résultats de ses programmes et, au besoin, les résultats de ses autres mesures d'intervention.

Cette politique s'applique à toutes les unités administratives du Ministère.

2. Encadrement légal, réglementaire et normatif

Les activités d'évaluation de programme s'exercent en conformité avec le cadre légal gouvernemental, qui comprend :

• la Loi sur l'administration publique (RLRQ, chapitre A-6.01);
• la Loi sur l'accès aux documents des organismes publics et sur la protection des renseignements personnels (RLRQ, chapitre A-2.1);
• les règlements adoptés en vertu de ces lois;
• les décisions du Conseil exécutif et du Secrétariat du Conseil du trésor;
• les règlements sur la gestion contractuelle et les services professionnels.

Par ailleurs, les évaluateurs de programmes sont assujettis à plusieurs dispositions légales, réglementaires et professionnelles dans le cadre de leur travail, soit :

• la Loi sur la fonction publique (RLRQ, chapitre F-3.1.1);
• le Règlement sur l'éthique et la discipline dans la fonction publique (RLRQ, chapitre F-3.1.1, r. 3);
• le Guide de l'évaluation des programmes du Ministère;
• la Charte d'évaluation de programme du Ministère.

3. Principes directeurs

L'application de la Politique exige le respect de certains principes directeurs dans l'exercice de l'évaluation de programme. Ces principes sont les suivants :

• L'évaluation de programme s'inscrit dans le processus de reddition de comptes prévu par la Loi sur l'administration publique (RLRQ, chapitre A-6.01).
• L'évaluation est reconnue formellement comme une fonction distincte au sein du Ministère (Voir l'offre de services à l'annexe A.), à laquelle sont allouées des ressources financières.
• Les mandats d'évaluation découlent du Plan triennal d'évaluation (PTE), des plans annuels d'évaluation et des mandats ad hoc confiés par les autorités du Ministère.
• La planification des mandats d'évaluation répond aux besoins du Ministère et de son réseau de partenaires. Par conséquent, des arrimages efficaces doivent être maintenus avec chacun des secteurs du Ministère.
• L'évaluation de programme s'appuie sur un noyau solide de ressources professionnelles, au sein du Ministère, dont la formation continue est reconnue comme un besoin essentiel.
• Les évaluateurs de programmes exercent leur fonction conformément à l'encadrement légal et réglementaire détaillé à la section 2 (Encadrement légal, réglementaire et normatif) de la présente politique.
• Les évaluateurs de programmes ont accès à toutes les sources d'information disponibles et peuvent compter sur l'entière collaboration du personnel du Ministère.
• Les évaluateurs de programmes sont tenus à la discrétion sur ce dont ils ont connaissance dans l'exercice de leurs fonctions.
• Le personnel de l'équipe d'évaluation peut être appelé à participer au processus d'élaboration des programmes d'aide financière dès les premières étapes, pour faire en sorte que les résultats attendus soient définis en des termes qui se prêtent à une évaluation ultérieure.

4. Partage des responsabilités

Sous-ministre

• Approuver et diffuser la présente politique, ainsi que les modalités d'application en découlant, et veiller à sa mise en œuvre.
• Avaliser le PTE.
• Recevoir les rapports d'évaluation et autoriser leur utilisation, au besoin, pour toute reddition de comptes requise en matière de gestion axée sur les résultats.
• Veiller à ce que l'on tienne compte des constatations, des conclusions et des recommandations issues des évaluations pour prendre des décisions stratégiques concernant les politiques et les programmes ainsi que pour rendre compte des résultats des interventions du Ministère.

Sous-ministres adjoints et directeurs généraux

• Collaborer à l'élaboration du PTE.
• Prendre connaissance des cadres d'évaluation qui touchent leur secteur pour être informés de la réalisation et de la portée des mandats d'évaluation.
• Veiller à ce que leur secteur fournisse à l'équipe d'évaluation la collaboration et l'information requises et suffisantes lors de la réalisation des mandats.
• Prendre connaissance minutieusement des rapports d'évaluation et des recommandations pour décider des suites à donner.
• Utiliser, au besoin, les rapports d'évaluation pour :
  • prendre des décisions stratégiques concernant le renouvellement des programmes, que ce soit des politiques ou des stratégies, des programmes normés de subvention, des fonds, des mesures fiscales, des financements consentis à des organismes ou des projets majeurs;
  • préparer et déposer, au Secrétariat du Conseil du trésor, toute reddition de comptes requise en matière d'évaluation de programme.

Membre du Comité exécutif (COMEX) responsable de l'évaluation de programme

• Mettre en place une fonction d'évaluation de programme, lui allouer les ressources nécessaires et nommer un gestionnaire de l'évaluation.
• Approuver le PTE et le présenter au COMEX.
• Prendre connaissance des cadres d'évaluation réalisés par l'équipe d'évaluation.
• Veiller à ce que les rapports d'évaluation soient acheminés au sous-ministre, aux sous-ministres adjoints et aux directeurs généraux dans des délais raisonnables.

Gestionnaires

• Collaborer à la mise à jour du plan triennal et des plans annuels d'évaluation.
• Veiller à ce que les résultats attendus des mesures d'aide financière ou des ententes de financement avec des organismes soient définis dans les actes administratifs (cadres normatifs ou conventions de subvention) en des termes qui se prêtent à une évaluation ultérieure (au besoin, en concertation avec l'équipe d'évaluation).
• Participer au processus d'évaluation en assistant aux comités d'évaluation, pour valider le cadre et le rapport d'évaluation et s'assurer que les enjeux liés au mandat sont pris en considération.
• Informer, au besoin, le sous-ministre adjoint ou le directeur général des résultats critiques ou stratégiques constatés, et ce, y compris durant la réalisation de l'évaluation.
• Fournir aux évaluateurs la collaboration et l'information requises et suffisantes lors de la réalisation des mandats d'évaluation.
• Transmettre à l'évaluateur principal, dans les délais convenus, les actions envisagées au regard des recommandations de l'évaluation.
• Prendre les décisions appropriées à la lumière des constats de l'évaluation.
• Veiller à la mise en œuvre des actions envisagées au regard des recommandations de l'évaluation.
  

Gestionnaire responsable de l'évaluation de programme

• Administrer les ressources financières et humaines allouées à l'évaluation.
• Veiller à la promotion, au suivi et à la mise en place du PTE et des plans annuels des opérations en évaluation.
• Assurer l'approbation et la diffusion de la présente politique, de même que son respect par le personnel auquel elle s'applique au sein du Ministère.
• Faciliter la diffusion du Guide et de la Charte d'évaluation de programme du Ministère.
• Appuyer, au besoin, le sous-ministre et les sous-ministres associés et adjoints dans la préparation et le dépôt, au Secrétariat du Conseil du trésor, de toute reddition de comptes requise en matière d'évaluation de programme.
• Respecter, dans le cadre des travaux d'évaluation, la présente politique ainsi que les modalités de fonctionnement adoptées en vertu de cette dernière.
• Assurer la qualité des évaluations, de concert avec l'évaluateur principal.

Évaluateur principal

• Élaborer le PTE et les plans annuels des opérations en évaluation, en tenant compte des obligations de reddition de comptes au Secrétariat du Conseil du trésor et des priorités du Ministère.
• Coordonner la mise en place et la réalisation du PTE de même que des plans annuels des opérations en évaluation et en effectuer le suivi.
• Élaborer le Guide et la Charte d'évaluation de programme du Ministère, pour définir les principes de déontologie professionnelle ainsi que les protocoles encadrant la pratique de l'évaluation et les faire approuver par le gestionnaire responsable de l'évaluation.
• Superviser le déroulement des mandats d'évaluation et accompagner les évaluateurs dans leurs travaux.
• Assurer la qualité des évaluations, de concert avec le gestionnaire responsable de l'évaluation de programme.
• Veiller à ce que les rapports d'évaluation soient utiles et pertinents pour soutenir la prise de décision quant à l'amélioration des interventions du Ministère.
• Assurer, auprès des autorités et des gestionnaires du Ministère, la mise à profit et le transfert des connaissances liées aux résultats de l'évaluation, en présidant les comités d'évaluation et en veillant à la réalisation d'une présentation formelle du rapport d'évaluation et des recommandations.
• Représenter le Ministère pour les questions relatives au rôle, aux pratiques, aux méthodes d'évaluation et aux orientations de la fonction d'évaluation.

Évaluateurs de programmes

• Exercer la pratique de l'évaluation conformément aux normes et aux règles prévues dans le Guide et la Charte d'évaluation de programme du Ministère.
• Fournir des conseils, des avis et des services dans le domaine de l'évaluation, notamment aux gestionnaires et au personnel affectés à la mesure et à l'évaluation des résultats des programmes financés.
• Formuler et proposer les questions précises de l'évaluation, au regard des préoccupations des autorités du Ministère, en ce qui concerne un programme, un financement d'organisme ou une mesure d'intervention.
• Proposer une stratégie d'investigation précise de nature à répondre aux questions d'évaluation, y compris le recours éventuel à des moyens particuliers d'évaluation.
• Collecter les données pertinentes qui leur permettront de bien asseoir le processus d'évaluation et de réaliser les analyses et les rapports nécessaires et utiles à la prise de décision.
• Faire participer les professionnels et les gestionnaires responsables de l'intervention aux étapes stratégiques de la démarche d'évaluation, ainsi qu'au transfert des connaissances découlant des résultats de l'évaluation.

5. Financement de l'évaluation de programme

Le financement de l'évaluation a trait aux dépenses liées à la réalisation d'études complémentaires et nécessaires aux mandats, par exemple des sondages, des analyses de retombées économiques ou des études d'étalonnage, mais ne comprend pas le salaire des évaluateurs qui travaillent pour le Ministère.

À la fin de chaque année financière, une prévision budgétaire est établie pour chacune des évaluations à effectuer l'année suivante. Cette prévision s'intègre par la suite dans la planification budgétaire de la direction responsable de l'évaluation de programme, ce qui assure l'allocation des ressources financières nécessaires pour mener à bien la réalisation des évaluations prévues.

6. Pratique de l'évaluation de programme

6.1 Les questions d'évaluation

L'évaluation d'une politique, d'un programme d'aide financière, d'un fonds, d'une mesure fiscale, d'un financement consenti à un organisme ou d'un projet majeur vise à apprécier dans quelle mesure les objectifs et les résultats attendus de la dépense publique ou de l'incitation fiscale sont atteints et, si possible, dans quelle mesure les résultats obtenus sont comparables à d'autres interventions similaires.

Pour ce faire, les évaluations mettent l'accent sur les préoccupations suivantes :

• la question de la pertinence, pour déterminer dans quelle mesure le programme évalué continue de répondre à des priorités stratégiques et à des besoins réels;
• la question de l'efficacité et de l'efficience, pour déterminer si les moyens les plus efficaces sont utilisés pour atteindre les objectifs, si la population visée est satisfaite, si la dépense publique est utilisée à bon escient et, également, pour établir si un autre ministère ou un organisme assimilé pourrait assumer la responsabilité du programme;
• la question des effets, pour apprécier dans quelle mesure les effets attribuables au programme évalué correspondent aux attentes du Ministère.

6.2 Planification de l'évaluation de programme

La direction responsable de l'évaluation de programme a la responsabilité d'élaborer un PTE. Il s'agit d'un plan pluriannuel faisant état de tous les mandats d'évaluation devant être réalisés au cours de la période prévue. Les mandats sont choisis en tenant compte des priorités, des orientations ministérielles et des obligations de reddition de comptes du Ministère. Le PTE est mis à jour à l'aide des plans annuels des opérations.

Les sous-ministres adjoints, les directeurs généraux et les gestionnaires jouent un rôle important dans l'élaboration du PTE, pour le choix des mandats à réaliser en vertu d'obligations légales auprès du Secrétariat du Conseil du trésor et pour la définition de la portée des mandats et des risques qui y sont associés.

Le PTE est approuvé par le sous-ministre. Les plans annuels des opérations sont validés par les sous-ministres adjoints.

Conformément à l'article 6 de la Directive concernant l'évaluation de programme dans les ministères et les organismes, le PTE et les plans opérationnels qui en découlent seront transmis au Secrétariat du Conseil du trésor au plus tard le 31 octobre de chaque année.

6.3 Évaluation de programme et reddition de comptes

En vertu de la Loi sur l'administration publique (RLRQ, chapitre A-6.01), il est attendu du Ministère qu'il rende compte des résultats de ses politiques, de ses orientations et de ses programmes. Cela s'inscrit dans la volonté de rendre l'administration publique plus transparente dans ses actions et surtout dans son utilisation des fonds publics.

Dans cette perspective, il est souhaitable de rendre visible l'évaluation de programme dans le plan stratégique ministériel ainsi que dans le rapport annuel de gestion, ce dernier présentant sommairement les principaux résultats des évaluations réalisées par le Ministère.

Par ailleurs, il est utile de rappeler que l'évaluation de programme fait partie intégrante du cycle de gestion axée sur les résultats. Elle peut être mise à contribution à chacune de ses étapes, de la planification à la mise en œuvre, jusqu'au suivi des résultats.

6.4 Approbation et signature

Le directeur responsable de l'équipe d'évaluation et l'évaluateur principal approuvent tous les rapports d'évaluation réalisés par la direction en les signant. Ils garantissent ainsi au sous-ministre que l'information contenue dans les rapports est valide et cohérente et que ceux-ci ont été réalisés dans le respect de l'ensemble des principes et méthodologies appliqués au Ministère.

6.5 Charte et Normes

La Charte d'évaluation, présentée à l'annexe C, définit les critères de qualité d'une évaluation, le rôle des comités et les règles d'arbitrage durant les étapes de validation du cadre et du rapport d'évaluation. Elle vise les personnes participant à un mandat d'évaluation et plus particulièrement les membres du comité d'évaluation.

De plus, les activités d'évaluation doivent respecter les règles et les normes présentées dans le Guide de l'évaluation de programme du Ministère. Ce document fait état des normes de qualité à respecter, des protocoles d'évaluation en vigueur et des responsabilités des évaluateurs de programmes.

7. Diffusion des rapports d'évaluation

La diffusion des rapports d'évaluation doit se faire conformément à la Loi sur l'accès aux documents des organismes publics et sur la protection des renseignements personnels (RLRQ, chapitre A-2.1) et au Règlement sur la diffusion de l'information et sur la protection des renseignements personnels (RLRQ, chapitre A-2.1, r. 2). Dans ce contexte, le Ministère doit diffuser les études, les rapports de recherche ou de statistiques présentant un intérêt public.

À cet effet, les rapports d'évaluation sont assimilés à des rapports de recherche ou de statistiques et, à ce titre, s'inscrivent dans ce règlement. Ils sont systématiquement diffusés sur le site intranet du Ministère. Cependant, la diffusion publique des rapports d'évaluation sur le site Web du Ministère doit être approuvée par le sous-ministre. Par ailleurs, la diffusion publique des rapports, ou de leurs sommaires, doit être effectuée au cours du deuxième trimestre de l'année en cours, sauf en cas de demande particulière.

8. Entrée en vigueur

La Politique ministérielle d'évaluation de programme entre en vigueur à la date de son approbation par le sous-ministre.

(Signature du sous-ministre, Jocelin Dumas, le 21 juillet 2015)

Annexe A - Avantages de l'évaluation

Les avantages liés à l'évaluation de programme

Pour les décideurs

• Faciliter et accélérer la prise de décisions concernant l,attribution de financement.
• Objectiver et prioriser les éléments critiques pour la décision.
• Faciliter la comparaison entre les différents programmes soumis à la décision.

Pour les directions responsables des programmes et les « évalués »

• Rendre compte au Secrétariat du Conseil du trésor des résultats des programmes.
• Préparer les demandes de financement lors du renouvellement des cadre normatifs.
• Relever les points critiques nécessitant les améliorations aux programmes.
• Favoriser la confrontation des idées et l'apprentissage entre les parties prenantes durant le mandat d'évaluation.
• Faciliter la mise en place de systèmes de suivi des résultats des programmes.
• Déterminer les résultats à atteindre et définir les indicateurs pertinents.

Pour les citoyens et les parlementaires

• Faciliter l'accès aux résultats des programmes du Ministère.
• Procurer aux parlementaires un outil de suivi des résultats des programmes du Ministère.
• Favboriser la transparence de l'information relative aux résultats du Ministère.

Au final, pour le Ministère

• Améliorer de façon continue ses programmes et politiques.
• Améliorer le contenu de l'information mise à disposition des décideurs et de la population.

Annexe B - Offre de services

La Direction de la coordination, de l'évaluation et de la planification offre les services suivants :

Mandats d'évaluation

• Évaluation de politiques ou de stratégies gouvernementales.
• Évaluation de programmes d'aide financière ou de fonds d'aide.
• Évaluation d'organismes partenaires, notamment les organismes financés dans le cadre d'ententes financières.
• Évaluation de mesures fiscales.
• Évaluation de projets d'envergure ou de mesures d'intervention du Ministère, faisant l'objet d'une demande des autorités du Ministère ou de gestionnaires.

Mandats de services-conseils

• Accompagnement pour la préparation et la réalisation d'enquêtes (sondages téléphoniques et autres).
• Analyses de données d'enquêtes.
• Services-conseils pour l'emploi de techniques d'analyse de données.
• Élaboration de tableaux de bord de gestion.
• Détermination d'indicateurs et de cibles de résultats.
• Soutien à la préparation de cadres normatifs et de documents administratifs pour la détermination d'objectifs, de résultats et d'indicateurs.

Mandats réalisés de façon continue

• Accompagnement des autorités du Ministère, en matière d'évaluation et de reddition de comptes, notamment auprès du Secrétariat du Conseil du trésor.
• Lien avec les organismes externes d'évaluation de programme.
• Encadrement, soutien et gestion de la fonction d'évaluation, incluant particulièrement la mise en œuvre d'un programme d'assurance qualité des travaux d'évaluation et la formation nécessaire pour les évaluateurs de programmes.

Annexe C - Charte d'évaluation

L'exposé des motifs

La Charte informe des critères de qualité d'une évaluation, du rôle des comités d'évaluation et des règles d'arbitrage durant les étapes de validation du cadre et du rapport d'évaluation. Elle vise les personnes participant à un mandat d'évaluation et plus particulièrement les membres du comité d'évaluation.

La Charte se veut un guide et un rappel permanent de principes généraux largement reconnus dans le milieu de l'évaluation de programmes publics au Canada. Elle permet de prévenir, autant que possible, les difficultés qui surgissent souvent en cours d'évaluation faute d'avoir clarifié les questions de principes et de déontologie professionnelle.

L'application des principes contenus dans la Charte contribue à la réalisation d'évaluations objectives et de qualité ainsi qu'à la préservation de la liberté de choix des décideurs publics.

L'évaluation de programme au Ministère

L'évaluation de programme consiste à évaluer les résultats des aides financières du Ministère, qu'il s'agisse d'un programme normé, d'un financement d'organisme, d'une mesure fiscale, d'un projet ou d'une politique. L'évaluation vise à produire des connaissances sur les résultats des programmes, dans le but d'apprécier leur pertinence, leur efficacité et leurs effets. Elle a pour objectifs d'aider les décideurs à améliorer les programmes et de permettre aux citoyens d'en estimer la valeur. L'évaluation contribue ainsi à rationaliser la prise de décision et à rendre plus efficace la dépense publique.

Les critères de qualité d'une évaluation

Principe d'utilité

L'évaluation produit de l'information utile, pertinente et livrée à temps, en vue de contribuer à une prise de décision éclairée. L'évaluation est réalisée dans les délais prévus pour fournir aux décideurs les réponses aux questions qui les préoccupent. Le rapport d'évaluation est concis (40 pages au maximum). Il contient un sommaire exécutif, l'énoncé du contexte de l'évaluation, des limites et des sources d'information, les analyses factuelles des résultats obtenus, l'appréciation de ces résultats par rapport à ceux attendus (ou aux cibles) et les conclusions.

Principe de clarté

Un mandat d'évaluation donne lieu à deux livrables : le cadre d'évaluation et le rapport d'évaluation. Le cadre expose clairement les objectifs de l'évaluation, la logique de l'intervention du Ministère, une brève description de l'objet évalué et le protocole d'évaluation. Ce protocole décrit les critères à évaluer, les cibles de résultats et leurs indicateurs, les méthodes de collecte de données, les limites de l'évaluation et la méthode de pointage de l'appréciation des résultats. Le rapport résulte de l'application du protocole d'évaluation décrit dans le cadre et il rappelle la finalité et le contexte de l'évaluation. Les analyses contenues dans le rapport s'appuient sur une argumentation rationnelle basée sur les faits constatés. Cette argumentation est limitée à l'énoncé des constats relatifs aux résultats obtenus et à l'appréciation de leurs écarts par rapport aux résultats attendus (cibles).

Principe de transparence

La version définitive du rapport d'évaluation est transmise aux parties prenantes qui composent le comité d'évaluation. Par la suite, elle est remise aux autorités du Ministère. La diffusion publique du rapport est souhaitable, mais elle est conditionnelle à l'autorisation du sous-ministre du Ministère.

Principe de respect des personnes

L'évaluation est réalisée dans le respect et la considération auxquels ont droit les personnes associées de près ou de loin à la réalisation des mandats d'évaluation, notamment les membres du comité d'évaluation. La révélation de toute information nominative est à exclure, à moins d'une autorisation des personnes concernées. Les informations publiques (par exemple un nom d'organisme) peuvent être nominatives et présentes dans le rapport sans l'accord des personnes concernées.

Principe d'intégrité

Les évaluateurs réalisent leurs mandats de manière professionnelle, dans le respect des valeurs éthiques et morales du Ministère et de la fonction publique québécoise, pour assurer la légitimité de l'évaluation. Ils doivent être extérieurs à l'environnement du programme à évaluer, non seulement pour éviter d'éventuels conflits d'intérêts, mais aussi pour renforcer la neutralité et la transparence de l'évaluation.

Le comité d'évaluation

Rôle du comité

Le comité valide le cadre et le rapport d'évaluation. Il n'est cependant pas demandé au comité d'approuver ces documents. À cet effet, nous faisons la distinction suivante :

• valider : reconnaître que le contenu est vrai en vertu des faits constatés et qu'il est conforme au protocole d'évaluation;
• approuver : juger que le contenu correspond à son opinion et consentir à sa diffusion.

Fonctionnement du comité

Le comité est constitué pour la durée de l'évaluation. Il prend fin au moment de la diffusion de la version définitive du rapport. Aucune rémunération ne sera versée aux personnes composant le comité.

Composition du comité

Le comité est composé des représentants des principales parties prenantes de l'évaluation. La présence d'experts externes peut être envisagée à la demande des clients de l'évaluation, qui en assureront les frais, le cas échéant. Le nombre de membres participant au comité ne devrait pas dépasser huit personnes, dans le but de faciliter et d'accélérer la gestion de l'évaluation.

Engagement de confidentialité à l'égard des livrables

Les membres du comité s'engagent à ne pas divulguer les livrables ou des documents dont ils ont connaissance durant l'évaluation à des personnes extérieures au comité. À cet effet, tant et aussi longtemps que la diffusion publique des livrables (cadre et rapport) n'est pas autorisée par le Ministère, leur accès est limité aux membres du comité et au personnel ayant signé un engagement de confidentialité.

Le règlement des arbitrages

Principe de neutralité

L'évaluation est réalisée à charge et à décharge, c'est-à-dire que sont recueillis tant les éléments en faveur que ceux à l'encontre de l'objet évalué, et ce, sans parti pris de la part des évaluateurs. Le rapport résulte de l'application directe du protocole d'évaluation validé dans le cadre par le comité d'évaluation. Le rapport validé par le comité d'évaluation est la version définitive transmise aux autorités du Ministère.

Principe de pluralité

Les étapes de validation du cadre et du rapport favorisent la collégialité et le discours contradictoire. La collégialité permet de gommer les appréciations personnelles et la contradiction permet de rechercher un point d'équilibre entre les parties prenantes. L'application de ce principe vise à prendre en compte les différents intérêts en présence et à recueillir la diversité des points de vue.