Cette édition a été produite par la Direction de la coordination, de l'évaluation et de la planification (DCEP) du ministère de l'Économie, de la Science et de l'Innovation (MESI).
Nous remercions l'ensemble des personnes qui ont contribué à la préparation de ce document pour l'expertise qu'elles ont apportée au cours des travaux, et plus particulièrement le personnel de l'équipe d'évaluation, en l'occurrence :
Conception et réalisation : Christophe Marchal, évaluateur principal.
Pour obtenir un exemplaire de ce document, faites parvenir votre demande à l'adresse suivante :
Par courriel gar@economie.gouv.qc.ca
Par la poste Ministère de l'Économie, de la Science et de l'Innovation
Direction de la coordination, de l'évaluation et de la planification
710, place D'Youville, 7e étage
Québec (Québec) G1R 4Y4
Dans le présent guide, le genre masculin est utilisé sans discrimination, dans le seul but d'alléger le texte.
Toute reproduction totale ou partielle de ce document est autorisée, à la condition que la source soit mentionnée.
Version définitive
Dernière mise à jour : mars 2017
© Gouvernement du Québec
Comme les précédentes éditions, le Guide décrit le processus de réalisation des mandats d'évaluation au Ministère, les méthodes et les protocoles d'évaluation utilisés ainsi que les normes de qualité et d'éthique en vigueur au sein de l'équipe d'évaluation de la DCEP. Il vise à baliser la pratique de l'évaluation de programme au Ministère, à faciliter le travail des évaluateurs et à informer le personnel du Ministère et le public en général du déroulement des évaluations.
Le présent Guide est conforme à la Politique ministérielle d'évaluation de programme et à la Charte d'évaluation de programme du Ministère. Ces deux documents sont disponibles à l'adresse suivante :
Conformément à la Loi sur l'administration publique (LRQ, chap. A-6.01)1, le ministère de l'Économie, de la Science et de l'Innovation (MESI) a recours à l'évaluation de programme, qui peut être définie comme une démarche rigoureuse de collecte et d'analyse d'information, dont le but est d'apprécier les résultats d'un programme, qu'il s'agisse d'un programme de subventions, d'un fonds de développement économique, d'une mesure fiscale ou d'un financement public consenti à un organisme ou à une société d'État. Au besoin, l'évaluation de programme permet aussi d'apprécier les résultats d'une politique, d'une stratégie, d'un projet ou d'une mesure d'aide financière.
Le terme « évaluation de programme » est utilisé pour ne pas confondre cette pratique avec d'autres formes d'évaluation, par exemple l'évaluation foncière ou l'évaluation des apprentissages. À ce propos, notre définition du terme « programme » est la suivante :
Le terme « programme » est un terme générique désignant toute forme de mesure d'aide financière du Ministère, que ce soit un programme de subventions, une mesure fiscale, un projet ou le financement consenti à un organisme.
Au Ministère, l'évaluation des résultats d'un programme d'aide financière permet d'apprécier à la fois sa pertinence pour répondre aux besoins de la clientèle visée, son efficacité dans l'atteinte des objectifs, son efficience économique ainsi que ses effets. Habituellement, les interventions du Ministère qui sont évaluées concernent les programmes de subventions, les mesures fiscales et le financement consenti à des organismes à but non lucratif (OBNL) ou à des sociétés d'État.
François Maxime Langlois
Directeur
Direction de la coordination, de l'évaluation et de la planification
Christophe Marchal
Évaluateur principal
Direction de la coordination, de l'évaluation et de la planification
La littérature offre une pléthore de définitions au concept d'évaluation de programme. Pour le Secrétariat du Conseil du trésor du Québec (SCT), l'évaluation de programme est définie comme : « une démarche rigoureuse et systématique de collecte et d'analyse de données probantes sur les interventions afin de les améliorer ou de poser un jugement sur leur valeur et, ainsi, d'éclairer la prise de décision.2 »
L'équipe d'évaluation du Ministère s'est donné sa propre définition de l'évaluation de programme, à savoir : « Évaluer, c'est comparer les résultats obtenus aux résultats attendus, dans le but de fournir des constats valides et un avis utile aux décideurs. » Pour ce faire, il est nécessaire de :
La mission de la fonction d'évaluation de programme est de contribuer à l'accomplissement du mandat du Ministère en fournissant au sous-ministre, aux sous-ministres associés ou adjoints, aux directeurs généraux et aux gestionnaires, de l'information avérée, crédible et objective sur la pertinence et la performance des programmes d'aide financière et sur les éventuelles améliorations à apporter en vue d'obtenir de meilleurs résultats, et ce, de façon continue.
L'évaluation de programme est une fonction de soutien à la gestion visant à :
La réalisation des mandats d'évaluation est motivée par :
Notre méthode de travail se résume selon ce principe général : « Rien n'est affirmé qui n'ait fait l'objet d'un constat au travers des données recueillies; rien n'est écrit dans les versions définitives du cadre et du rapport qui n'ait fait l'objet d'une validation par le comité d'évaluation. »
Le Ministère réalise ses évaluations en appliquant sa Charte d'évaluation de programme. Cette charte (chapitre 3 dans ce guide) décrit le code de déontologie professionnelle des évaluateurs, les règles d'arbitrages lors de la validation du cadre et du rapport ainsi que le rôle du comité d'évaluation. Par ailleurs, les évaluations sont réalisées dans le respect des principes suivants :
L'équipe d'évaluation a pour mandat de produire des connaissances utiles, pertinentes et livrées à temps sur les résultats des programmes. Ses objectifs consistent à aider les décideurs à améliorer les programmes et à permettre aux citoyens d'apprécier les résultats des dépenses publiques.
L'équipe d'évaluation est constituée de huit personnes à temps plein, dont sept évaluateurs de programmes et une adjointe administrative technique. Elle fait partie de la Direction de la coordination, de l'évaluation et de la planification (DCEP) du Secteur des politiques économiques (PE) du Ministère.
Les évaluateurs de programmes ont plus précisément comme mandat :
En plus des mandats d'évaluation, l'équipe d'évaluation offre aussi, sur la demande des directions générales du Ministère, des services-conseils en gestion axée sur les résultats, notamment :
Au Ministère, quatre types de mandats d'évaluation sont à distinguer :
Généralement, les évaluations sont réalisées a posteriori des programmes3, ce qui permet d'apprécier les résultats obtenus au regard des objectifs et de proposer des améliorations à mettre en place dans l'éventualité d'une reconduction du financement. Comme le montre la figure 1.1, la plupart des évaluations se déroulent à la fin du cycle de financement d'un programme. Dans ce cas, le rapport d'évaluation fournit des constats valides et une appréciation des résultats en vue d'aider la prise de décision sur les améliorations possibles du programme ou le renouvellement de son financement.
La figure décrit le cycle de vie typique d'un programme d'aide financière. Un horizon temporel, de trois à cinq ans, illustre les jalons qui marquent de vie d'un programme d'aide financière. L'horizon commence par la décision de mettre en œuvre le programme. L'application du programme peut durer de trois à cinq ans. À la fin de cette période, il est nécessaire de décider du renouvellement éventuel du programme. C'est à ce moment qu'intervient l'évaluation de programme.
Il est à noter que des évaluations mi-parcours sont réalisées pour les politiques, les stratégies ou les plans d'action dont la durée d'intervention prévue est de cinq ans ou plus.
En règle générale, il faut compter de six à huit mois pour réaliser un mandat d'évaluation, de la rencontre de démarrage au dépôt de la version définitive du rapport. Cette façon de faire permet de livrer les rapports d'évaluation en temps opportun. Toutefois, la durée du mandat peut être réduite en fonction du type de mandat à réaliser ou des exigences particulières des autorités du Ministère. Par ailleurs, il est possible de communiquer certains constats aux décideurs, en précisant que les données sont provisoires et strictement réservées à leur seul usage.
La figure 1.2 montre l'échéancier type d'une d'évaluation, sur une année financière (d'avril à mars) :
La figure décrite l'échéancier type du déroulement d'une évaluation de programme. Un horizon temporel, de six à mois, décrit les étapes de réalisation d'une évaluation. Habituellement, l'évaluation commence en janvier de chaque année. Le cadre d'évaluation est livré au plus tard au mois de mai. De mai à novembre, les travaux d'évaluation consistent en la collecte des données, aux analyses et à la rédaction du rapport. Le rapport final est livré en décembre au plus tard, juste avant la fenêtre décision sur le renouvellement éventuel de l'aide financière.
Il convient de noter que la réalisation des mandats peut différer de ce calendrier, selon les contraintes de l'exercice, notamment dans le cas des mandats ad hoc4.
L'activité principale des évaluateurs consiste à la réalisation de mandats d'évaluation, au cours desquels deux livrables sont produits : un cadre et un rapport d'évaluation.
Dans la réalisation de leurs mandats, les évaluateurs ont les responsabilités suivantes :
L'évaluation d'un programme doit permettre de rendre compte de ses résultats et de fournir une appréciation de sa pertinence et de sa performance, par rapport à ses objectifs et aux orientations du bailleur de fonds. C'est pourquoi les évaluations doivent apporter des réponses à trois questions :
Les deux prochaines questions renvoient à l'évaluation de la performance du programme, alors que la question précédente fait référence à la pertinence du programme.
Ces questions correspondent à trois champs d'investigation, soit la pertinence d'intervenir, l'efficacité et l'efficience par rapport aux objectifs et les impacts attribuables au programme évalué. Leur examen doit éclairer la prise de décision à l'effet du point suivant : «Faisons-nous les bonnes choses en intervenant de cette façon?»
L'évaluation de programme est régie par des normes professionnelles et un code d'éthique qui définissent ce que doivent respecter les évaluateurs de programmes pour garantir la qualité du processus et des résultats de l'évaluation. Les normes en vigueur au Ministère sont inspirées de celles de la Société canadienne d'évaluation (SCE). Celles-ci ont toutefois été adaptées à la réalité du Ministère. Tous les mandats d'évaluation sont réalisés conformément à ces normes et chaque évaluateur de l'équipe d'évaluation a la responsabilité de veiller à les respecter dans ses mandats.
Les normes d'utilité des livrables ont pour but de s'assurer que l'évaluation répond convenablement au besoin d'information des parties prenantes aux mandats et plus particulièrement des clients.
L'évaluation doit garantir l'accès à de l'information utile, pertinente et livrée à temps, pour contribuer à une prise de décision éclairée. Par conséquent, les protocoles d'évaluation doivent être simples et rigoureux et ils doivent répondre aux besoins des clients du mandat.
L'évaluation doit être effectuée dans les délais impartis. Par conséquent, les résultats de l'évaluation doivent être disponibles au moment opportun, pour fournir aux autorités les réponses aux questions qui les préoccupent.
Une uniformité est attendue dans la présentation des constats et des appréciations associés à l'atteinte des objectifs de l'objet évalué5. Le rapport d'évaluation doit être concis et inclure les éléments suivants :
Toutes les parties prenantes à un mandat d'évaluation doivent disposer des constats et des conclusions de l'évaluation.
Le choix et la portée des données recueillies doivent permettre de répondre adéquatement aux questions des clients du mandat, tout en tenant compte des préoccupations de l'ensemble des parties prenantes.
Une évaluation de programme doit présenter un certain nombre de renseignements.
Toutes les parties prenantes et les représentants de celles-ci doivent être présentés dans le rapport. En outre, l'évaluation doit tenir compte de leurs commentaires, dans le but de valider les constats et l'information contenus dans le cadre et le rapport d'évaluation. À cet effet, les représentants des parties prenantes sont consultés à deux reprises, par l'entremise d'un comité d'évaluation constitué au début du mandat d'évaluation, pour la validation du cadre et du rapport.
La stratégie d'évaluation (ou la méthodologie) utilisée doit être décrite en détail dans le cadre d'évaluation et le rapport d'évaluation, qui lui consacre une section. Elle doit permettre de définir les critères à considérer, les cibles à atteindre, les indicateurs de résultats, les sources d'information, les techniques de collecte de données et les limites de l'évaluation.
Les normes de faisabilité visent à s'assurer que l'évaluation est réalisée avec prudence et pragmatisme.
L'évaluation doit être réalisée avec un souci d'efficience et de production d'information utile pour légitimer les dépenses liées à la réalisation du mandat.
L'évaluation doit être effectuée dans la limite du budget imparti. L'évaluateur doit prévoir et utiliser prudemment le budget alloué au mandat pour éviter tout gaspillage ou toute utilisation inappropriée des fonds. Toutes les dépenses doivent être justifiées en raison des exigences de reddition de comptes.
Les recommandations doivent être liées au mandat et à l'objet évalué (programme ou organisme). De plus, elles doivent résulter des constats et des conclusions de l'évaluation et être formulées de manière à faciliter leur compréhension et leur application.
Les mesures correctives suggérées pour améliorer l'intervention du Ministère doivent être pratiques, réalistes et adaptées aux directions concernées par l'objet évalué.
La capacité des évaluateurs à réaliser leurs mandats dépend de l'adéquation de leurs compétences aux exigences des mandats. Ils doivent donc disposer des connaissances techniques et analytiques pour s'acquitter convenablement des travaux à mener dans le cadre des mandats d'évaluation. Dans le même sens, les mandats doivent être attribués dans la limite des champs de compétences des évaluateurs.
Les normes de rectitude assurent que l'évaluation est menée en conformité avec les lois et les règles d'éthique, dans le respect de toutes les parties prenantes au mandat.
L'évaluateur doit examiner les besoins et les attentes des parties prenantes dans le but d'y répondre efficacement.
L'évaluation doit être réalisée dans le respect et la considération auxquels ont droit les personnes associées de près ou de loin à la réalisation des mandats d'évaluation, notamment les membres du comité d'évaluation.
Les conflits d'intérêts doivent être résolus rapidement pour ne pas perturber le bon déroulement de l'évaluation et ne pas altérer la valeur des livrables du mandat.
Les évaluateurs réalisent leurs mandats de manière professionnelle, dans le respect des valeurs éthiques et morales du Ministère et de la fonction publique québécoise, pour assurer la légitimité de l'évaluation. De plus, ils doivent être extérieurs à l'environnement du programme ou de l'organisme à évaluer non seulement pour éviter d'éventuels conflits d'intérêts, mais aussi pour renforcer la neutralité et la transparence du processus évaluatif.
Les évaluateurs s'engagent à respecter le caractère confidentiel des données mises à leur disposition. Par ailleurs, ils sont tenus de protéger leurs sources d'information et de ne pas diffuser de renseignements nominatifs sans l'autorisation des personnes ou des organismes concernés.
Par conséquent, le travail des évaluateurs se fait en conformité avec :
Les normes d'exactitude ont pour but d'assurer la fiabilité et la validité de l'information produite par l'évaluation. Elles garantissent également que les évaluations sont menées en temps utile par des personnes compétentes, de manière impartiale et participative, sur la base de faits valides et crédibles.
L'usage du français est la norme pour tous les livrables. Celui-ci doit être de bonne qualité, tant dans du point de vue de l'expression que de la grammaire et de l'orthographe.
Une description claire et précise du programme ou de l'organisme évalué doit être effectuée dans le but de favoriser sa définition et sa compréhension.
Les données recueillies, traitées et présentées doivent toujours être vérifiées pour prévenir les erreurs. Ainsi, les données qualitatives et quantitatives sont examinées systématiquement pour s'assurer de leur validité et de leur fidélité par rapport à la réalité. Par ailleurs, les données doivent être présentées selon les conventions en usage en statistiques sociales et de façon professionnelle.
L'évaluateur doit utiliser des sources d'information crédibles pour préserver l'utilité et la pertinence des renseignements. De plus, une description détaillée de ces sources doit être faite dans le cadre d'évaluation, de façon à garantir la traçabilité des données.
Les conclusions doivent être soigneusement étayées dans le rapport d'évaluation pour que les parties prenantes établissent facilement le lien avec les constats à partir desquels elles ont été tirées.
L'évaluation doit s'appuyer sur des données vérifiables, pour éviter tout jugement personnel pouvant entacher la rigueur méthodologique et biaiser les constats.
L'évaluation est fondée sur une approche méthodique et adaptée à l'élément évalué (programme ou organisme), en vue d'assurer l'exactitude et la fiabilité des données. Les méthodes d'évaluation dépendent de l'information recherchée et du type de données à collecter et à analyser. Les sources d'information doivent idéalement être diversifiées pour accroître la crédibilité des données. À cet effet, les principes méthodologiques en usage en évaluation et en statistiques sociales doivent être respectés.
Le rapport d'évaluation doit inclure une description des principales limites des analyses réalisées dans le cadre du mandat d'évaluation. Traditionnellement, ces limites figurent au chapitre qui traite de la méthodologie.
La structure des livrables doit être cohérente et logique. Ainsi, les rapports d'évaluation doivent décrire le contexte du mandat, le financement alloué par le Ministère, la stratégie d'évaluation, les constats associés à chaque critère évalué et le jugement porté par l'évaluateur au regard de ces constats.
Une vérification des livrables est effectuée aux différentes étapes du processus d'évaluation par l'évaluateur principal et par le directeur de la Direction de la coordination, de l'évaluation et de la planification.
En résumé, les normes de qualité permettent de s'assurer que les évaluations sont menées en temps utile par des personnes compétentes, de manière impartiale et participative, qu'elles offrent des constats valides et crédibles et qu'elles répondent aux normes de qualité en vigueur au sein de l'équipe d'évaluation.
Le code d'éthique des évaluateurs de programmes est celui de la Société canadienne d'évaluation6.
Les évaluateurs doivent faire preuve de compétence dans la prestation de leurs services :
Les évaluateurs doivent agir avec intégrité dans leurs relations avec tous les intervenants :
Les évaluateurs doivent être garants de leur rendement et de leurs livrables :
Par ailleurs, comme tout employé du gouvernement du Québec, l'évaluateur de programmes travaillant au Ministère est assujetti au code d'éthique de la fonction publique québécoise. À ce titre, il exerce sa fonction en toute connaissance de ces principes énoncés dans la brochure :
La Charte est diffusée à tous les participants aux comités d'évaluation. Elle vise à rappeler la déontologie professionnelle qui guide la pratique de l'évaluation au Ministère, le rôle des comités d'évaluation et précise le règlement des arbitrages dans les étapes de validation du cadre et du rapport d'évaluation.
La Charte informe des critères de qualité d'une évaluation, du rôle des comités d'évaluation et des règles d'arbitrage durant les étapes de validation du cadre et du rapport d'évaluation. Elle vise les personnes participant à un mandat d'évaluation et plus particulièrement les membres du comité d'évaluation.
La Charte se veut un guide et un rappel permanent de principes généraux largement reconnus dans le milieu de l'évaluation des programmes publics au Canada. Elle invite à s'y conformer. Elle ne méconnaît pas les possibles contradictions entre ces principes, dans certaines circonstances. Cependant, elle aide à prévenir autant que possible les difficultés qui surgissent souvent en cours d'évaluation faute d'avoir clarifié les questions de principes et de déontologie professionnelle.
L'application des principes contenus dans la Charte contribue à réaliser des évaluations objectives et de qualité et à préserver la liberté de choix des décideurs publics.
L'évaluation de programme consiste à évaluer les résultats des aides financières, qu'il s'agisse d'un programme normé, d'un financement d'organisme, d'une mesure fiscale, d'un projet ou d'une politique. L'évaluation vise à produire des connaissances sur les résultats des programmes, dans le but d'apprécier leur pertinence, leur efficacité et leurs impacts. Les objectifs consistent à aider les décideurs à améliorer les programmes et à permettre aux citoyens d'en apprécier la valeur. L'évaluation contribue ainsi à rationaliser la prise de décision et à rendre plus efficace la dépense publique.
L'évaluation produit de l'information utile, pertinente et livrée à temps, pour contribuer à une prise de décision éclairée. L'évaluation est réalisée dans les délais prévus, pour fournir aux décideurs les réponses aux questions qui les préoccupent. Le rapport d'évaluation est concis (40 pages maximum). Il contient un sommaire exécutif, l'énoncé du contexte de l'évaluation, des limites et des sources d'information, les analyses factuelles des résultats obtenus, l'appréciation de ces résultats à l'aune des résultats attendus (ou cibles) et les conclusions.
Un mandat d'évaluation donne lieu à deux livrables : le cadre d'évaluation et le rapport d'évaluation. Le cadre expose clairement les objectifs de l'évaluation, la logique de l'intervention du Ministère, une brève description de l'objet évalué et le protocole d'évaluation. Le protocole décrit les critères à évaluer, les cibles de résultats et leurs indicateurs, les méthodes de collecte de données, les limites de l'évaluation et la méthode de pointage de l'appréciation des résultats. Le rapport est l'application du protocole d'évaluation décrit dans le cadre et il rappelle la finalité et le contexte de l'évaluation. Les analyses contenues dans le rapport s'appuient sur une argumentation rationnelle basée sur les faits constatés. Cette argumentation est circonscrite à l'énoncé des constats relatifs aux résultats obtenus et à l'appréciation de leurs écarts avec les résultats attendus (cibles).
La version définitive du rapport d'évaluation est transmise aux parties prenantes qui composent le comité d'évaluation, par la suite elle est transmise aux autorités du Ministère. La diffusion publique du rapport est souhaitable, mais elle est conditionnelle à l'autorisation du sous-ministre du Ministère.
L'évaluation est réalisée dans le respect et la considération auxquels ont droit les personnes associées de près ou de loin à la réalisation des mandats d'évaluation, notamment les membres du comité d'évaluation. La révélation de toute information nominative est à exclure, sauf accord des personnes concernées. Les informations publiques (par exemple, le nom d'organisme) peuvent être nominatives et présentes dans le rapport sans l'accord des personnes concernées.
Les évaluateurs réalisent leurs mandats de manière professionnelle, dans le respect des valeurs éthiques et morales du Ministère et de la fonction publique québécoise, pour assurer la légitimité de l'évaluation. Ils doivent être extérieurs à l'environnement du programme à évaluer non seulement pour éviter d'éventuels conflits d'intérêts, mais aussi pour renforcer la neutralité et la transparence de l'évaluation.
Le comité vise à valider le cadre et le rapport d'évaluation. Il n'est pas demandé au comité d'approuver ces documents. À cet effet, nous faisons la distinction suivante :
Le comité est constitué pour la durée de l'évaluation. Il prend fin au moment de la diffusion de la version définitive du rapport. Aucune rémunération ne sera versée aux personnes composant le comité.
Le comité est composé des représentants des principales parties prenantes à l'évaluation. La présence d'experts externes peut être envisagée, à la demande des clients de l'évaluation. Le nombre de membres participant au comité ne devrait pas dépasser dix personnes, dans le but de faciliter et d'accélérer la gestion de l'évaluation.
L'évaluation est réalisée à charge et à décharge, sans parti pris des évaluateurs. Le rapport est l'application directe du protocole d'évaluation validé dans le cadre par le comité d'évaluation. Le rapport validé par le comité d'évaluation est la version définitive transmise aux autorités du Ministère.
Les étapes de validation du cadre et du rapport favorisent la collégialité et le discours contradictoire. La collégialité permet de gommer les appréciations personnelles et la contradiction permet de rechercher un point d'équilibre entre les parties prenantes. L'application de ce principe vise à prendre en compte les différents intérêts en présence et à recueillir la diversité des points de vue des parties prenantes.
Le rapport d'évaluation est impartial, tant dans les constats, dans les appréciations des résultats obtenus et les conclusions. Les appréciations des résultats sont équilibrées et rationnelles. Pour ce faire, elles sont basées sur les écarts constatés entre les résultats obtenus et les résultats attendus (ou cibles).
Les évaluateurs sont responsables de l'application des principes de neutralité, de pluralité et d'impartialité et les personnes participant au comité d'évaluation sont responsables d'adhérer à ces principes. Dans les étapes de validation, les membres du comité sont responsables de proposer les ajustements pertinents aux projets de cadre et de rapport. Ces demandes d'ajustements doivent être motivées par la logique et appuyées par un argumentaire factuel et rationnel.
La distanciation se traduit par la neutralité des évaluateurs relativement à l'objet évalué et à leur impartialité relativement aux demandes d'ajustements des projets de cadre et de rapport. À cet égard, dans le cas où il n'est pas possible de trouver un point d'équilibre entre les propositions des évaluateurs contenues dans le projet de cadre ou de rapport et les demandes d'ajustements d'une ou de plusieurs parties prenantes, alors l'arbitrage conduit à la solution suivante :
Une tribune d'une page dans le cadre ou le rapport est offerte à la partie prenante concernée afin de lui permettre d'exposer son point de vue et son argumentaire et les propositions des évaluateurs demeurent en l'état dans les versions définitives du cadre ou du rapport.
La réalisation d'un mandat d'évaluation de programme comprend quatre grandes étapes :
Le tableau 4.1 à la page 19 présente les principales composantes de ces étapes.
Au moment de la planification de l'évaluation, il est nécessaire de clarifier les attentes et les besoins auxquels le mandat d'évaluation devra répondre. L'évaluateur principal et l'évaluateur responsable du mandat rencontrent les gestionnaires et les professionnels concernés par le programme ou l'organisme évalué, dans le but de convenir des principaux paramètres du mandat, c'est-à-dire les échéances, la composition du comité d'évaluation, la période évaluée, le but du mandat et l'utilisation des livrables.
La planification de l'évaluation implique :
Le cadre d'évaluation vise à décrire :
L'élaboration du cadre nécessite l'accès à des documents de base, fournis par les gestionnaires du programme ou de l'organisme évalué. Il s'agit d'actes administratifs tels que le CT normes de programme ou la convention de subvention dans le cas de l'évaluation d'un organisme. Après avoir reçu ces documents, l'évaluateur responsable du mandat procède à l'élaboration du cadre d'évaluation.
Dans un premier temps, le projet de cadre est validé par l'évaluateur principal et par le directeur de la DCEP. Cette étape permet de produire une version préliminaire du cadre d'évaluation.
Dans un deuxième temps, cette version préliminaire du cadre est validée par le comité d'évaluation. À cet effet, l'évaluateur responsable du mandat planifie la rencontre et envoie l'ordre du jour et la version préliminaire du cadre aux membres du comité.
Dans un troisième temps, l'évaluateur procède aux ajustements décidés en comité, puis transmet la version ajustée du cadre aux membres du comité, pour une dernière ronde de consultation. Celle-ci se fait à distance et vise à s'assurer que toutes les modifications convenues ont été apportées à la version ajustée du cadre. Généralement, cette étape prend une semaine.
Lorsque toutes les étapes de validation sont terminées, la version définitive du cadre est transmise aux membres du comité. Le cadre d'évaluation n'est pas envoyé aux autorités du Ministère, en l'occurrence au sous-ministre et aux sous-ministres associés ou adjoints ou aux directeurs généraux concernés par l'objet évalué. Toutefois, les autorités ont accès au cadre d'évaluation, sur demande.
L'étape de l'élaboration et de la validation du rapport d'évaluation est la plus longue du processus. La collecte de données débute dès la diffusion de la version définitive du cadre. Pour ce faire, l'évaluateur adresse une requête d'information aux gestionnaires du programme évalué ou aux dirigeants de l'organisme évalué. Cette requête comprend un tableau de bord et un formulaire à remplir. Dans le cas de l'évaluation de la performance d'un organisme, l'utilisation des états financiers, et plus particulièrement l'état des résultats et l'état de la situation financière (bilan), est aussi requise.
Au besoin, d'autres techniques de collecte de données peuvent être utilisées, par exemple un sondage auprès de la clientèle du programme ou de l'organisme évalué. Un ou des questionnaires sont alors préparés par l'évaluateur et, au besoin, transmis aux parties prenantes au mandat en les invitant à faire part de leurs commentaires.
Les étapes de validation du rapport sont les mêmes que celles du cadre :
Lorsque toutes les étapes de validation sont terminées, la version définitive du rapport est transmise aux membres du comité d'évaluation.
À l'étape de l'élaboration des recommandations, l'évaluateur dispose de la dernière version du rapport, validée par l'ensemble des parties prenantes au mandat. Il est donc en mesure de mettre l'accent sur les constats problématiques et de suggérer des recommandations visant à améliorer les résultats.
Il est à noter que les recommandations ne portent jamais sur le renouvellement du financement et que leur diffusion est restreinte aux autorités et aux gestionnaires du Ministère concernés par l'objet évalué.
Les recommandations sont validées par l'évaluateur principal et le directeur de la DCEP, puis sont acheminées avec le rapport aux autorités concernées.
La dernière étape du processus consiste à acheminer l'ensemble du dossier au sous-ministre.
Un mandat d'évaluation produit deux livrables : le cadre et le rapport d'évaluation. Dans le but de faciliter leur utilisation, l'équipe d'évaluation a adopté le principe d'uniformité dans les livrables.
Ce chapitre présente la structure d'un cadre et d'un rapport, telle qu'elle a été adoptée par l'équipe d'évaluation. Les évaluateurs ont cependant la possibilité d'ajuster cette structure selon les contraintes des mandats. Ainsi, une uniformité est attendue dans les cadres et les rapports élaborés par l'équipe d'évaluation, de même qu'une certaine souplesse dans leur réalisation, pour tenir compte des particularités intrinsèques du mandat.
Le cadre d'évaluation vise à présenter et à expliquer la stratégie d'évaluation, en définissant les critères à considérer, les cibles ou les résultats attendus, les indicateurs de résultats, l'échelle d'appréciation de l'atteinte des cibles et les méthodes de collecte de données. Il est composé de quatre chapitres.
Ce chapitre vise à informer le lecteur sur les éléments suivants :
Pour répondre à ces questions, le contexte de l'évaluation explique les origines, les objectifs, la portée et les limites du mandat. Les clients et les parties prenantes de celui-ci sont présentés, de même que le rôle du comité d'évaluation. La composition de ce comité est précisée au début du cadre.
Ce chapitre vise à informer le lecteur sur les éléments suivants :
À cet effet, un rappel du contexte socioéconomique qui a justifié la mise en place du programme est effectué. Le modèle logique de l'intervention du Ministère est présenté, de façon à définir la raison d'être, les objectifs et les principaux résultats attendus de cette intervention. Finalement, le chapitre fait état du financement alloué durant la période évaluée.
Ce chapitre vise à informer le lecteur des éléments suivants :
Dans une évaluation d'un programme de subventions ou d'une mesure fiscale, il s'agit de décrire les objectifs, la clientèle admissible, la nature du financement et les résultats attendus. Ces informations sont généralement disponibles dans le CT normes du programme ou dans la documentation administrative.
Dans le cas de l'évaluation de la performance d'un organisme financé par le Ministère ou d'une société d'État, il s'agit de décrire la mission, la clientèle et les services offerts. Au besoin, les informations peuvent être complétées par la description de la structure de gouvernance.
Ce chapitre vise à décrire en détail la stratégie d'évaluation (ou le protocole d'évaluation). À cet effet, les éléments suivants doivent être traités, selon l'ordre indiqué ci-dessous :
Le rapport est le fruit de l'application du cadre d'évaluation sur le terrain. Il vise à rendre compte des résultats du programme évalué, en abordant les questions de la pertinence et de la performance. Ce document est avant tout factuel, car il met l'accent sur les constats relatifs aux résultats obtenus et offre une appréciation du degré d'atteinte des résultats attendus. Il comprend généralement jusqu'à sept chapitres, auxquels s'ajoute un sommaire.
Ces deux chapitres présentent une synthèse de l'information déjà contenue dans le cadre d'évaluation. Ils traitent du contexte du mandat et de l'intervention gouvernementale :
L'évaluation de la pertinence d'un programme se base sur la mesure de la demande relative à l'obtention de subventions ou à l'accès à l'offre de services ainsi que sur l'examen de la réponse aux attentes et aux besoins de la clientèle visée, du caractère approprié du programme par rapport à la mission et aux orientations du Ministère, et de la valeur ajoutée par rapport à l'offre déjà existante. Elle peut aussi consister à déterminer dans quelle mesure le programme est la meilleure option pour intervenir, à l'aide d'une étude d'étalonnage ou d'une analyse avantages-coûts (bénéfices-coûts).
Dans les évaluations qui se déroulent à la fin d'un programme ou de la durée de son financement, la question de la pertinence consiste aussi à chercher à savoir si les objectifs de l'action ou sa conception sont encore appropriés, compte tenu de l'évolution du contexte.
L'évaluation de l'efficacité vise à mesurer l'atteinte des objectifs opérationnels du programme évalué. Elle permet de constater la quantité et la nature des biens et des services livrés (extrants), par exemple le nombre de produits et de services offerts à la clientèle ou le nombre de projets subventionnés. Elle permet aussi de déterminer dans quelle mesure le programme a été satisfaisant et adapté à la clientèle visée.
Dans le cas de l'évaluation de la performance d'un organisme ou d'une société d'État, l'évaluation de l'efficacité tient compte aussi à l'appréciation des pratiques de gouvernance et des mécanismes de gestion des risques.
Ce chapitre n'est pas obligatoire. Par ailleurs, selon les besoins du mandat, il peut aussi être intégré dans le chapitre sur l'évaluation de l'efficacité. Pour évaluer l'efficience d'un programme, il s'agit de mesurer l'optimisation des moyens utilisés pour parvenir à des résultats. L'efficience se rapporte au rendement de la dépense publique et aux ratios résultats/ressources utilisées.
L'évaluation de l'efficience consiste également à déterminer dans quelle mesure les pratiques de gestion utilisées pour administrer le programme et la gestion des risques liés au programme sont adéquates.
L'évaluation des impacts vise à constater l'ensemble des retombées directement attribuables au programme évalué. Généralement, la détermination des impacts à mesurer est le fruit d'une lecture du CT normes de programme ou, dans le cas d'un organisme, de la convention de subvention. Dans ces documents administratifs, les impacts visés sont parfois appelés « résultats attendus ».
Selon le cas, ce chapitre peut être complété par l'ajout d'une étude d'étalonnage des résultats du programme ou de l'organisme évalué.
Ce chapitre permet de rassembler les principaux constats et de présenter l'appréciation globale de la performance du programme évalué. Aucune recommandation n'y figure. Toutefois, l'évaluateur a la liberté d'aiguiller ou non le lecteur sur les principaux constats problématiques.
Ce chapitre porte sur l'approche d'évaluation préconisée au Ministère, sur les protocoles d'évaluation en usage et sur les techniques d'analyse et de collecte de données.
Au Ministère, la réalisation d'une évaluation vise le respect de deux grands principes : la transparence du processus d'évaluation vis-à-vis des parties prenantes au mandat et la consultation des personnes clés du dossier pour la validation des livrables du mandat. La consultation d'experts extérieurs au Ministère est aussi une pratique courante. La constitution d'un comité d'évaluation contribue au respect de ces principes. Ce comité est composé des gestionnaires du programme, de l'évaluateur responsable du mandat, de l'évaluateur principal et, selon le cas, des représentants de l'organisme évalué. Son rôle consiste à valider le cadre et le rapport d'évaluation.
Le rôle d'un rapport d'évaluation est de contribuer à faciliter et à accélérer la prise de décision à l'égard du renouvellement du financement consenti. C'est pourquoi le rapport doit être pratique, concis, factuel, et répondre aux questions des décideurs, tout en incluant l'appréciation de la performance du programme ou de l'organisme évalué. Par ailleurs, il doit être disponible à temps, pour contribuer à faciliter la prise de décision et, en conséquence, il doit adopter un format facilitant sa lecture.
Cette approche présente les avantages suivants :
Un protocole d'évaluation permet de définir les champs d'investigation (pertinence, efficacité, efficience et impacts) et leur poids respectif, les critères d'évaluation et les questions associées à chacun des critères.
Actuellement, trois types de protocoles d'évaluation sont en vigueur au Ministère :
Selon la nature et le contexte du mandat, ces protocoles peuvent être sujets à des ajustements, notamment dans le choix des questions associées aux critères d'évaluation.
Le protocole d'évaluation d'un programme vise à accorder un score de 0 à 100 au programme évalué. Le score obtenu permet d'apprécier les résultats selon l'échelle présentée au tableau 6.1.
| Appréciation des résultats du programme | Score correspondant |
|---|---|
| Résultats très satisfaisants | 90 - 100 |
| Résultats satisfaisants | 70 - 89 |
| Résultats en deçà des attentes | 50 - 69 |
| Résultats insatisfaisants | 0 - 49 |
Le tableau 6.2 présente le protocole standard utilisé dans le cas de l'évaluation d'un programme du Ministère. Un programme est évalué sous l'angle de sa pertinence et de sa performance, cette dernière comprenant l'efficacité, l'efficience et les impacts du programme. Le protocole regroupe les critères d'évaluation et les questions associées à chacun de ces critères. Celles-ci motivent le choix des cibles et des indicateurs de résultats qui figureront dans le cadre d'évaluation.
Pour tenir compte de l'importance de chacun des champs d'investigation considérés dans le score final attribué au programme, une pondération est appliquée selon la répartition indiquée dans le tableau 6.3.
Le tableau indique la répartition des poids attribués aux deux volets évalués. Le volet Pertinence du programme pèse 35 % de la note finale et le volet Performance du programme pèse 65 %.
Le terme « organisme » désigne tout organisme ou toute société d'État financés par le Ministère. Un mandat d'évaluation d'organisme vise à apprécier dans quelle mesure celui-ci a été performant dans l'atteinte des résultats visés par le financement consenti par le Ministère. Le protocole permet d'accorder un score de 0 à 100, en vue d'apprécier la performance de l'organisme, selon l'échelle présentée au tableau 6.4.
| Appréciation de la performance de l'organisme | Score correspondant |
|---|---|
| Performance très satisfaisante | 90 - 100 |
| Performance satisfaisante | 70 - 89 |
| Performance en deçà des attentes | 50 - 69 |
| Performance insatisfaisante | 0 - 49 |
Selon l'organisme évalué ou les besoins des clients du mandat d'évaluation, le protocole peut être sujet à des ajustements, notamment par l'ajout ou la modification de critères ou de questions.
Le tableau 6.5 présente le protocole utilisé dans le cas de l'évaluation de la performance d'un organisme financé par le Ministère ou d'une société d'État. Du point de vue du Ministère, plusieurs aspects sont considérés : la pertinence du financement consenti, l'efficacité de l'organisme par rapport aux services à livrer et attendus et les impacts de ces services par rapport aux attentes. Le protocole regroupe les critères d'évaluation et les questions associées à chacun de ces critères. Celles-ci motivent le choix des cibles et des indicateurs de résultats qui figureront dans le cadre d'évaluation.
Pour tenir compte de l'importance de chacun des trois champs d'investigation considérés dans le score final attribué à l'organisme, une pondération est appliquée selon la répartition indiquée ci-dessous.
| Protocole d'évaluation d'organismes | Pondération |
|---|---|
| La pertinence du financement | 35 % |
| L'efficacité de l'organisme | 30 % |
| Les impacts de l'organisme | 35 % |
| Total | 100 % |
Le protocole d'évaluation d'un crédit d'impôt vise à apprécier la pertinence et la performance de ce type d'intervention. L'évaluation de la pertinence consiste à s'interroger sur le caractère approprié de la mesure fiscale, compte tenu des besoins des bénéficiaires et de l'évolution du contexte. Quant à la performance, elle est évaluée sous l'angle de l'efficacité et des effets du crédit d'impôt.
Le tableau 6.7 présente l'échelle d'appréciation du crédit d'impôt. Le pointage sur 100 est basé sur les écarts entre les résultats obtenus et les cibles établies.
| Appréciation des résultats d'un crédit d'impôt | Pointage correspondant |
|---|---|
| Résultats très satisfaisants | 90 - 100 |
| Résultats satisfaisants | 70 - 89 |
| Résultats en deçà des attentes | 50 - 69 |
| Résultats insatisfaisants | 0 - 49 |
Le tableau 6.8 présente les critères d'évaluation, les cibles de résultats et les méthodes d'analyse et de collecte d'information envisagés pour ce protocole.
Pour tenir compte de l'importance de chacun des trois champs d'investigation considérés dans le score final attribué au crédit d'impôt, une pondération est appliquée selon la répartition indiquée ci-dessous.
| Protocole d'évaluation d'un crédit d'impôt | Pondération |
|---|---|
| La pertinence du financement | 35 % |
| L'efficacité du crédit d'impôt | 35 % |
| Les effets du crédit d'impôt | 30 % |
| Total | 100 % |
Dans les évaluations de projets ou de mesures, le protocole d'évaluation des programmes normés s'applique. Ce type d'évaluation est réalisé lorsque les deux conditions suivantes sont réunies :
Les protocoles d'évaluation présentés dans la section 6.2 de ce document sont basés sur l'utilisation de la méthode d'analyse multicritère, qui consiste à :
Le nombre de critères et d'indicateurs varie en fonction du programme évalué. Généralement, il n'excède pas 10 pour les critères et 25 pour les indicateurs, et ce, en raison de la concision exigée dans les rapports d'évaluation. Concernant la collecte de l'information et son analyse, l'équipe d'évaluation utilise des méthodes employées en recherche sociale. Les données recueillies doivent être de nature quantitative et qualitative, dans le but d'appuyer les appréciations à partir d'un faisceau d'indices fourni par ces données. De plus, les sources de données doivent être multiples, par exemple des sondages, des états financiers et des bases de données pertinentes.
Pour collecter les données pertinentes, les évaluateurs utilisent habituellement les moyens suivants :
Les principales méthodes d'analyse en usage sont les suivantes :
QUÉBEC. Loi sur l'administration publique : LRQ, chap. A-6.01, Québec.
SECRÉTARIAT DU CONSEIL DU TRÉSOR. L'évaluation de programme, document destiné aux dirigeants et dirigeantes de ministères et d'organismes, Québec, SCT, Sous-secrétariat aux politiques budgétaires et aux programmes, 2002.
GROUPE DES RESPONSABLES EN ANALYSE ET ÉVALUATION DE PROGRAMME. Manuel du responsable en évaluation de programme, Québec, GRAEP, 2009.
Strategisys : Government Performance Management
Société canadienne d'évaluation
Société québécoise d'évaluation de programme
Groupe des responsables en analyse et évaluation de programme