Programme d'appui au développement des secteurs stratégiques et des créneaux d'excellence (PADS)- Ministère de l'Économie, de la Science et de l'Innovation

Rapport d'évaluation

Pour la période du 1er avril 2014 au 31 mars 2017

Préface

Notes au lecteur

  1. Sauf avis contraire dans le texte, toutes les sommes indiquées sont en dollars canadiens. Les symboles suivants sont utilisés : k$ pour milliers de dollars et M$ pour millions de dollars.
  2. Selon l'indicateur considéré, le total des résultats peut comporter un écart de ± 1 % pour les pourcentages ou de ± 1 pour les autres valeurs. Cet écart s'explique par l'arrondissement des résultats présentés.
  3. Dans le présent document, le sigle « PME » désigne toute petite ou moyenne entreprise de moins de 250 employés; son chiffre d'affaires ou la valeur de ses actifs ne sont pas pris en compte. Cette définition de la PME est plus adaptée au contexte québécois que celle de Statistique Canada (entreprise de moins de 500 employés). En outre, elle correspond à la définition de la PME en vigueur au sein de l'Union européenne (UE) et de l'Organisation de coopération et de développement économiques (OCDE).
  4. À moins d'avis contraire, les résultats présentés dans le document sont pour la période du 1er avril 2014 au 31 mars 2017.

L'évaluation des résultats du Programme d'appui au développement des secteurs stratégiques et des créneaux d'excellence (PADS) est réalisée conformément au cadre normatif du programme, qui prévoit un examen triennal de ses résultats. Le cadre normatif du programme a cessé d'être en vigueur le 31 mars 2017, en vertu du CT no 216268 du 25 avril 2016 du Conseil du trésor. Il a été renouvelé jusqu'au 31 mars 2018, en vertu du document CT no 217636 du 2 mai 2017, qui précise que le rapport d'évaluation doit être transmis au Secrétariat du Conseil du trésor au plus tard le 15 janvier 2018.

La présente évaluation vise à apprécier les résultats de l'aide financière de 45 M$ accordée au programme pour la période du 1er avril 2014 au 31 mars 2017.

La présente évaluation a été réalisée conformément à la Politique ministérielle d'évaluation de programme et à la Charte de l'évaluation des programmes, disponibles à l'adresse suivante : www.economie.gouv.qc.ca/evaluation.

Auteur du rapport

Christophe Marchal,
Évaluateur principal
Recherche et rédaction

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

Ce document est disponible sur demande auprès de cette direction.

Pour nous joindre

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

710, place D'Youville, 7e étage
Québec (Québec)  G1R 4Y4
Téléphone : 418 691-5698, poste 5964

Pour plus d'information : gar@economie.gouv.qc.ca

Version définitive – octobre 2017
© Gouvernement du Québec

Remerciements

Le présent document est le fruit de la collaboration de plusieurs personnes sans lesquelles les travaux n'auraient pu être menés à leur terme. À cet égard, nous tenons à remercier toutes les personnes associées de près ou de loin à la réalisation du présent rapport d'évaluation, notamment le personnel du Secteur des services aux entreprises et des affaires territoriales (SEAT) et du Secteur des industries stratégiques et des projets économiques majeurs (ISPEM).

Un comité d'évaluation, constitué à l'occasion de la présente évaluation, avait pour objectif d'obtenir l'assurance que les constats du rapport d'évaluation sont valides et fidèles à la réalité et que les appréciations qui en découlent sont objectives. Les membres du comité, présentés ci-après, devaient valider le cadre et le rapport d'évaluation et conseiller l'évaluateur sur l'orientation des travaux et la stratégie générale d'évaluation, tout en apportant un éclairage sur des questions importantes qui peuvent se poser en cours de réalisation du mandat.

Nous tenons à adresser nos plus sincères remerciements aux membres du comité, qui ont été sélectionnés en fonction de leurs connaissances et de leur expérience concernant le PADS.

Les membres du comité d'évaluation

François Maxime Langlois
Directeur
Direction de la coordination, de l'évaluation et de la planification

Christophe Marchal
Évaluateur principal et chef d'équipe d'évaluation
Direction de la coordination, de l'évaluation et de la planification

Sommaire

La présente évaluation vise à apprécier les résultats des 45 M$ d'aide financière accordés dans le Programme d'appui au développement des secteurs stratégiques et des créneaux d'excellence (PADS) du 1er avril 2014 au 31 mars 2017, par rapport aux objectifs et aux résultats visés dans son cadre normatif.

Les résultats du PADS sont jugés satisfaisants et le programme continue de répondre à un besoin réel. L'évaluation confirme la pertinence du programme, son efficacité et ses effets positifs pour la clientèle visée et pour le développement économique du Québec. Il y a des gains d'efficience à réaliser dans le dispositif des créneaux et des pôles d'excellence, et c'est d'ailleurs le travail accompli au quotidien dans la gestion de la démarche ACCORD.

Les principaux résultats constatés sont les suivants :

Pertinence

Efficacité

Effets

Efficience

Conclusion

Après l'examen des résultats du programme, l'évaluation conclut que le programme continue de répondre au besoin justifiant sa mise en place. Elle conclut aussi à la cohérence du programme avec les plus récentes actions du gouvernement et du MESI, à l'atteinte des résultats visés et à l'obtention d'effets positifs dans les domaines de la concertation, de la mobilisation et du développement de secteurs stratégiques pour le Québec. En vue d'améliorer les résultats déjà satisfaisants, plusieurs pistes d'action ou de réflexion sont précisées les conclusions du présent rapport.

Table des matières

Chapitre 1 : Le contexte de l'évaluation

1.1 Objectifs de l'évaluation

L'objectif général de l'évaluation est d'examiner la pertinence, l'efficacité, les effets et l'efficience du programme, en vue de répondre aux quatre questions ci-dessous :

  1. Le programme est-il pertinent? (Pertinence)
  2. Les résultats visés par le programme sont-ils atteints? (Efficacité)
  3. Les retombées du programme sont-elles satisfaisantes? (Effets)
  4. L'efficience du programme est-elle convaincante? (Efficience)

Par ailleurs, le présent rapport vise aussi à apporter des réponses aux besoins d'information du Secrétariat du Conseil du trésor, notamment en ce qui concerne les aspects de pertinence et d'efficience du programme.

La Direction de la coordination, de l'évaluation et de la planification (DCEP) du ministère de l'Économie, de la Science et de l'Innovation (MESI) a reçu le mandat d'effectuer ces travaux d'évaluation. La grille d'évaluation utilisée pour répondre aux quatre questions est présentée au tableau 1.1 ci-dessous.

Tableau 1.1 : Grille d'évaluation des résultats du programme

La pertinence du programme (question 1)
Critères d'évaluation
  1. Le besoin justifiant le programme
    Résultats visés : Continuité du besoin justifiant le programme, réponse aux besoins des clients et absence de chevauchement problématique.
  2. La cohérence avec les priorités du Ministère
    Résultats visés : cohérence avec la mission du MESI, réponse probante au programme et effet de levier d'au moins 2 de l'aide financière.
L'efficacité du programme (question 2)
Critères d'évaluation
  1. L'atteinte des résultats immédiats visés par le programme
    Résultats visés : atteinte des objectifs 1, 4 et 5 du programme.
  2. L'atteinte des effets visés par le programme
    Résultats visés : atteinte des objectifs 2 et 3 du programme, mobilisation des entreprises et des autres acteurs de l'économie régionale.
  3. La conformité avec les normes et la satisfaction des clients
    Résultats visés : gestion efficace du programme et clientèle satisfaite.
Les retombées du programme (question 3)
Critères d'évaluation
  1. Les retombées sur le développement économique
    Résultats visés : retombées économiques probantes du programme.
  2. Les retombées sur le développement des entreprises
    Résultats visés : succès commerciaux d'entreprise, projets structurants à succès, développement de marché et innovation.
L'efficience du programme (question 4)
Critères d'évaluation
  1. L'efficience du programme
    Résultats visés : maximisation des résultats par rapport à l'aide financière, retombées économiques supérieures à la dépense publique et coût de revient jugé raisonnable des principaux résultats.

Dans chaque critère, les résultats visés sont détaillés par des cibles présentées dans les chapitres de la pertinence, de l'efficacité, des retombées et de l'efficience du programme. Les cibles correspondent aux résultats visés dans le cadre normatif du programme ou, à défaut, aux attentes habituelles du Ministère.

1.2 Portée et limites de l'évaluation

L'évaluation s'étend du 1er avril 2014 au 31 mars 2017 et elle porte sur les résultats des 792 projets autorisés, approuvés ou terminés dans les deux volets du programme. Les trois années financières gouvernementales sont les suivantes : 2014-2015, 2015-2016 et 2016-20171. Dans le but de faciliter la présentation des résultats, les années financières évaluées sont converties selon les années calendaires suivantes :

Les limites de l'évaluation et les stratégies d'atténuation de leurs effets sont présentées à l'annexe 2, section 2.C – « Limites de l'évaluation ». Aucune limite ne vient menacer la fiabilité des résultats constatés.

1.3 Méthode d'évaluation

La méthode d'évaluation utilise les principes de l'analyse multicritère. Elle consiste à comparer les résultats obtenus avec les résultats visés dans le cadre normatif du programme ou avec les attentes habituelles du Ministère, quels que soient les programmes. Les écarts constatés conduisent à une appréciation qualitative pour chacun des critères. Par la suite, une grille de pointage est utilisée en vue d'attribuer un score de 0 à 100 aux résultats du programme, le score de 70 étant synonyme de résultats jugés satisfaisants. La méthode de pointage est détaillée à l'annexe 2, section 2.A – « Méthode d'appréciation des résultats ».

Les sources d'information utilisées sont multiples et elles permettent de recouper les informations pour en vérifier la validité et la fiabilité. Elles regroupent les sources suivantes : le système de mission Clientis utilisé pour le suivi de l'aide financière du MESI, 511 fiches de résultats des projets terminés, la documentation administrative relative au programme, les tableaux de bord de résultats de 28 créneaux et pôles d'excellence et de six secrétariats de grappes industrielles, ainsi que les données de l'enquête téléphonique réalisée en juillet et août 2017 auprès des 251 organisations qui ont réalisé des projets autorisés dans le programme. Avec un taux de réponse de 77 % et une marge d'erreur de ± 4 %, les résultats de l'enquête sont représentatifs de la population visée. Plus de détails sont présentés à l'annexe 2, section 2.B – « Sources de données ».

1.4 Description du programme évalué

1.4.1 Les objectifs et les résultats visés

L'objectif du programme 2 est de mobiliser et de concerter l'action des entreprises et des différents partenaires économiques du MESI autour d'objectifs et de modes d'intervention communs. Le programme vise à favoriser le développement de secteurs stratégiques et la mise en œuvre des orientations ministérielles. Plus spécifiquement, les objectifs du programme sont les suivants :

En conséquence, les résultats visés dans le cadre normatif du programme sont les suivants :

1.4.2 Les volets du programme et la clientèle visée

Le programme comporte deux volets :

Le volet 1, Soutien aux activités de coordination, appuie la mise en œuvre des stratégies de développement des créneaux et pôles d'excellence et les activités des secrétariats de grappes industrielles.

Les clientèles admissibles au volet 1 sont les suivantes :

Le volet 2, Soutien aux activités et aux projets structurants, appuie la réalisation d'activités et de projets structurants pour le développement des secteurs stratégiques et des créneaux et pôles d'excellence.

Les clientèles admissibles au volet 2 sont les suivantes :

Les activités suivantes sont admissibles :

1.5 Aide Financière du programme

Du 1er avril 2014 au 31 mars 2017, 45 M$ d'aide financière ont été autorisés pour le fonctionnement des organismes soutenus dans le volet 1 et la réalisation de projets autorisés dans le volet 2 du programme. Le graphique 1.1 ci-après présente l'aide autorisée et l'aide versée, au 31 mars 2017 :

La présente évaluation considère les montants autorisés dans les indicateurs traitant de l'aide financière, car ce sont des engagements à dépenser et ils sont supérieurs aux montants versés.

Graphique 1.1 : Aide financière dans le PADS, du 1er avril 2014 au 31 mars 2017, en milliers de dollars
  2014-2015 2015-2016 2016-2017
Source : Système de mission Clientis. Compilation MESI.
Volet 1 30 % 25 % 26 %
Volet 2 70 % 75 % 74 %
Aide totale 17 524 k$ 13 880 k$ 13 825 k$

Total de l'aide financière autorisée : 45 229 k$.

Les montants autorisés correspondent aux montants révisés de l'aide au 31 mars 2017, pour les 792 projets autorisés, approuvés ou terminés durant la période évaluée, qu'ils soient en cours de réalisation ou terminés.

1.6 Chaîne des résultats du programme

La section 1.A – « Modèle logique du programme », en annexe 1, illustre la théorie du programme, notamment sa raison d'être et la chaîne des résultats visés. La théorie du programme est résumée ci-dessous.

La raison d'être du programme est de mobiliser et de concerter l'action des entreprises et des différents partenaires économiques du MESI autour d'objectifs et de modes d'intervention communs pour favoriser le développement de secteurs stratégiques dans les régions du Québec et la mise en œuvre de stratégies de développement économique. Par les actions de soutien à des organismes spécialisés (créneaux et grappes) et de soutien à des activités et à des projets collaboratifs structurants, les extrants du programme sont la création de créneaux et pôles d'excellence et de secrétariats de grappes industrielles, le développement d'outils de diffusion de connaissances, ainsi que le développement de partenariats et de maillage entre les acteurs économiques. Les conséquences des extrants du programme vont être la mobilisation des acteurs économiques, une cohésion améliorée des actions et le développement de secteurs stratégiques dans les régions du Québec.

Chapitre 2 : La pertinence du programme

2.1 Critère 1 : le besoin justifiant le programme

Les cibles

  1. La persistance du besoin justifiant le programme.
  2. Au moins 70 % de la clientèle percevant le programme comme étant utile, pertinent à ses besoins et présentant une valeur ajoutée pour la réalisation de ses activités.
  3. Absence de chevauchement problématique avec d'autres programmes du gouvernement du Québec.

Résultats relatifs à la cible 1 : La cible 1 est atteinte.

La cible 1 est atteinte. Les données analysées confirment la persistance du besoin de concertation et de mobilisation des entreprises et des organismes pour le développement de secteurs stratégiques quant à l'économie du Québec. Les principaux résultats font l'objet des trois sous-sections suivantes.

Le besoin de concertation pour le développement économique

Les récents travaux (février 2017) de la Table sur l'aide au développement économique (TADE)3 et l'analyse des projets admis au programme ont contribué à délimiter l'écosystème de la concertation dans le développement économique au Québec. Cet écosystème compte de nombreux acteurs, et plusieurs ministères soutiennent le fonctionnement et les projets d'organismes de concertation. Le graphique 2.1 résume la situation.

Les principaux ministères concernés sont le MESI, le ministère de l'Agriculture, des Pêcheries et de l'Alimentation du Québec (MAPAQ) et le ministère du Tourisme du Québec (MTO).

La TADE rappelle qu'à lui seul, l'État ne peut créer des synergies, atteindre un groupe d'acteurs (entreprises et autres intervenants) et conserver le contact avec celui-ci. Il doit réunir des acteurs clés d'un secteur industriel, d'un domaine d'activités (R-D, sous-traitance, etc.) ou d'une région et les soutenir dans la réalisation de projets communs.

Par son aide financière au fonctionnement d'organismes de concertation, par exemple les créneaux/pôles d'excellence, l'État s'assure d'un effet de levier pour attirer d'autres sources de financement, ce qui permet à l'organisme soutenu de se consacrer totalement à sa mission et non à sa survie.

En 2013-2014, l'aide à la concertation représentait 3 % (94,9 M$) du total de l'aide au développement économique. À l'époque, le PADS représentait 17 % de l'aide à la concertation, soit 16,2 M$ de l'aide autorisée dans l'année 2013-20144. La situation du programme dans l'écosystème de la concertation en aide au développement économique au Québec a peu évolué en 2017. De 2014 à 2017, l'aide financière autorisée dans le programme a été de 15,1 M$ en moyenne par année, ce qui représente une diminution de 7 % par rapport à 2013-2014. Le soutien au fonctionnement des créneaux et pôles d'excellence a été de 4,0 M$ en moyenne par année et celui des secrétariats de grappes industrielles, de 578 k$. Cela représente une aide annuelle totale de 4,6 M$ en moyenne pour le fonctionnement des organismes (volet 1 – PADS), ce qui est comparable aux 4,7 M$ d'aide annuelle moyenne dans la période 2011-2014. Les données des ministères extérieurs au MESI ne sont pas disponibles.

Par ailleurs, la concertation est une démarche ancrée dans la culture québécoise depuis des décennies5. Elle est un outil de rationalisation des interventions publiques et privées, et constitue une façon d'entraîner les acteurs socioéconomiques vers la réalisation d'objectifs communs. Elle est aussi une méthode de gestion pratiquée au sein des gouvernements et des organismes d'aide au développement économique6.

Graphique 2.1 : Organismes québécois de concertation dans le développement économique – État de la situation en mars 2017

Source : Travaux TADE et système de mission Clientis. Compilation MESI.

Le besoin de mobiliser pour le développement économique

Le graphique 2.2 illustre la capacité du programme à mobiliser 251 organismes et associations travaillant au développement économique du Québec, du 1er avril 2014 au 31 mars 2017.

En 2017, la situation a peu évolué par rapport à 2014. De 2014 à 2017, l'aide autorisée dans le PADS a totalisé 45 M$, alors qu'elle avait totalisé 47 M$ de 2011 à 2014. Cette diminution de 4 % n'est pas le signe d'un désintérêt pour le programme; elle est liée aux variations du nombre d'organismes soutenus, par exemple les créneaux et pôles d'excellence qui étaient au nombre de 39 au 31 mai 2013 et de 37 au 31 mars 2017.

Graphique 2.2 : Mobilisation d'organismes entraînée par le programme

Source : Système de mission Clientis. Compilation MESI.

Le besoin de développer des secteurs stratégiques

La portée du programme est étendue à 23 des 25 secteurs stratégiques déterminés par le MESI sur son site Internet7. Les 23 secteurs sont couverts par les projets autorisés ou terminés dans le volet 2 du programme et par le soutien au fonctionnement des 37 créneaux et pôles d'excellence et des huit secrétariats de grappes industrielles dans le volet 1 du programme. Du 1er avril 2014 au 31 mars 2017, les 511 projets terminés dans le volet 2 du programme ont entraîné 39 288 participations d'entreprises, ce qui correspond à 77 participations en moyenne par projet. Le résultat est similaire au résultat de 78 participations d'entreprises par projet terminé, constaté dans l'évaluation PADS de 2014 (34 067 participations d'entreprises dans 437 projets terminés).

Résultats relatifs à la cible 2 : La cible est atteinte.

Les tendances constatées dans l'enquête téléphonique sont les suivantes :

Résultats relatifs à la cible 3 : La cible est atteinte.

Le graphique 2.3 présente les résultats de l'évaluation des risques de chevauchement entre les programmes du gouvernement du Québec visant l'aide à la concertation dans le développement économique. L'évaluation conclut à l'absence de chevauchement problématique du PADS avec l'un ou l'autre des huit autres programmes. Cependant, il y a des chevauchements potentiels avec les programmes du ministère de l'Agriculture, des Pêcheries et de l'Alimentation (MAPAQ) et du ministère du Tourisme (MTO). Ces chevauchements potentiels s'expliquent par le soutien aux organismes suivants : les associations touristiques au MTO, les tables agroalimentaires au MAPAQ, les créneaux/pôles d'excellence et les secrétariats de grappes industrielles au MESI.

Le graphique 2.4 présente l'évaluation des risques de chevauchement entre les organismes soutenus par les programmes inventoriés au graphique 2.3. Du 1er avril 2014 au 31 mars 2017, le PADS a soutenu 33 projets d'organismes de concertation soutenus également par des ministères extérieurs au MESI sur les 792 admis. Les projets concernent quatre associations touristiques régionales (ATR), six tables agroalimentaires et un comité sectoriel de main‑d'œuvre (CSMO). Les 33 projets ont totalisé 1 134 k$ d'aide financière, ce qui représente 3 % des 45 M$ d'aide financière consentie dans le programme. Les projets des ATR sont liés aux créneaux d'excellence du secteur du tourisme. Considérant que ces projets représentent moins de 5 % de l'aide financière du programme, l'évaluation conclut à l'absence de chevauchement problématique. Cependant, la présence de ces 33 projets indique des risques de chevauchement dans les secteurs de l'agroalimentaire et du tourisme entre les organismes suivants : les créneaux et pôles d'excellence soutenus par le MESI, les tables agroalimentaires soutenues par le MAPAQ et les ATR soutenues par le MTO. Par ailleurs, l'évaluation n'a pas constaté de chevauchement entre créneaux ou entre créneaux et grappes. Un secteur peut compter plusieurs créneaux et pôles, mais chaque région administrative ne compte qu'un créneau/pôle d'excellence par secteur industriel.

Graphique 2.4 : Évaluation des risques de chevauchement entre programmes du gouvernement du Québec visant l'aide à la concertation dans le développement économique – État de situation en février 2017
Chevauchement potentiel
Absence de chevauchement

Sources : Système de mission Clientis, travaux TADE et rapports d'évaluation de créneaux et de grappes. Compilation MESI.

Commentaires de l'évaluateur sur les résultats du critère 1 (cibles 1 à 3)

Les résultats sont jugés satisfaisants, car les trois cibles sont atteintes. Le besoin de soutenir la concertation et la mobilisation pour contribuer au développement de secteurs stratégiques dans les régions du Québec est toujours d'actualité, et le programme continue de répondre à ce besoin. La clientèle consultée confirme aussi ce constat. L'évaluation ne constate pas de chevauchement problématique avec des programmes d'autres ministères ou entre les organismes de concertation soutenus dans ces programmes. Cependant, des risques de chevauchement persistent, et ils devraient inciter les ministères concernés à continuer leurs suivis et leurs évaluations pour veiller à la complémentarité des programmes et des organismes de concertation soutenus.

2.2 Critère 2 : La cohérence avec les priorités du ministère

Les cibles

  1. Cohérence du programme avec la mission et les orientations du MESI.
  2. Réponse probante à l'offre du programme par la clientèle ciblée.
  3. Effet de levier d'au moins 2 de l'aide financière du MESI.

Résultats relatifs à la cible 4 : La cible est atteinte.

La cible est atteinte. Le programme est l'outil privilégié par le MESI pour soutenir la démarche ACCORD et les créneaux/pôles d'excellence8. Dans un communiqué du 21 juin 20179, le MESI a confirmé l'importance de la démarche ACCORD, en la qualifiant de priorité de l'action gouvernementale visant à dynamiser l'économie des régions du Québec. Le PADS y est présenté comme l'un des moyens d'intervention du MESI pour favoriser la mobilisation des entreprises et des partenaires économiques dans les régions du Québec.
Pour atteindre ses objectifs, la démarche ACCORD s'appuie sur les réalisations des 37 créneaux et pôles d'excellence soutenus dans le PADS. Du 1er avril 2014 au 31 mars 2017, le programme a soutenu 403 projets des créneaux et pôles d'excellence, qui ont représenté des investissements totaux de 87 M$ dans l'économie des régions du Québec, dont 29 M$ d'aide financière PADS et 58 M$ d'apports des organismes promoteurs de projets, des partenaires économiques et des entreprises. Par ailleurs, le programme s'inscrit dans plusieurs stratégies du gouvernement du Québec lancées récemment, notamment les suivantes :

Résultats relatifs à la cible 5 : La cible est atteinte.

Le graphique 2.5 fait état de la réponse à l'offre du programme.

Graphique 2.5 : Demandes d'aide financière reçues dans le programme, du 1er avril 2014 au 31 mars 2017

Source : Système de mission Clientis. Compilation MESI.

L'évaluation a examiné la redondance des promoteurs dans les projets autorisés ou terminés dans le programme. Le graphique 2.6 présente la distribution des 206 organismes promoteurs, hors créneaux/pôles et secrétariats de grappes industrielles, selon le nombre de projets autorisés ou terminés. La redondance n'est pas problématique dans le cas des créneaux et pôles d'excellence, ni pour les secrétariats de grappes industrielles, car le programme est l'outil prévu pour soutenir leurs projets (objectif 2 du programme).

Graphique 2.6 : Distribution des organismes soutenus dans le PADS (en excluant les créneaux/pôles d'excellence et les grappes industrielles), selon le nombre de projets autorisés ou terminés, de 2015 à 2017

Source : Système de mission Clientis. Compilation MESI.

Résultats relatifs à la cible 6 : la cible est atteinte.

Le graphique 2.7 indique l'effet de levier du programme, c'est-à-dire sa capacité à entraîner des investissements supplémentaires dans les projets (détails à l'annexe 1, au tableau A.1).

Graphique 2.7 : Effet de levier de l'aide financière autorisée dans le programme, du 1er avril 2014 au 31 mars 2017

Aide autorisée : 45,2 M$

Autres apports dans les projets : 159 M$

Effet de levier de 3,51

Source : Système de mission Clientis. Compilation MESI.

Commentaires de l'évaluateur sur les résultats du critère 2 (cibles 4 à 6)

Les résultats sont jugés satisfaisants, car les trois cibles sont atteintes. Les résultats confirment la cohérence du programme avec la mission du MESI et avec les plus récentes orientations du gouvernement, un effet de levier supérieur au résultat visé et une réponse probante à l'offre du programme. Par ailleurs, la quasi-totalité des promoteurs (en excluant les créneaux/pôles d'excellence et les secrétariats de grappes industrielles) s'est vu accorder un soutien pour un à trois projets en moyenne par année. Toutefois, un cas extrême de 13 projets soutenus pour un organisme est constaté.

Chapitre 3 : L'efficacité du programme

3.1 Critère 3 : L'atteinte des résultats immédiats visés par le programme

Les cibles

  1. Développement d'activités de réseautage, d'échange et de partenariat qui favorisent l'amélioration de la compétitivité et la croissance des entreprises.
  2. Développement d'outils de diffusion de la connaissance et de partage d'expertises pour les organismes de développement économique et les réseaux d'entreprises.
  3. Projets en partenariat visant à renforcer la cohésion et la complémentarité d'action entre le gouvernement et les organismes ainsi que les associations de développement économique.

Résultats relatifs aux cibles 7, 8 et 9 : Les cibles sont atteintes.

Le graphique 3.1 présente les résultats relatifs aux trois cibles du critère, en indiquant les liens entre chaque cible et l'objectif du programme correspondant (voir la page 4 du présent rapport). Les cibles correspondent aux résultats visés et indiqués dans le cadre normatif du programme.

Graphique 3.1 : Résultats du programme10, selon les cibles du cadre normatif, du 1er avril 2014 au 31 mars 2017

Sources : Fiches de résultats des projets terminés, résultats des créneaux/pôles et des grappes. Compilation MESI.

Commentaires de l'évaluateur sur les résultats du critère 3 (cibles 7 à 9)

Les résultats sont jugés satisfaisants, car les trois résultats visés dans le programme sont atteints. Les projets soutenus ont entraîné plusieurs milliers de participations d'entreprises et d'organismes dans des partenariats, des collaborations et des activités de développement d'affaires, pilotées notamment par les créneaux/pôles d'excellence et les secrétariats de grappes industrielles. La clientèle du programme consultée par sondage confirme les résultats constatés dans les fiches de résultats des projets terminés : 97 % des promoteurs de projet concluent à l'atteinte de l'objectif 1, 82 % à celle de l'objectif 4 et 90 % à celle de l'objectif 5.

3.2 Critère 4 : l'atteinte des effets visés par le programme

Les cibles

  1. Réalisation de projets visant le développement de secteurs stratégiques.
  2. Secteurs stratégiques dotés d'une image de marque à l'échelle internationale.
  3. Mobilisation des industriels dans des projets structurants de développement de leur secteur.

Constats relatifs aux cibles 10 et 11 : Les cibles sont atteintes.

Les cibles sont atteintes. Le graphique 3.2 présente les résultats obtenus, en indiquant les liens entre chaque cible et l'objectif du programme correspondant (voir la page 2 du présent rapport). Les cibles correspondent aux effets visés par le programme et sont en lien avec sa raison d'être.

Graphique 3.2 : Effets du programme sur le développement de secteurs stratégiques

Sources : Fiches de résultats, système de mission Clientis, résultats des créneaux/pôles et des grappes. Compilation MESI.

Constats relatifs à la cible 12 : La cible est atteinte.

Le graphique 3.3 présente les résultats relatifs à la mobilisation entraînée par le programme. L'évaluation a considéré que la raison d'être du programme (la mobilisation) devait être un résultat visé par le programme, même si elle n'est pas expressément indiquée comme telle dans la section des résultats visés du cadre normatif du programme. En effet, les résultats visés indiqués dans le cadre normatif sont plutôt des résultats immédiats (ou extrants).

Graphique 3.3 : Effets du programme sur la mobilisation pour le développement économique de secteurs
Cible 12 : Résultats liés au développement de secteurs et à la mobilisation

Sources : Système de mission Clientis, résultats des créneaux/pôles et des grappes. Compilation MESI.

Commentaires de l'évaluateur sur les résultats du critère 4 (Cibles 10 à 12)

Les résultats sont jugés satisfaisants, car les effets visés par le programme sont atteints. Le programme a bien contribué au développement de secteurs stratégiques ainsi qu'à la mobilisation des industriels et des organismes d'aide au développement économique. Les résultats constatés dans les fiches des projets terminés sont confirmés par la clientèle du programme consultée par sondage téléphonique. Cependant, la cible 12 n'est pas liée à un résultat visé du cadre normatif du programme, alors que la mobilisation est la raison d'être du programme. Il y aurait lieu de bonifier la section des résultats visés du cadre normatif du programme, en y ajoutant un indicateur sur la mobilisation.

3.3 Critère 5 : la conformité avec les normes et la satisfaction des clients

  1. L'utilisation de pratiques de gestion axée sur les résultats.
  2. La conformité avec les principales normes du programme.
  3. Un degré élevé de satisfaction de la clientèle du programme.

Résultats relatifs à la cible 13 : La cible est atteinte.

La gestion du programme est réalisée dans le respect des principes de gestion axée sur les résultats11. Pour la période évaluée, il est constaté les résultats suivants :

Résultats relatifs à la cible 14 : La cible est atteinte.

Les résultats sont illustrés dans le graphique 3.4 ci-dessous.

Les 251 promoteurs des projets correspondent à la clientèle admissible au programme. Selon le cadre normatif du programme, la clientèle admissible est constituée des créneaux et pôles d'excellence, des secrétariats de grappes industrielles, d'OBNL, d'établissements d'enseignement supérieur (universités et cégeps), de municipalités ou de MRC et, pour le volet 2 uniquement, d'entreprises. C'est le type de clientèle admise au programme. Par ailleurs, 70 % de l'aide financière a contribué à la réalisation des projets et au fonctionnement des créneaux/pôles d'excellence et des secrétariats de grappes industrielles. L'aide directe aux entreprises a représenté 51 k$ et quatre projets au total sur la période évaluée.

Graphique 3.4 : Comparaison de la clientèle admise au programme avec la clientèle admissible, du 1er avril 2014 au 31 mars 2017

Sources : Système de mission Clientis et fiches des projets terminés. Compilation MESI.

La nature des projets autorisés est cohérente avec les normes du programme. Le volet 1 soutient le fonctionnement des créneaux et pôles d'excellence et des secrétariats de grappes industrielles. Le volet 2 soutient la réalisation de projets visant l'une ou plusieurs des activités présentées au graphique 3.5.

Le programme a bien soutenu la réalisation d'activités prévues dans son cadre normatif. Les cinq activités soutenues sont bien les cinq activités admissibles au programme12.

Graphique 3.5 : Répartition de l'aide financière autorisée dans le volet 2 du PADS selon le type d'activité et montant moyen de l'aide financière par projet, du 1er avril 2014 au 31 mars 2017

Source : Système de mission Clientis. Compilation MESI.

Les montants d'aide consentis pour les projets du programme sont conformes au maximum de dépenses admissibles, prévu dans le cadre normatif. À cet égard, il est constaté les résultats suivants :

Résultats relatifs à la cible 15 : La cible est atteinte.

Le degré de satisfaction des 251 organisations clientes du programme est élevé. L'enquête téléphonique indique des taux de satisfaction de 95 % à l'égard de l'ensemble du programme, de 91 % à l'égard de la documentation demandée pour l'autorisation des projets et le suivi des résultats, de 90 % pour l'accompagnement reçu des conseillers du MESI et de 87 % pour les délais de traitement des demandes.

Commentaires de l'évaluateur sur les résultats du critère 5 (cibles 13 à 15)

Les résultats sont jugés satisfaisants, car les trois cibles sont atteintes. Le programme est administré selon les principes de gestion axée sur les résultats. Les projets autorisés et la clientèle admise sont conformes aux normes du programme. Par ailleurs, les promoteurs de projets sont très majoritairement satisfaits du programme. Le soutien aux projets de recherche est l'activité où le montant d'aide financière par projet est le plus élevé. Sur ce dernier point, il est suggéré de consulter le critère 8 du présent rapport, qui aborde l'efficience du programme et évalue les coûts de revient par type d'activité.

Les projets d'entreprises représentent moins de 1 % de l'aide financière du programme. Ce constat suggère que les entreprises ne sont pas les principaux promoteurs de projets de concertation et de mobilisation, mais plutôt des participantes aux projets de ce type.

Chapitre 4 : Les effets du programme

4.1 Critère 6 : Les retombées sur le développement économique

Les cibles

  1. Des retombées économiques induites par le programme.
  2. Des retombées induites par les créneaux d'excellence sur l'emploi et l'innovation.

Résultats relatifs à la cible 16 : La cible est atteinte.

Les retombées économiques du programme sont estimées à 149 M$13, du 1er avril 2014 au 31 mars 2017. Les emplois créés ou maintenus sont inclus dans les retombées, car ils sont des facteurs de production contribuant à ces retombées. L'analyse, conservatrice, est limitée aux flux monétaires dans les projets du programme et dans les activités et les projets hors programme des créneaux/pôles d'excellence, ainsi qu'aux investissements en recherche et développement (R-D) des entreprises résultant des projets structurants des créneaux/pôles d'excellence. Elle ne tient pas compte des éventuels effets positifs sur la croissance et les ventes des entreprises. Le graphique 4.1 précise les principales composantes des retombées économiques du programme. Les détails de l'analyse sont à l'annexe 1, section 1.C.

Graphique 4.1 : Retombées économiques attribuables au programme, du 1er avril 2014 au 31 mars 2017
Retombées En pourcentage En M$
Sources : Analyse avantages-coûts 2014-2017 du PADS. Compilation MESI.
Retombées des créneaux/pôles
Les apports des entreprises dans les projets PADS et hors PADS, dans les revenus autonomes et les effets sur les investissements en R-D et en innovation des entreprises.
48 % 71 M$
Retombées des projets des grappes industrielles
Les apports des entreprises dans les projets PADS.
5 % 8 M$
Retombées des projets des autres promoteurs
Les apports des entreprises dans les projets PADS.
47 % 70 M$
Retombées économiques du PADS
Correspondent aux appports privés dans les investissements totaux générés par le programme, actualisés au taux de 6 % et convertis en dollars enchaînés de 2013.
100 % 149 M$

Les retombées économiques de 149 M$ du programme ne doivent pas être ajoutées aux investissements totaux de 239 M$ générés par les projets directs et indirects du programme. En effet, elles correspondent aux apports de source privée dans les investissements générés par le programme. Par conséquent, les retombées économiques sont une composante des investissements totaux, dont les montants ont été actualisés aux taux de 6 % et convertis en dollars enchaînés de 2013.

Résultats relatifs à la cible 17 : La cible est atteinte

Le graphique 4.2 présente les résultats des créneaux et pôles d'excellence en ce qui concerne l'emploi et l'innovation.

Graphique 4.2 : Résultats des créneaux/pôles d'excellence en regard de l'emploi et de l'innovation (cible 17), du 1er avril 2014 au 31 mars 2017

Sources : Système de mission Clientis et résultats des créneaux/pôles. Compilation MESI.

Commentaires de l'évaluateur sur les résultats du critère 6 (cibles 16 et 17)

Les résultats sont jugés satisfaisants, car les deux cibles sont atteintes. Considérant les retombées économiques estimées à 71 M$, l'évaluation se limite à reconnaître la contribution des créneaux et pôles d'excellence à la création d'emplois sans la quantifier, en raison des incertitudes trop grandes empêchant d'obtenir une estimation fiable. Toutefois, un recoupement de données a été fait avec l'évaluation des résultats de la démarche ACCORD réalisée en 2013. Celle-ci estimait la création de 1 465 emplois sur cinq ans grâce aux activités et aux projets des créneaux et pôles d'excellence. En appliquant l'estimateur du tableau CANSIM 285-0052, qui fournit le salaire horaire moyen des industries pour toutes les professions (27,70 $), aux 71 M$ de retombées économiques estimées dans la présente évaluation, le résultat se compare de manière plausible au nombre d'emplois créés évalué en 2013 dans la démarche ACCORD.

Dans le domaine de l'innovation, les résultats sont appréciables, considérant la différence entre les ressources dont disposent les créneaux et pôles d'excellence et les organismes se consacrant exclusivement au soutien à l'innovation, par exemple les consortiums de recherche ou les centres de recherche appliquée. Le résultat le plus probant est l'investissement de 27 M$ dans des projets touchant à l'innovation, ce qui représente 24 % des 111 M$ d'investissements totaux générés par les activités et les projets PADS et hors PADS des créneaux et pôles d'excellence.

Les projets d'innovation de même que les projets de développement de marché sont générateurs de succès commerciaux pour les entreprises et bénéfiques sur le long terme pour l'économie régionale. En lien avec la mission d'aide à l'innovation du MESI, il serait intéressant d'améliorer ce résultat, par exemple en visant 30 % des investissements pour des projets touchant l'innovation par rapport au total des investissements produits par les créneaux/pôles d'excellence.

4.2 Critère 7 : Les retombées sur le développement des entreprises

Les cibles

  1. Des cas probants d'effets positifs sur le développement d'entreprises.
  2. L'amélioration des connaissances sur les marchés, l'innovation ou l'environnement d'affaires.

Résultats relatifs à la cible 18 : La cible est atteinte.

Les cas probants d'effets positifs sur le développement d'entreprises sont liés aux projets de développement d'affaires des 37 créneaux et pôles d'excellence. Ces projets sont une catégorie de projets structurants14. La différence entre un projet structurant et un projet d'affaires est la suivante : les projets structurants visent des résultats collectifs pour la filière industrielle du créneau, alors que les projets de développement d'affaires visent un succès commercial sur le plan individuel de l'entreprise. Les projets de développement d'affaires touchent l'innovation ou le développement de marché d'une entreprise ou d'un groupe restreint d'entreprises. Du 1er avril 2014 au 31 mars 2017, 23 projets de développement d'affaires sont recensés. Ils touchent principalement des innovations visant l'amélioration de produits et de procédés existants, ou encore l'utilisation d'un nouveau procédé de fabrication. Trois exemples sont présentés ci-dessous :

Les secrétariats de grappes industrielles ont aussi contribué au développement d'entreprises. Par exemple, le projet MACH entrepris en 2011 par AéroMontréal est un programme collaboratif public-privé de 15 M$ sur cinq ans. Le projet vise à soutenir 70 entreprises dans la démarche de rehaussement de leur compétitivité. AéroMontréal a aussi contribué à la mise sur pied et à la réalisation du projet SA2GE sur l'avion écologique, qui représente des investissements totaux de 210 M$. Un autre exemple est la création de NÉOMED et de l'Institut NÉOMED, auxquels Montréal Invivo a donné l'élan initial et qui ont été réalisés en partenariat avec le gouvernement du Québec et les compagnies AstraZeneca Canada et Pfizer Canada. Plus de 160 personnes travaillent actuellement sur le site NÉOMED, au sein de 23 entreprises dont quatre provenant de l'extérieur du Québec, et plus de 12 entreprises sont sur une liste d'attente pour s'y installer15.

Résultats relatifs à la cible 19 : La cible est atteinte.

Des résultats probants sont constatés dans plusieurs projets des créneaux et pôles d'excellence. À la différence des résultats constatés à la cible 18, les résultats des projets considérés à la cible 19 ont une portée collective pour une filière industrielle régionale. Les exemples de résultats sont les suivants :

Commentaires de l'évaluateur sur les résultats du critère 7 (cibles 18 et 19)

Les résultats sont jugés satisfaisants, car les deux cibles sont atteintes. Plusieurs cas à succès sont constatés, dont les résultats se mesurent individuellement pour une entreprise ou collectivement pour l'ensemble des entreprises d'une filière régionale. Les projets de développement d'affaires (cible 18) sont une source de succès commercial pour l'entreprise. Il serait opportun d'inciter les créneaux et pôles à en faire davantage, sans toutefois qu'ils se détournent de leur raison d'être de se mobiliser dans des projets collectifs et de promouvoir leur filière régionale.

Chapitre 5 : L'efficience du programme

5.1 Critère 8 : L'efficience du programme

Les cibles

  1. La maximisation des résultats de l'aide financière consentie dans le programme aux créneaux et pôles d'excellence et aux secrétariats de grappes industrielles
  2. Des retombées économiques supérieures à la dépense publique entraînée par le programme.
  3. Des coûts de revient des principaux résultats jugés raisonnables.

Résultats relatifs à la cible 20 : La cible est atteinte.

L'évaluation considère que les résultats de l'aide financière consentie aux créneaux/pôles d'excellence et aux secrétariats de grappes industrielles sont maximisés dans le cas où au moins 80 % des organismes présentent une performance satisfaisante par rapport aux résultats visés par le MESI.

L'examen des performances de 28 créneaux et pôles d'excellence indique une performance satisfaisante pour 82 % des organismes. Cinq créneaux d'excellence présentent une performance insatisfaisante par rapport aux résultats visés16. La série de graphiques 5.1 présente les distributions des performances des 28 créneaux et pôles d'excellence examinés, par rapport aux résultats visés de l'aide financière. Le graphique 5.1.A présente les performances obtenues sur 100 points, de la plus élevée à la moins élevée. Le graphique 5.1.B présente les performances des 28 organismes en nuage de points, tout en indiquant la frontière de performance satisfaisante, située à 70 sur 100. Il y a des gains d'efficience à réaliser, estimés à 18 %, dans l'aide financière consentie aux créneaux et pôles d'excellence. L'analyse est détaillée à l'annexe 1, section 1.D.

Commentaires de l'évaluateur sur les résultats du critère 7 (cibles 18 et 19)

Distribution des performances des créneaux et pôles d'excellence par rapport aux résultats visés de l'aide financière du PADS, du 1er avril 2014 au 31 mars 2017
Créneau Résultats sur 100 Performance
1 93,6 Satisfaisante
2 92,77 Satisfaisante
3 90 Satisfaisante
4 95,48 Satisfaisante
5 83 Satisfaisante
6 82,18 Satisfaisante
7 81,51 Satisfaisante
8 80 Satisfaisante
9 78,18 Satisfaisante
10 77,97 Satisfaisante
11 76,44 Satisfaisante
12 76,16 Satisfaisante
13 76 Satisfaisante
14 75,99 Satisfaisante
15 74,35 Satisfaisante
16 74,32 Satisfaisante
17 73,02 Satisfaisante
18 72,47 Satisfaisante
19 72,47 Satisfaisante
20 72,21 Satisfaisante
21 71,96 Satisfaisante
22 71,47 Satisfaisante
23 70,47 Satisfaisante
24 67,92 Insatisfaisante
25 64,95 Insatisfaisante
26 61,58 Insatisfaisante
27 50,57 Insatisfaisante
28 50,08 Insatisfaisante

L'aide financière consentie aux secrétariats de grappes industrielles est efficiente. En effet, la performance des six secrétariats évalués est satisfaisante par rapport aux résultats visés. Les six secrétariats pour lesquels les informations étaient disponibles ont obtenu des performances s'étendant de 79 à 92 sur 100. Les résultats évalués des grappes portaient sur la masse critique et le périmètre, la mobilisation et le financement, les partenariats et les collaborations, l'atteinte des objectifs du plan d'action, le rayonnement et l'image de marque.

Résultats relatifs à la cible 21 : La cible est atteinte.

Les retombées économiques du programme sont évaluées à 149 M$ et la dépense publique à 145 M$. L'estimation est conservatrice, car elle ne tient pas compte des effets positifs sur la croissance des entreprises. Elle est limitée aux flux monétaires dans les projets du programme et aux effets indirects des créneaux et pôles d'excellence sur les investissements en R-D des entreprises. Le graphique 5.2 présente l'essentiel des résultats. Les explications détaillées sont à l'annexe 1, section 1.C.

Résultats relatifs à la cible 22 : La cible est atteinte.

Les coûts de revient des deux principaux résultats visés par le programme sont jugés raisonnables et inférieurs au seuil d'inefficience. L'analyse examine dans quelle mesure le programme réussit à maximiser les résultats de l'aide à la mobilisation et à la concertation dans un secteur stratégique régional.

Commentaires de l'évaluateur sur les résultats du critère 8 (cibles 20 et 22)

Les résultats sont jugés satisfaisants, car les trois cibles sont atteintes. Durant la période évaluée, le dispositif des créneaux et pôles d'excellence et les secrétariats de grappes industrielles ont donné des résultats à la hauteur de l'aide financière du MESI. Cependant, il y a des gains d'efficience à réaliser dans le dispositif des créneaux et pôles d'excellence. C'est exactement ce que fait la Direction du soutien à l'entrepreneuriat et aux créneaux d'excellence (DSECE), responsable, au sein du MESI, de la gestion de l'aide financière aux créneaux et pôles d'excellence. À cet égard, l'évaluation a constaté les actions suivantes de la DSECE :

Du point de vue des évaluateurs, ces trois actions suggèrent une gestion responsable et rigoureuse de l'aide financière consentie aux créneaux et pôles d'excellence, car la DSCECE n'hésite pas à rectifier ou à terminer l'intervention dans le cas où l'aide financière ne donne pas les résultats visés.

Les autres cibles d'efficience du programme sont atteintes. Elles incluent notamment la cible 21 « Obtenir des retombées économiques dont la valeur est supérieure à la dépense publique ». L'évaluation juge que les résultats portant sur la mobilisation et la concertation sont atteints à un coût raisonnable. À titre d'information complémentaire, les coûts de revient par activité admissible au programme sont présentés dans l'annexe 1, section 1.D. Le coût de revient des projets de recherche est très raisonnable. Cependant, le coût de revient de ce type d'activité est beaucoup plus élevé que celui des autres activités admissibles au programme.

Considérant les gains d'efficience à réaliser, il y a lieu de maintenir un processus d'évaluation périodique de la performance de chaque créneau et pôle d'excellence. Par ailleurs, il serait opportun de continuer à suivre les résultats des créneaux et pôles d'excellence. De plus, il serait nécessaire de préciser aux secrétariats de grappes industrielles les informations de base à transmettre au MESI, par exemple le nombre d'entreprises qui constituent la masse critique de participants réguliers à leurs activités et à leurs projets.

Complément d'information sur la démarche ACCORD

Évaluer l'efficience ou les résultats des créneaux et pôles d'excellence, c'est aussi évaluer la démarche ACCORD18. Dans ce contexte, l'évaluation a examiné la pertinence de la démarche ACCORD, en abordant les aspects de la réponse à un besoin et de la cohérence avec l'action du gouvernement du Québec. Le besoin à l'origine de la mise en place de la démarche ACCORD en 2005 est toujours d'actualité en 2017. Par ailleurs, ACCORD s'inscrit dans le Plan économique 2017-2018 du gouvernement du Québec et dans plusieurs stratégies participant au développement économique récemment annoncées par le gouvernement. L'évaluation conclut que la démarche ACCORD continue de répondre à un besoin réel et qu'elle est cohérente avec les orientations les plus récentes du gouvernement du Québec. Les détails de l'analyse sont disponibles à l'annexe 1, section 1.E.

Chapitre 6 : Les conclusions

6.1 Principaux constats

Le tableau ci-dessous récapitule l'ensemble des résultats du programme et leur évaluation.

Principaux résultats du Programme d'appui au développement des secteurs stratégiques et des créneaux d'excellence (PADS)
Du 1er avril 2014 au 31 mars 2017

La pertinence du programme
Critère 1 : Le besoin justifiant le programme
Critère 2 : La cohérence avec les priorités du Ministère
L'efficacité du programme
Critère 3 : L'atteinte des résultats immédiats visés par le programme
Critère 4 : L'atteinte des effets visés par le programme
Critère 5 : La conformité avec les normes et la satisfaction des clients
Les effets du programme
Critère 6 : Les retombées sur le développement économique
Critère 7 : Les retombées sur le développement des entreprises
L'efficience du programme
Critère 8 : L'efficience du programme

6.1 Principaux constats

L'examen des résultats permet de répondre aux quatre questions de l'évaluation.

  1. Le programme est-il pertinent?

    L'évaluation confirme la pertinence du programme. Le PADS répond au besoin de concertation et de mobilisation en développement économique, et ce besoin est encore d'actualité en 2017. L'évaluation conclut à l'absence de chevauchement problématique du PADS avec d'autres programmes du gouvernement du Québec. Le programme est cohérent avec la mission du MESI et il s'inscrit dans plusieurs stratégies de développement économique en cours de réalisation. Il est aussi un bon levier d'investissement pour le soutien au développement économique, ayant entraîné 159 M$ d'apports supplémentaires dans ses projets.

  2. Les résultats visés par le programme sont-ils atteints?

    Les résultats visés sont atteints. Le programme a contribué à maintenir une bonne dynamique dans l'écosystème de la concertation en développement économique au Québec. Il a réussi à mobiliser des milliers d'entreprises et d'organismes dans des projets dont les résultats ont une portée collective pour le développement de secteurs stratégiques et l'économie en région. Il est aussi administré de façon responsable et rigoureuse, en conformité avec les principes de gestion axée sur les résultats.

  3. Les retombées du programme sont-elles satisfaisantes?

    Les retombées sont satisfaisantes. L'évaluation est même surprise de constater des retombées économiques de 149 M$, entraînées par les projets du programme et les activités/projets hors programme des créneaux/pôles d'excellence. Le PADS a contribué à des succès commerciaux et à des innovations dans plusieurs filières industrielles régionales, par exemple l'agroalimentaire ou la transformation de l'aluminium.

  4. L'efficience du programme est-elle convaincante?

    L'efficience est en bonne partie convaincante. La valeur des retombées économiques dépasse la valeur de la dépense publique, et les coûts de revient des principaux résultats sont très raisonnables; ainsi, l'évaluation estime que le contribuable en a pour son argent dans le programme. Cependant, des gains d'efficience sont à réaliser dans le dispositif des créneaux et pôles d'excellence, et c'est exactement le travail accompli au quotidien par la direction ministérielle responsable de la démarche ACCORD.

6.3 Principaux constats

L'évaluation de l'atteinte des 22 cibles aboutit à un pointage de 77 points sur 100. Comme le score obtenu dépasse 70, les résultats du programme sont jugés satisfaisants.

6.4 Les éléments à suivre

Dans l'ensemble, les résultats du programme sont jugés satisfaisants et le programme continue de répondre à un besoin réel. Cependant, plusieurs constats suggèrent que des actions ou réflexions pourraient être réalisées pour améliorer certains résultats ou réviser certains éléments du programme.

En lien avec les résultats de la cible 3, au critère 1 :

  1. Les risques de chevauchement constatés devraient inciter les ministères concernés à continuer leurs suivis et leurs évaluations pour veiller à la complémentarité des programmes et des organismes de concertation soutenus dans ces programmes. Les risques de chevauchement sont potentiellement plus élevés dans le secteur du tourisme et celui de l'agroalimentaire, où on inclut la transformation alimentaire. Ils touchent à la fois les programmes et les organismes soutenus par les ministères concernés.

En lien avec les résultats de la cible 5, au critère 2 :

  1. Le programme a accordé de l'aide financière à de nombreuses associations de gens d'affaires et à de nombreux organismes d'aide au développement économique. Cependant, dans un cas seulement, une association de gens d'affaires a reçu treize aides financières dans treize projets en trois ans, alors que pour 93 % des promoteurs de projets, la moyenne est de un à trois projets en trois ans.

En lien avec les résultats de la cible 12, au critère 4, et de la cible 13, au critère 5 :

  1. La section des résultats visés du cadre normatif du programme est limitée à des résultats immédiats (ou extrants) qui ne couvrent pas la raison d'être du programme. Advenant le renouvellement du programme, il y aurait lieu d'inclure dans le cadre normatif des résultats visés portant sur la mobilisation des industriels, des organismes et des partenaires dans les projets soutenus par le programme.

En lien avec les résultats de la cible 14, au critère 5, de la cible 17, au critère 6, et de la cible 19, au critère 7 :

  1. Les projets structurants visant le développement de marché ou l'innovation technologique sont porteurs de succès commerciaux pour les entreprises et les filières industrielles régionales. Il y aurait lieu d'inciter les créneaux et pôles d'excellence à réaliser davantage de projets structurants touchant l'innovation technologique et le développement de marché, et de s'assurer de leur en donner les moyens.

En lien avec les résultats des cibles 20 et 22, au critère 8 :

  1. Considérant les gains d'efficience à réaliser dans le dispositif des créneaux et pôles d'excellence, il y aurait lieu de maintenir un processus d'évaluation périodique de la performance de chaque créneau et pôle d'excellence. Il serait aussi opportun de continuer à suivre les résultats des créneaux et pôles d'excellence. À ce propos, il faut souligner la gestion responsable et rigoureuse accomplie au quotidien dans la démarche ACCORD pour réaliser des gains d'efficience. Il serait aussi nécessaire de préciser aux secrétariats de grappes industrielles quelles sont les informations de base à transmettre au Ministère, par exemple le nombre d'entreprises participant régulièrement à leurs activités et à leurs projets.
  2. Comme le coût de l'activité « projet de recherche » est nettement plus élevé que le coût des autres activités admissibles au programme, il y aurait une réflexion à mener pour déterminer dans quelle mesure les projets de recherche pourraient être mieux soutenus dans un autre programme.

Annexe 1 : Compléments d'information

1.A Modèle logique du programme

Le modèle ci-dessous illustre la logique de l'intervention du PADS et la cohérence interne des liens entre les composantes du programme, notamment ses objectifs, ses extrants et ses effets attendus.

Les objectifs du PADS et les activités qu'il soutient

  1. Raison d'être
    Le besoin de mobiliser les entreprises et les différents partenaires économiques du MESI et de concerter leur action autour d'objectifs et de modes d'intervention communs pour favoriser le développement de secteurs stratégiques dans les régions du Québec et la mise en œuvre de stratégies de développement économique sectoriel.
  2. Cibles
  3. Objectifs
  4. Nature de l'intervention
    Mise en place d'un programme d'aide financière non remboursable.
  5. Intrants
    Aide financière accordée de 45 M$, du 1er avril 2014 au 31 mars 2017, dont 12 M$ dans le volet 1 du programme et 33 M$ dans le volet 2.
  6. Activités

Les résultats attendus du PADS

  1. Extrants
  2. Effets

Les autres retombées du PADS

1.B Résultats détaillés du programme

Complément d'information en lien avec la cible 2 du critère 1

Le graphique A.1 ci-dessous fait l'inventaire des secteurs stratégiques couverts par le programme durant la période évaluée. Les 25 secteurs stratégiques sont déterminés sur le site Internet du MESI. Au total, le programme a couvert 23 de ces 25 secteurs. Plusieurs organismes couvrent plusieurs secteurs, notamment les créneaux et les pôles d'excellence. Le graphique est en lien avec le critère 1 évalué : Le besoin justifiant le programme.

Graphique A.1 : Secteurs stratégiques couverts par le PADS, de 2013-2014 à 2016-2017
Secteurs couverts
Secteurs non couverts

Source : Système de mission Clientis. Compilation MESI.

Complément d'information en lien avec la cible 6 du critère 2

Le tableau A.1 détaille le calcul de l'effet de levier du PADS.

Tableau 4.1 : Effet de levier des projets du PADS, du 1er avril 2014 au 31 mars 2017
  Projets ACCORD Projets grappes industrielles Autres projets secteurs Total
Sources : Liste des projets des créneaux et des grappes et système de mission Clientis. Compilation MESI.
Aide financière PADS 29 473 163 $ 2 303 798 $ 13 453 805 $ 45 229 766 $
Apports des promoteurs et partenaires 46 843 930$ 19 520 550 $ 92 478 415 $ 158 842 895 $
Coût total des projets 73 317 093 $ 21 823 348 $ 105 932 220 $ 204 072 661 $
Effet de levier 1,59 8,48 6,87 3,51

1.C Méthodes d'estimation des retombées économiques

Complément d'information en lien avec la cible 16 du critère 6 et la cible 21 du critère 8

Le tableau A.2 présente les résultats détaillés de l'analyse avantages-coûts réalisée pour évaluer les retombées économiques du programme. L'évaluation estime à 149 M$ les retombées économiques du PADS.

Tableau A.2 Évaluation des retombées économiques du programme, par une analyse avantages-coûts du rendement de la dépense publique consentie, du 1er avril 2014 au 31 mars 2017, en dollars
Les retombées économiques (ou avantages économiques) du programme
Avantages économiques générés par les créneaux et pôles d'excellence Total
Apports des entreprises dans les projets PADS 34 699 798 $
Apports des entreprises dans les autres projets structurants des créneaux/pôles 10 112 003 $
Revenus autonomes de source privée des créneaux/pôles 9 011 585 $
Investissements des entreprises dans les contrats R-D des partenaires des créneaux 23 160 000 $
Sous-total des avantages économiques des créneaux/pôles 76 983 386 $
Avantages économiques générés par les autres projets du programme Total
Apports des entreprises dans les projets PADS des secrétariats de grappes industrielles 8 489 587 $
Apports de source privée dans les projets PADS des autres promoteurs 75 832 300 $
Sous-total des avantages économiques des secrétariats de grappes industrielles 84 321 887 $
  Total
Total des retombées économiques (en dollars nominaux ou dollars courants) 161 305 273 $
Total des retombées économiques (en dollars enchaînés de 2013 ou dollars réels) 158 042 250 $
Total global des retombées économiques actualisées au taux de 6 % 149 069 990 $
La dépense publique (ou les coûts économiques) du programme
Coût du soutien aux créneaux et pôles d'excellence Total
Aide financière MESI dans les projets PADS et le soutien au fonctionnement 29 473 163 $
Apports publics dans les projets PADS des créneaux 12 144 131 $
Aide financière MESI dans les autres projets (hors PADS) 1 292 641 $
Apports publics dans les autres projets (hors PADS) 10 530 305 $
Apports publics dans les revenus autonomes des créneaux 4 118 331 $
Sous-total des coûts économiques liés aux créneaux et pôles d'excellence 57 558 571 $
Coût du soutien aux autres projets du programme Total
Aide financière MESI dans les projets PADS des secrétariats de grappes industrielles 2 302 798 $
Apports publics dans les projets PADS des secrétariats de grappes industrielles 11 030 936 $
Aide financière MESI dans les projets PADS des autres promoteurs 13 453 806 $
Apports publics dans les projets PADS des autres promoteurs 16 646 115 $
Sous-total des coûts économiques liés aux projets 43 433 682 $
  Total
Coût d'opportunité du programme
Application du coefficient d'inefficacité de la taxation (coefficient moyen de 0,554)
55 922 486 $
Total des coûts économiques (en dollars nominaux ou dollars courants) 156 914 739 $
Total des coûts économiques (en dollars enchaînés de 2013 ou dollars réels) 153 752 001 $
Total global des coûts économiques actualisés au taux de 6 % 145 058 562 $
Valeur actuelle nette (VAN) 4 011 428 $
Ratio de rendement de la dépense publique 1,03

Système de mission Clientis, tableaux de bord des résultats et états financiers des créneaux et pôles d'excellence, tableau de bord des projets des secrétariats de grappes industrielles. Compilation MESI.

Notes explicatives relatives à l'analyse avantages-coûts présentée au tableau A.2

L'évaluation des retombées économiques du programme s'appuie sur le modèle d'une analyse avantages-coûts réalisée du point de vue du contribuable et de la société dans son ensemble. Elle vise à quantifier sur une même base monétaire (le dollar) les retombées (ou avantages) économiques attribuables aux projets PADS et à ses activités et projets dérivés. Ces derniers désignent les activités et les projets hors PADS réalisés par certains organismes soutenus dans le volet 1 du PADS, en l'occurrence les créneaux et pôles d'excellence.

L'analyse est très conservatrice, car elle se limite aux flux monétaires dans les projets du programme et dans les activités et les projets hors PADS des créneaux et pôles d'excellence. Elle ne tient pas compte des effets positifs sur les entreprises et des externalités positives du programme. En raison de leur nature (mobilisation et concertation), les effets du programme sur les entreprises sont difficilement quantifiables, et l'évaluateur ne disposait pas d'une information suffisante pour procéder aux estimations habituelles.

Les effets induits de la dépense publique, comme la création d'emplois, ne sont pas pris en considération. Pourquoi? Parce que les emplois sont des facteurs de production utiles à la production des retombées attribuables au programme, mais il n'est pas certain qu'ils soient une conséquence directe de ses activités. Si les subventions avaient été affectées ailleurs que dans le programme, ces emplois pourraient avoir été créés également. C'est pour cette raison que l'utilisation du modèle intersectoriel du Québec n'est pas appropriée pour cette analyse. Seules les retombées économiques attribuables au programme nous intéressent.

L'analyse a permis de quantifier en dollars les retombées économiques et les coûts économiques, pour mesurer les deux résultats suivants : la valeur actuelle nette et le ratio de rendement de la dépense publique. Les composantes considérées dans les retombées et les coûts économiques sont les suivantes :

Les retombées économiques (avantages dans le modèle), qui regroupent :

Les retombées économiques des créneaux et pôles d'excellence :

Elles correspondent à la somme des apports de l'industrie dans les projets soutenus par le PADS, des apports de l'industrie dans les autres projets (hors PADS) des revenus autonomes provenant de source privée. L'évaluation considère les projets hors PADS et les revenus autonomes des créneaux et pôles comme étant des retombées dérivant du PADS et attribuables à celui-ci, car sans son soutien, les créneaux et pôles n'existeraient pas.

Les retombées comprennent aussi les dépenses des entreprises dans les contrats de R-D réalisés dans des organismes de soutien à l'innovation à la suite de leur participation aux activités et aux projets des créneaux. Nous avons estimé une dépense annuelle moyenne de 7 720 k$, en utilisant la moyenne des dépenses des années 2010-2011 à 2012-2013 constatées dans l'évaluation de la démarche ACCORD réalisée en novembre 2013. La fiabilité de cette estimation a été vérifiée à l'aide d'un ajustement linéaire par la méthode des moindres carrés. La moyenne de 7 720 k$ est une valeur très conservatrice et elle est très en deçà de l'estimation de 13 500 k$ obtenue au moyen d'un ajustement linéaire par la méthode des moindres carrés. À ce propos, la droite qui passe au plus près des valeurs observées de 2007 à 2013 est la suivante : y = 1 426 k$ + 754 k$. La linéarité de la tendance de 2007 à 2013 a été vérifiée avec le coefficient de corrélation (r = 0,9). La droite de régression donne un R2 = 0,97. Nous avons retenu une moyenne annuelle de 7 720 k$ plutôt que de 13 500 k$, afin d'éviter de surestimer les valeurs.

Les retombées économiques des autres projets, en incluant les grappes industrielles :

elles correspondent à la somme des apports de l'industrie dans les projets PADS des secrétariats de grappes industrielles et des apports de l'industrie dans les autres projets PADS. Dans le cas des secrétariats de grappes, l'évaluation n'a pas considéré leurs projets hors PADS et leurs revenus autonomes comme étant des retombées dérivant du programme et attribuables à celui-ci, en raison du soutien quadripartite à leur fonctionnement.

Les coûts économiques, qui regroupent :
  1. Les aides financières consenties dans le programme, compilées avec le système de mission Clientis.
  2. Les apports de source publique dans les projets du programme et les activités des créneaux/pôles :
    compilés avec le système Clientis, il s'agit des inventaires de projets et des états financiers des créneaux et pôles d'excellence, ainsi que des inventaires de projets PADS des secrétariats de grappes industrielles.
  3. Le coût d'opportunité lié à la dépense publique.

La dépense publique est possible grâce aux recettes fiscales, donc au prélèvement d'impôts et de taxes auprès des contribuables. Ces impôts et ces taxes modifient le comportement économique des contribuables : par exemple, plus l'impôt est élevé, moins ils vont consommer, ce qui entraînera un coût économique. Le coût d'opportunité vise à estimer ce coût économique. Pour faire ce calcul, il suffit d'appliquer à tout dollar public dépensé un coefficient correcteur, appelé coefficient d'inefficacité de la taxation gouvernementale, fourni par les données du ministère des Finances du Québec. Pour la période évaluée, le coefficient est de 0,554. Ainsi, le coût réel d'une dépense publique de 100 000 $ est de 100 000 $ x (1 + 0,554) = 155 400 $. Le coefficient de 0,554 correspond à la moyenne des coefficients de chaque année évaluée, dont les valeurs sont 0,551 en 2015, 0,554 en 2016 et 0,556 en 2017. Le coût d'opportunité est calculé en appliquant chaque coefficient annuel.

Le taux d'actualisation et l'indice implicite des prix du PIB (IIPP) :

Le taux d'actualisation utilisé est de 6 %. L'actualisation permet de rapporter sur une même base des flux monétaires qui se produisent à des dates différentes. Cette opération est indispensable pour qu'il soit possible d'effectuer des opérations arithmétiques sur les retombées et les coûts économiques observés. L'indice implicite des prix du PIB (IIPP) est utilisé pour éliminer la composante inflationniste des flux monétaires. En d'autres termes, cet indice permet de convertir les dollars exprimés en valeur nominale en dollars exprimés en valeur réelle (ou dollars enchaînés). Il est calculé à l'aide des tableaux de données du PIB selon les dépenses, fournis par l'Institut de la statistique du Québec. L'analyse convertit les dollars courants en dollars enchaînés de 2013.

L'analyse de sensibilité

Le degré de confiance des résultats de l'évaluation économique est de 70 %, ce qui indique une fiabilité acceptable des résultats. Le degré de confiance a été vérifié à l'aide d'une analyse de sensibilité basée sur la méthode Monte-Carlo et réalisée au moyen du logiciel @Risk. Le résultat est présenté ci-dessous :

Valeurs actuelle nette programme PADS

L'analyse Monte-Carlo indique que les probabilités d'une VAN inférieure à zéro (et par conséquent, d'un ratio de rendement de la dépense publique inférieur à 1) sont de 25 % lorsqu'on remplace les paramètres incertains par leurs valeurs probables les plus basses. Les paramètres de sensibilité considérés sont les suivants :

Les limites de l'évaluation économique

L'analyse comporte des limites :

En bref, l'évaluation estime que l'analyse est prudente. Par conséquent, les résultats présentés dans le rapport constituent un minimum probable, et sont fiables à 70 %.

1.D Métode d'évaluation de l'efficience du programme

Complément d'information en lien avec la cible 20 du critère 8

L'efficience du dispositif des créneaux et pôles d'excellence est évaluée à l'aide d'une analyse en composante principale (ACP). Dans la présente évaluation, l'ACP est utilisée pour décrire et visualiser les performances des créneaux et pôles d'excellence par rapport aux résultats visés par le MESI. La question est la suivante : le dispositif actuel des créneaux et pôles d'excellence permet-il de maximiser les résultats? Il s'agit d'évaluer l'efficience, pour la production du maximum de résultats, de l'aide financière aux créneaux et pôles d'excellence. Dans le contexte, le dispositif est considéré comme efficient dans la mesure où au moins 80 % des créneaux et pôles obtiendraient des performances satisfaisantes par rapport aux résultats visés par le MESI.
L'analyse est réalisée à l'aide du logiciel GlobalEvaluator de ProGrid19. L'évaluation de sept critères de résultats a permis de qualifier, selon un pointage sur 100, la performance de chacun des 28 créneaux et pôles évalués. La distribution des scores sur 100 fait l'objet du graphique 5.1.A, plus haut, dans la partie des résultats relatifs à la cible 20. Les scores obtenus dans chacun des sept critères sont saisis dans le logiciel, pour définir les axes « x » et « y » qui expliquent le mieux la dispersion des scores de performance. La visualisation de la dispersion des performances ainsi obtenue est présentée dans le nuage de points décrit au graphique 5.1.B.

Les sept critères évalués portaient sur (1) la masse critique et le périmètre, (2) la mobilisation et le financement, (3) les partenariats et les collaborations, (4) l'atteinte des objectifs du plan d'action, (5) le rayonnement et l'image de marque, (6) le développement de marché et d'entreprises et (7) l'innovation et la R‑D.

Complément d'information en lien avec la cible 22 du critère 8

Les coûts de revient des principaux résultats du programme sont calculés du point de vue du MESI et de son aide financière. Les résultats correspondent au nombre d'entreprises mobilisées et au nombre de participations d'entreprises et d'organismes dans les projets soutenus au volet 2 du programme. Les coûts correspondent au montant de l'aide financière autorisée dans le programme. Les coûts de revient sont calculés en dollars courants, et sont obtenus en faisant le rapport entre le résultat et le montant d'aide financière. Le tableau A.3 présente les coûts de revient des résultats selon le type d'activité admissible au volet 2 du programme. Le coût de revient de la réalisation de projets de recherche est nettement plus élevé que celui des autres activités. Cependant, il est très inférieur au chiffre de 61 227 $ par projet d'innovation constaté dans l'évaluation 2016 du Programme de soutien à la valorisation et au transfert.

Type d'activité du volet 2 du PADS Type de résultat : la mobilisation Type de résultat : la concertation
Sources : Système de mission Clientis et fiches de résultats des projets terminés. Compilation MESI.
Réalisation d'une étude
446 376
Réalisation d'activités de mobilisation 1 489 790
Réalisation d'un projet de recherche 22 476 14 775
Réalisation d'une programmation d'activités 352 225
Réalisation d'activités de promotion 1 330 693

1.E Évaluation de la pertinence de la démarche ACCORD

En 2017, le besoin à l'origine de la mise en place effective d'ACCORD en 2006 se fait toujours sentir

Le besoin auquel répond ACCORD s'inscrit dans le Plan économique 2017-2018 du gouvernement du Québec20. Il consiste à développer l'économie en soutenant l'innovation, les investissements des entreprises et le développement de la main-d'œuvre. En soutenant les créneaux et les pôles d'excellence pour contribuer à l'innovation et l'exportation, les objectifs d'ACCORD s'inscrivent bien dans le plan économique du gouvernement, notamment en ce qui concerne l'émergence de projets économiques structurants, l'emploi et la productivité. Les données probantes qui motivent l'action publique sont inscrites dans le Plan économique 2017-2018.

La démarche ACCORD est une stratégie de développement de clusters visant le développement économique régional par la mobilisation des acteurs économiques locaux autour d'objectifs communs. L'atteinte de cet objectif général passe par la reconnaissance, le suivi et le soutien des créneaux et pôles d'excellence (les clusters). Dans ce contexte, ACCORD s'inscrit dans le PADS. Les données probantes qui motivent la pertinence du programme font partie intégrante du présent rapport d'évaluation.

Le concept de cluster ou de grappe industrielle remonte aux années 1990 et aux travaux de Michael Porter21. Une grappe est une concentration géographique d'acteurs interconnectés : industriels, scientifiques et acteurs locaux qui sont en concurrence, mais qui coopèrent également. Les grappes permettent aux entreprises de se constituer des avantages concurrentiels sur les plans commercial et stratégique en intensifiant leurs liens avec les autres entreprises de leur filière, mais également sur le plan des aspects technologiques et financiers, du capital humain, des infrastructures et de l'environnement légal.

Le soutien aux grappes technologiques ou industrielles est une des principales modalités de l'action publique dans le soutien au développement économique. En 201322, le Québec n'était pas le seul gouvernement à soutenir une politique de clusters (la Belgique, la France, l'Allemagne, les États-Unis et le Japon le faisaient aussi), et c'est toujours le cas en 2017.

L'histoire des clusters depuis les années 1990 et la volumineuse littérature sur le sujet nous enseignent que pour les gouvernements, le soutien aux grappes technologiques ne s'est pas substitué à un autre type de soutien. Les options sont de soutenir ou de ne pas soutenir. En revanche, l'État peut choisir la gouvernance de la grappe (centralisée ou localisée) et le type de grappe (cluster reposant sur la recherche scientifique ou cluster reposant sur des savoir-faire traditionnels). Du point de vue des résultats visés en ce qui concerne l'innovation et le développement de marché, l'action publique peut choisir de soutenir des organismes spécialisés. Le Québec compte déjà de nombreux organismes de ce type. Cependant, leur mission n'est pas la même que celle des créneaux et pôles d'excellence, dont la raison d'être est la concertation et la mobilisation, et qui se distinguent par leur capacité d'aide à la recherche et au développement. 

Il y a une cohérence de la démarche ACCORD avec l'action du gouvernement du Québec

Plusieurs créneaux et pôles d'excellence opèrent en lien avec des stratégies économiques gouvernementales récentes, comme celles-ci : la Stratégie québécoise de développement de l'aluminium, la Stratégie québécoise de l'exportation, la Stratégie maritime, et la Stratégie québécoise de la recherche et de l'innovation (SQRI).
Le Plan stratégique 2016-2019 du MESI prévoit une mesure spécifique pour le soutien au développement des secteurs industriels, des pôles, des grappes et des créneaux d'excellence. Par ailleurs, la SQRI considère les grappes industrielles, les créneaux et les pôles d'excellence comme étant des acteurs de l'écosystème d'innovation au Québec23.

Le 18 janvier 2017, la vice-première ministre et ministre responsable des PME, de l'Allègement réglementaire et du Développement économique régional rappelait l'importance et la pertinence de la démarche ACCORD pour soutenir le développement économique des régions et l'essor de leurs secteurs phares24.

Annexe 2 : Notes méthodiques

2.A    Méthode d'appréciation des résultats

Pour chacun des critères, la comparaison des résultats obtenus et des cibles permet d'évaluer les résultats selon l'échelle de pointage ci-dessous.

L'étape suivante consiste à faire la somme des pointages de chaque cible et à pondérer les résultats selon les poids indiqués au tableau A.5. La dernière étape consiste à qualifier les pointages selon l'échelle du tableau A.4.

Tableau A.4 : Échelle d'appéciation de la performance
Appréciations qualitatives Intervalles
Résultats très satisfaisants 90-100
Résultats satisfaisants 70-89
Résultats insatisfaisants 50-69
Résultats très insatisfaisants 0-49
Tableau A.5 : Pondération appliquée aux thèmes évalués
Éléments à évaluer Poids en %

La pertinence du programme

30
L'efficacité du programme 35
Les effets du programme 10
L'efficience du programme 25

2.B Sources de données

L'objectif est de diversifier les sources de données pour être en mesure de recouper les informations et de vérifier la validité des données. Les sources de données utilisées sont les suivantes :

Examen de la documentation administrative relative au programme

Par documentation administrative, on désigne les éléments suivants :

Enquête auprès des créneaux d'excellence et des secrétariats de grappes industrielles

Pour participer à la consultation, les organismes ont indiqué leurs résultats dans un tableau de bord. L'information recueillie porte sur les résultats visés suivants : la masse critique et le périmètre, la mobilisation et le financement, les partenariats et la collaboration, le degré de réalisation des plans d'action, le rayonnement et l'image de marque et, spécifiquement pour les créneaux et pôles, les retombées socioéconomiques. La collecte est complétée par la constitution des listes de projets financés pour chaque organisme dans le volet 2 du programme. Ces listes indiquent les promoteurs, les montages financiers réels, la nature et les caractéristiques des projets. Au total, 26 créneaux et pôles et six secrétariats ont fourni les informations.

Enquête auprès de la clientèle du programme

Un sondage téléphonique a été réalisé auprès des promoteurs des projets autorisés et terminés durant la période évaluée dans les volets 1 et 2 du programme. Sur une population initiale de 251 organisations, dont 37 créneaux et pôles d'excellence, huit secrétariats de grappes industrielles et 206 organismes ou partenaires d'aide au développement économique, le taux de réponse s'établit à 77 %, avec 193 répondants. La marge d'erreur est de ± 4 % (arrondi). L'échantillon ayant répondu au sondage est considéré comme étant représentatif de la clientèle du programme. Le plan d'échantillonnage a consisté à recenser la clientèle du programme.

2.C Limites de l'évaluation

Tableau A.6 : Les limites de l'évaluation et les stratégies d'atténuation de leurs effets
Limites de l'évaluation Stratégies d'atténuation de leurs effets
Des projets autorisés dans la période évaluée ne sont pas terminés au 31 mars 2017, ce qui pourrait réduire la portée des résultats examinés. Nous avons élargi la collecte des fiches aux projets démarrés avant le 1er avril 2014 et terminés durant la période évaluée. Au total, 619 fiches de résultats ont été recueillies. Nous avons retiré les fiches les plus anciennes, et avons conservé 511 fiches. Nous avons vérifié l'inférence statistique en comparant les résultats avec 619 fiches et avec 511 fiches. La marge d'erreur étant inférieure à ± 2 %, nous avons considéré les résultats des 511 fiches retenues comme représentatifs des projets terminés durant la période évaluée. Cette stratégie permet de faire le pont avec la précédente évaluation, qui s'est terminée le 31 mars 2014.

Un manque de fiabilité des informations contenues dans les 511 fiches de résultats de projets terminés pourrait compromettre l'appréciation des résultats des projets

Un recoupement des informations contenues dans les fiches a été réalisé avec les données du sondage réalisé auprès des promoteurs, Les résultats des projets colligés dans les fiches ont été recoupés et comparés avec les résultats de la précédente évaluation, réalisée en 2014. Les recoupements et les comparaisons confirment la fiabilité des informations contenues dans les fiches de résultats.

2.D Tableau de pointage

Évaluation du PADS – Pointage final des résultats sur 100

Pertinance du programme
Critères Score obtenu Maximum possible
Critère 1 : Le besoin justifiant le programme 12,50 15,00
Critère 2 : : La cohérence avec les priorités du ministère 13,00 15,00
Sous-total Pertinence 25,50 30,00
Total Pertinence, efficacité, effets et efficience 77,26 100,00
Efficacité du programme
Critères Score obtenu Maximum possible
Critère 3 : L'atteinte des résultats immédiats visés par le programme 9,33 11,67
Critère 4 : L'atteinte des effets visés par le programme 9,07 11,67
Critère 5 : La conformité avec les normes et la satisfaction des clients 9,72 11,67
Sous-total Efficacité 28,12 35,00
Total Pertinence, efficacité, effets et efficience 77,26 100,00
     
Effets du programme
Critères Score obtenu Maximum possible
Critère 6 : Les retombées sur le développement économique 3,75 5,00
Critère 7 : Les retombées sur le développement des entreprises 3,50 5,00
Sous-total Effets 7,25 10,00
Total Pertinence, efficacité, effets et efficience 77,26 100,00
Efficience du programme
Critères Score obtenu Maximum possible
Critère 8 : L'efficience du programme 16,39 25,00
Sous-total Efficience 16,39 25,00
Total Pertinence, efficacité, effets et efficience 77,26 100,00

Notes et références

Note 1 : La dernière évaluation, datée de janvier 2015, couvrait les résultats du programme du 4 octobre 2011 au 31 mars 2014, c'est-à-dire les années financières suivantes : 2011-2012, 2012-2013 et 2013-2014.

Note 3 : Les travaux de la TADE sont le fruit de la collaboration de six ministères du gouvernement du Québec intervenant dans le soutien à la concertation des entreprises et des organismes d'aide au développement économique.

Note 4 : [En ligne, le 16 août 2017] www.tresor.gouv.qc.ca/fileadmin/PDF/revision_programmes/rapport_2015_vol4.pdf.

Note 5 : [En ligne, le 16 août 2017] www.cjrs-rcsr.org/archives/12-1/Proulx.pdf.

Note 6 : Bulletin de l'Observatoire québécois du loisir, vol. 7, no 11, 2010.

Note 7 : [En ligne, le 21 août 2017] www.economie.gouv.qc.ca/objectifs/informer/par-secteur-dactivite/.

Note 8 : [En ligne, le 21 août 2017] www.economie.gouv.qc.ca/objectifs/creer-liens/demarche-accord/.

Note 9 : [En ligne, le 21 août 2017] www.economie.gouv.qc.ca/presse21juin2017.

Note 10 : Un projet terminé peut avoir contribué à l'atteinte de l'un ou plusieurs des résultats visés. En conséquence, il n'est pas approprié d'additionner les nombres d'entreprises et d'organismes indiqués dans les résultats de chacune des cibles.

Note 11 : [En ligne, 5 septembre 2017]. www.tresor.gouv.qc.ca/cadredegestion/gestion-axee-sur-les-resultats/index.html.

Note 12 : La programmation d'activités désigne la réalisation d'un projet qui comporte plusieurs activités ainsi qu'une durée déterminée et qui s'inscrit dans les priorités et les orientations du MESI.

Note 13 : Les retombées de 149 M$ correspondent aux chiffres du tableau A.2 de l'annexe 1, en l'occurrence : 161 M$ en dollars courants, convertis en dollars enchaînés (ou réels) de 2013 et actualisés au taux de 6 %.

Note 14 : Pour être qualifié de structurant, le projet doit viser au moins un des résultats suivants : avoir un effet d'entraînement pour la réalisation d'autres actions, permettre un progrès qualitatif important dans le développement des activités du créneau et de ses entreprises, avoir un effet mobilisateur auprès d'intervenants autres que le promoteur du projet, assurer un rayonnement du créneau au Québec et à l'échelle internationale, ou renforcer le caractère d'excellence du créneau et de son expertise dans son secteur économique.

Note 15 : [En ligne, le 15 septembre 2017] www.economie.gouv.qc.ca/evaluation.

Note 16 : Au total, 37 créneaux et pôles d'excellence ont été soutenus dans le programme durant la période évaluée. La présente évaluation a examiné les résultats de 28 créneaux et pôles pour lesquels les informations étaient disponibles. L'évaluation a considéré l'échantillon comme étant représentatif de l'ensemble, car il représentait 76 % de l'ensemble du dispositif.

Note 17 : [En ligne, le 1er octobre 2017]. www.economie.gouv.qc.ca/evaluation.

Note 18 : [En ligne, le 1er octobre 2017]. www.economie.gouv.qc.ca/objectifs/creer-liens/demarche-accord/.

Note 19 : [En ligne, le 2 octobre 2017]. www.albertatechfutures.ca/globalevaluatorProgrid.

Note 20 : [En ligne, le 2 octobre 2017]. www.budget.finances.gouv.qc.ca/budget/2017-2018/.

Note 21 : Michael E. Porter, « Clusters and the New Economics of Competition », Harvard Business Review, décembre 1998.

Note 22 : [En ligne, le 2 octobre 2017]. www.economie.gouv.qc.ca/evaluation.

Note 23 : [En ligne, le 2 octobre 2017]. www.economie.gouv.qc.ca.

Note 24 : [En ligne, le 2 octobre 2017]. www.economie.gouv.qc.ca/presse18janvier2017.