Programme de soutien à la recherche (PSR) - Rapport d'évaluation

Pour la période du 1er avril 2012 au 31 mars 2016

Notes au lecteur

  1. Sauf avis contraire dans le texte, toutes les sommes indiquées sont en dollars canadiens. Le symbole suivant est utilisé : M$ pour million de dollars.
  2. Selon l'indicateur considéré, le total des résultats peut comporter une différence de ± 1 % pour les pourcentages ou de ± 1 pour les autres valeurs. Cette différence s'explique par l'arrondissement des résultats présentés.
  3. Dans ce document, le terme PME désigne toute petite ou moyenne entreprise de moins de 250 employés; ni son chiffre d'affaires ni la valeur de ses actifs ne sont pris en compte. Cette définition de la PME, en vigueur dans l'Union européenne (UE) et dans l'Organisation de coopération et de développement économiques (OCDE), est plus adaptée au contexte québécois que celle de Statistique Canada (moins de 500 employés).
  4. À moins d'avis contraire, les résultats présentés dans le document sont pour la période du 1er avril 2012 au 31 mars 2016.

L'évaluation des résultats du Programme de soutien à la recherche (PSR) est réalisée à la demande du Secteur de la science et de l'innovation du ministère de l'Économie, de la Science et de l'Innovation, et en vertu de son cadre normatif.

La présente évaluation vise à apprécier les effets de l'aide financière de 560 M$ accordée dans le cadre de ce programme, et ce, pour la période du 1er avril 2012 au 31 mars 2016. Elle s'inscrit dans le processus de gestion axée sur les résultats du Ministère, et elle est un outil d'aide à la décision pour les autorités et les gestionnaires responsables de l'administration du programme.

Cette évaluation a été réalisée conformément à la Politique ministérielle d'évaluation de programme et à la Charte de l'évaluation des programmes, disponibles à l'adresse suivante : www.economie.gouv.qc.ca/evaluation.

Auteur du rapport

Jean-René Tagne Kuelah
Expert en économétrie et en évaluation de programme
Recherche et rédaction

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

Ce document est disponible
sur demande auprès de cette direction.

Pour nous joindre

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation
710, place D'Youville, 7e étage
Québec (Québec)  G1R 4Y4
Téléphone : 418 691-5698, poste 4208

Pour plus d'information :

gar@economie.gouv.qc.ca

Version définitive – décembre 2016
© Gouvernement du Québec

Remerciements

Le présent document est le fruit de la collaboration de plusieurs personnes sans lesquelles les travaux n'auraient pu être menés à leur terme. Nous tenons donc à remercier toutes les personnes associées de près ou de loin à la réalisation du présent rapport d'évaluation.

Un comité d'évaluation a été constitué à l'occasion de cette évaluation. Son objectif était d'obtenir l'assurance que les constats du rapport sont valides et que les appréciations qui en découlent sont objectives. Plus précisément, les membres du comité, présentés ci-après, devaient valider le cadre et le rapport d'évaluation, et conseiller l'évaluateur sur la stratégie générale d'évaluation, tout en apportant un éclairage sur des questions importantes qui peuvent se poser au cours de la réalisation du mandat.

Nous tenons à adresser nos plus sincères remerciements aux membres du comité, tous du Ministère, qui ont été sélectionnés en fonction de leurs connaissances et de leur expérience concernant le programme et, plus généralement, l'aide financière aux organismes de soutien à l'innovation.

Les membres du comité d'évaluation

François Maxime Langlois
Directeur
Direction de la coordination, de l'évaluation et de la planification

Christophe Marchal
Évaluateur principal et chef d'équipe d'évaluation
Direction de la coordination, de l'évaluation et de la planification

Sommaire

La présente évaluation vise à apprécier les effets de l'aide financière de 560 M$ accordée dans le cadre du Programme de soutien à la recherche (PSR), du 1er avril 2012 au 31 mars 2016. Les résultats du programme sont jugés satisfaisants. L'évaluation confirme la pertinence du programme pour le soutien aux centres de recherche publics, pour l'acquisition d'infrastructures de recherche de pointe et pour la participation des chercheurs québécois aux projets de recherche et d'innovation internationaux. L'efficience du programme est établie par une contribution financière du milieu de la recherche supérieure aux engagements du Ministère et par des retombées économiques considérables, estimées à 698 M$. Ces retombées se présentent sous la forme de dépenses en recherche (et particulièrement sous celle d'investissements importants dans les infrastructures de recherche), de plusieurs actes de commercialisation, ou encore de consolidation et de création d'emplois au Québec.
Les principaux résultats constatés de 2012 à 2016 sont les suivants :

Pertinence

Efficacité

Effets

Conclusions

En ce qui concerne le programme, l'évaluation constate ce qui suit :

Table des matières

Chapitre 1 - Le contexte de l'évaluation

1.1 Les objectifs de l'évaluation

La présente évaluation est réalisée pour que les obligations du cadre normatif du Programme de soutien à la recherche (PSR) soient respectées. Ce programme prend fin le 31 mars 2018 et exige un examen triennal comprenant une évaluation des résultats1.

L'évaluation vise donc à rendre compte des résultats du programme et à apprécier la réalisation de ses objectifs. L'examen des critères d'évaluation et des indicateurs développés dans le cadre de cet exercice permettra de répondre aux trois questions suivantes :

La Direction de la coordination, de l'évaluation et de la planification (DCEP) du ministère de l'Économie, de la Science et de l'Innovation (MESI) a été mandatée pour effectuer ces travaux d'évaluation. Le protocole d'évaluation utilisé pour répondre à ces trois questions est présenté au tableau 1.

Tableau 1.1 - Protocole d'évaluation des effets de l'aide financière accordée dans le PSR

Pertinence et efficience (question 1)

Critères à évaluer :

  1. La demande pour le programme
  2. La réponse à des besoins
  3. L'efficience du programme
Efficacité (question 2)

Critères à évaluer :

  1. Les activités soutenues et la satisfaction de la clientèle
  2. L'administration du programme
Effets (question 3)

Critères à évaluer :

  1. Les effets du programme sur la recherche
  2. Les effets du programme sur les infrastructures de recherche et sur les initiatives internationales de recherche
  3. Les autres retombées socioéconomiques

Les autorités et les gestionnaires responsables du programme au Ministère sont les principaux clients de la présente évaluation. Les autorités sont le sous-ministre en titre et la sous-ministre adjointe du Secteur de la science et de l'innovation. Les gestionnaires sont les personnes responsables du programme à la Direction du soutien aux organisations (DSO), au Bureau de gestion des projets d'infrastructure (BGPI) et à la Direction des partenariats internationaux (DPI), qui font tous partie du Secteur de la science et de l'innovation au Ministère. Les résultats de cette évaluation seront aussi accessibles à tout le personnel du Ministère et du Secrétariat du Conseil du trésor.

1.2    Une description du programme évalué

1.2.1    Les objectifs et les résultats attendus

Le PSR est le principal moyen d'intervention du gouvernement du Québec pour le soutien aux centres de recherche publics, pour la modernisation et le développement d'infrastructures de recherche de pointe et pour la participation des chercheurs québécois aux projets de recherche et d'innovation internationaux.

Plus précisément, les objectifs du programme sont les suivants :

Les résultats suivants sont attendus :

1.2.2    Les volets du programme et la clientèle visée

Le programme comporte quatre volets :

1.3    La chaîne des résultats du programme

Le modèle logique du programme est présenté à l'annexe 1. Il illustre la chaîne des résultats attendus par le Ministère et sert aussi à vérifier la cohérence interne des liens entre les composantes du programme, notamment ses objectifs, ses extrants et ses effets attendus.

1.4    L'aide financière du programme

Du 1er avril 2012 au 31 mars 2016, 560 M$ d'aide financière ont été autorisés pour le soutien aux centres de recherche publics, pour la modernisation et le développement d'infrastructures de recherche de pointe et pour la participation des chercheurs québécois aux projets de recherche et d'innovation internationaux. Pour tous ces projets, le montant des aides financières versées s'élève à 278 M$.

Le graphique 1 ci-dessous présente l'aide accordée et l'aide versée, par volet du programme. Les investissements dans les trois premiers volets du programme représentent chacun environ le tiers des aides totales accordées. Le financement du volet 4est marginal, avec 2 % des montants totaux autorisés.

Graphique 1 - Aide financière dans le PSR, du 1er avril 2012 au 31 mars 2016
Aide autorisée Aide versée
Volet 1** 172 172*
Volet 2*** 173 32
Volet 3*** 202 69
Volet 4 13 5
Total 560 278

*Un versement de 10 M$ en 2011-2012 qui n'a pas fait encore l'objet d'une reddition de comptes est inclus dans le montant de 2012-2013.

**Le montant autorisé correspond au montant versé (voir tableau 2, p. 6).

***Le versement des aides financières ne suit pas toujours le rythme d'exécution des projets, car les organismes ont parfois recours aux emprunts temporaires auprès des institutions prêteuses pendant la réalisation des travaux, qui peuvent s'échelonner sur quelques années.

Source : Documentation administrative du programme, compilation MESI, octobre 2016.

1.5    La méthode d'évaluation

La méthode d'évaluation utilise les principes de l'analyse multicritère. Elle consiste à comparer les résultats du programme aux résultats attendus par le Ministère. L'évaluation des écarts conduit à une appréciation qualitative pour chacun des critères. Par la suite, une grille de pointage est utilisée en vue d'attribuer un score de 0 à 100 aux résultats du programme, le score de 70 représentant un niveau de résultats jugé satisfaisant. La méthode de pointage est détaillée à l'annexe 2.

Les sources d'information utilisées regroupent les éléments suivants : les rapports d'évaluation des résultats des organismes réalisés en 2015 ou antérieurement, les données administratives du programme et les données de l'enquête téléphonique réalisée auprès des promoteurs de projets et des responsables des organismes de recherche. Le comité d'évaluation a convenu de ne pas enquêter auprès de la clientèle du volet 3. Au lieu de cela, les données relatives aux indicateurs de résultats colligées par la FCI pour les projets du Québec ont été exploitées. L'annexe 4 présente les détails sur les sources d'information utilisées.

1.6    La portée et les limites du mandat

L'évaluation des quatre volets du programme porte sur les résultats obtenus au cours des quatre années financières suivantes : 2012-2013, 2013-2014, 2014-2015 et 2015-20162. Cette période couvre trois C.T. généraux approuvés par le Conseil du trésor (C.T.), en l'occurrence le C.T. no 210517 du 16 août 2011 pour les années 2012-2013 et 2013-2014, le C.T. no 214182 du 7 octobre 2014 pour l'année 2014-2015 et le C.T. no 215345 du 13 juillet 2015 pour l'année 2015-2016.

Dans le but de faciliter la présentation des résultats, les années financières évaluées sont converties selon les années calendaires suivantes : 2012-2013 → 2013, 2013-2014 → 2014, 2014-2015 → 2015, 2015-2016 → 2016.

Par ailleurs, seuls les activités et les projets de recherche autorisés pendant la période évaluée sont pris en compte dans la présente évaluation. Ainsi, les projets autorisés avant la période d'évaluation et dont les versements se sont poursuivis pendant les quatre années de 2012 à 2016 ne sont pas pris en compte. L'exception concerne les aides financières accordées aux organismes du volet 1 qui reçoivent du financement de fonctionnement régi par des conventions de subvention pluriannuelles.

D'autre part, ce rapport d'évaluation utilise les montants des aides financières approuvées ou autorisées pour le calcul des différents indicateurs de performance. Il faut préciser que le versement des aides financières ne suit pas toujours le rythme d'exécution des projets, et que les organismes ont parfois recours aux emprunts temporaires auprès des institutions prêteuses, particulièrement pour les projets d'infrastructures. Par exemple, le pourcentage moyen d'avancement des projets d'infrastructures de recherche du volet 2 est de 71 %, alors que seulement 18 % des aides financières autorisées ont été versées, soit des versements totaux de 32 M$ par rapport à des aides financières accordées de 173 M$.

Ce rapport d'évaluation utilise les données sur les résultats des rapports d'avancement des projets colligées par la FCI en 2015 en ce qui concerne les universités, collèges ou organismes installés dans la province de Québec. L'ensemble de ces résultats est attribué au financement du Ministère sans égard à l'aide financière du fédéral.

Enfin, la présente évaluation comporte certaines limites, dont les effets ont été atténués par l'utilisation des stratégies présentées dans le tableau 2 ci-dessous.

Tableau 2 - Les limites de l'évaluation des résultats du PSR et les stratégies d'atténuation de leurs effets
Limites de l'évaluation Stratégies d'atténuation de leurs effets
Tous les résultats évalués ne font pas explicitement l'objet d'une cible dans le cadre normatif du programme.
  • Les attentes habituelles du Ministère, quelle que soit l'intervention évaluée, peuvent être utilisées.
Une enquête téléphonique a été réalisée auprès du bureau de direction des organismes financés et auprès des promoteurs de projets. Cependant, aucune enquête du Ministère n'a été réalisée auprès de la clientèle du volet 3.
  • Les données sur les résultats des rapports d'avancement des projets du Québec colligées par la FCI auprès de cette clientèle seront utilisées lorsque nécessaire.
Pour le volet 1, l'analyse n'utilise pas les montants autorisés, mais plutôt les montants versés ou payés des aides financières, pour le calcul des indicateurs et l'appréciation des cibles.
  • Au volet 1, les aides financières accordées aux organismes à travers les conventions de subvention couvrent parfois indifféremment les frais de fonctionnement et de soutien aux projets. Elles sont presque identiques aux montants versés annuellement.
Les données disponibles sur les revenus autonomes de certains organismes dont le fonctionnement est soutenu dans le volet 1 ne couvrent pas toute la période d'évaluation.
  • Les données des années manquantes ont été remplacées par la moyenne annuelle des données du dernier rapport d'évaluation.

Chapitre 2 - La pertinence du programme

2.1 Critère 1 : La demande pour le programme

Les cibles

  1. Le financement d'organismes et de projets de recherche.
  2. Une clientèle diversifiée et une bonne couverture régionale.
  3. La cible 1 est atteinte. De 2012 à 2016, le PSR a approuvé 640 demandes d'aide financière (graphique 2). Les trois quarts de ces demandes proviennent du volet 3. Par ailleurs, en partenariat avec Mitacs3, l'initiative appelée Stages d'innovation en entreprise, financée par le budget du volet 1 du PSR, a permis à plus d'un millier d'étudiants de bénéficier d'une bourse de recherche pour suivre des stages d'innovation en entreprise.

    Graphique 2 - Nombre de projets et d'organismes de soutien à la recherche approuvés, de 2012 à 2016

    640 projets et organismes dont le fonctionnement est soutenu :

    Source : Documentation administrative du programme, compilation MESI, août 2016.

    La cible 2 est en partie atteinte. En effet, 82 % des projets soutenus par le PSR proviennent des organismes des régions de Montréal et de la Capitale-Nationale (graphique 3). En plus, trois projets sur quatre proviennent des centres collégiaux de transfert de technologie (CCTT), des collèges ou des universités, alors que les établissements du réseau de la santé, comme les centres de recherche hospitaliers, concentrent 20 % des projets de recherche ou des organismes dont le fonctionnement est soutenu.

    Graphique 3 - Ventilation par régions administratives des activités ou projets approuvés

    82 % de projets pour Montréal et Capitale-Nationale :

    Source : Documentation administrative du programme, compilation MESI, octobre 2016.

    Cibles 1 et 2 - Commentaires de l'évaluateur sur les résultats du critère 1

    Les résultats sont jugés satisfaisants. Le PSR a soutenu les projets de recherche ou le fonctionnement des organismes selon les spécificités de chacun des quatre volets, comme prévu au cadre normatif. La clientèle du programme est essentiellement composée des CCTT, collèges ou universités et des centres de recherche affiliés. Cette clientèle est majoritairement concentrée dans les régions de Montréal et de la Capitale-Nationale.

    2.2 Critère 2 : La réponse aux besoins

    Les cibles

  4. Au moins 70 % de la clientèle percevant le programme comme étant utile.
  5. La complémentarité avec d'autres programmes d'aide financière.
  6. La concordance du PSR avec les priorités gouvernementales et les orientations du Ministère.
  7. La cible 3 est atteinte. Presque toute la clientèle sondée (97 %) estime qu'elle n'aurait pas réalisé ses activités de recherche, ou pas complètement, en l'absence de l'aide financière du programme. Dans des proportions similaires, les responsables de projets soulignent que l'infrastructure autorisée dans le cadre du volet 3 est une ressource clé. D'ailleurs, plus de 85 % de cette clientèle affirme que l'infrastructure de recherche est pleinement utilisée. En plus, l'ensemble de la clientèle sondée par le Ministère soutient que les mesures d'aide financière sont utiles. L'essentiel de ces résultats est présenté au graphique 4, ci-contre.

    Graphique 4 - Valeur ajoutée et utilité du PSR selon la clientèle

    Sources : Compilation des rapports d'avancement des projets (FCI, 2015) et sondage MESI (de juillet à septembre 2016).

    La cible 4 est atteinte. Le PSR ne chevauche pas d'autres programmes du gouvernement du Québec. Il est plutôt complémentaire à d'autres mécanismes d'intervention. À ce propos, les faits suivants sont constatés :

    Graphique 5 - Caractère unique ou complémentaire du PSR selon la clientèle

    Source : Sondage MESI, de juillet à septembre 2016.

    La cible 5 est atteinte. Le PSR concorde avec les priorités gouvernementales et la mission de soutien au développement économique du Ministère. En effet, les faits suivants ont été relevés :

    Cibles 3 à 5- Commentaires de l'évaluateur sur les résultats du critère 2

    Les résultats sont jugés satisfaisants. Le programme est utile pour presque tous les bénéficiaires, qui n'auraient pas réalisé substantiellement leurs projets de recherche sans les financements reçus. Les objectifs du PSR concordent avec les orientations et la mission de soutien au développement économique du Ministère. Le PSR est le principal moyen d'intervention du gouvernement du Québec pour le soutien aux centres de recherche publics, pour la modernisation et le développement d'infrastructures de recherche de pointe et pour la participation des chercheurs québécois aux projets de recherche et d'innovation internationaux.

    2.3 Critère 3 : L'efficience du programme

    Les cibles

  8. Un effet de levier global de l'aide financière du gouvernement d'au moins 1.
  9. Un ratio avantages-coûts de la dépense publique égal à au moins 1.
  10. La cible 6 est atteinte. Sur la période évaluée, l'effet de levier du programme s'établit à 2,4 (graphique 6). Il correspond à 1 342 M$ d'investissements dans les infrastructures et les projets de recherche au Québec, pour une contribution de contrepartie de 560 M$ faite par le Ministère. Comme le montre l'annexe 2, c'est le volet Soutien à des organismes ou projets de recherche qui obtient le plus haut effet de levier (3,2), grâce à la contrepartie des partenaires dans le montage des projets de recherche et à des services générés par les activités des organismes de recherche dont le fonctionnement est soutenu.

    La cible 7 n'est pas atteinte. Le rendement de l'ensemble de la dépense publique relative au fonctionnement des organismes admissibles, aux projets de recherche ainsi qu'aux investissements en infrastructures de recherche est estimé à 0,5 sur la période. Ce résultat s'explique par la nature de l'intervention du PSR, qui soutient essentiellement les projets en amont de la recherche et le développement de leurs infrastructures. Par exemple, 67 % du budget du PSR, soit 375 M$, est consacré au développement et à la modernisation des infrastructures de recherche dans les universités et collèges (volets 2 et 3). De plus, le volet 1 alloue plus des deux tiers de son budget (117 M$) à trois organismes de recherche fondamentale : Génome Québec, Ouranos et l'Institut de recherches cliniques de Montréal (IRCM). Les bénéfices immédiats associés à ces investissements en amont de la recherche ou dans leurs infrastructures sont difficilement quantifiables à court terme. Enfin, les externalités positives liées à cette intervention du Ministère ne sont pas prises en compte dans le calcul du ratio de la dépense publique. L'annexe 3 présente les détails sur la méthode d'analyse avantages-coûts utilisée.

    Cibles 6 et 7- Commentaires de l'évaluateur sur les résultats du critère 3

    Les résultats sont jugés partiellement satisfaisants. L'effet de levier se rapportant aux contributions de l'industrie est élevé, avec plus de deux dollars d'apport du milieu pour chaque dollar du Ministère. Toutefois, la rentabilité de la dépense publique n'a pas été constatée, en raison de la nature du PSR, qui finance essentiellement les projets très en amont de la recherche et le développement de leurs infrastructures. Il s'agit là du chaînon de l'innovation qui bénéficie difficilement de l'appui financier du secteur privé. Ce constat vient renforcer le besoin de l'intervention financière du Ministère grâce à ce programme, qui ne vise pas à financer la commercialisation des résultats de la recherche.

    Chapitre 3 - L'efficacité du programme

    3.1 Critère 4 : Les activités soutenues et la satisfaction de la clientèle

    Les cibles

  11. Type de projets de recherche soutenus par le programme.
  12. Un taux de satisfaction global d'au moins 75 % de la clientèle par volet du programme.
  13. La cible 8 est atteinte. Le financement d'organismes et de projets est en cohérence avec les caractéristiques de chaque volet du programme. En effet, ce sont 30 organismes et projets de recherche financés dans le volet 1, dont 10 organismes de recherche prédéterminés, qui ont bénéficié d'une aide financière pour leur fonctionnement. Le soutien au financement d'infrastructures de recherche du volet 2 a permis 27 acquisitions, 21 agrandissements et 5 mises aux normes de bâtiments ou d'équipements de recherche. Suivant les critères d'admissibilité des projets aux concours de la FCI au volet 3, 516 projets de modernisation et de développement d'infrastructures de recherche ont été soutenus, dont 411 dans le Fonds des leaders John-R.-Evans. Le taux de succès global aux concours de la FCI des établissements du Québec est variable en fonction du budget et des exigences du concours : par exemple, ce taux est de 78 % (excellent) pour le Fonds des leaders John-R.-Evans, de 54 % (moyen) pour le Fonds collège-industrie pour l'innovation et de 27 % (faible) pour le Fonds d'innovation. Les initiatives internationales de recherche du volet 4 ont appuyé 40 missions à l'étranger ainsi que 27 projets de recherche et de développement à l'international (graphique 7).

    Graphique 7 - Type de projets ou d'organismes soutenus par le programme

    Source : Documentation administrative du programme, compilation MESI.

    La cible 9 est atteinte. Le sondage réalisé auprès de la clientèle du PSR indique un taux de satisfaction de 87 % pour l'ensemble des services reçus. Le plus haut taux de satisfaction (91 %) a été enregistré lorsque les répondants ont été interrogés sur la documentation à fournir pour la demande de financement. Par contre, l'accompagnement4fourni par le Ministère tout au long de la réalisation des activités des organisations de recherche a été apprécié à hauteur de 72 %, ce qui représente la plus basse satisfaction exprimée par la clientèle (graphique 8) .

    Cibles 8 et 9- Commentaires de l'évaluateur sur les résultats du critère 4

    Les résultats sont jugés satisfaisants. Les aides accordées sont conformes aux normes du programme. Les organismes de recherche et les promoteurs de projets ont été sélectionnés suivant les particularités de chaque volet du programme. Le taux de satisfaction de la clientèle à l'égard du programme et des services reçus est, dans l'ensemble, très élevé.

    3.2 Critère 5 : L'administration du programme

    Les cibles

  14. L'utilisation de saines pratiques de gestion axée sur les résultats.
  15. L'allocation des budgets aux fins prévues.
  16. L'efficacité des normes du programme.
  17. La cible 10 est partiellement atteinte. La gestion du programme est réalisée en partie dans le respect des principes de gestion axée sur les résultats5. Pour la période évaluée, les faits suivants sont constatés :

    La cible 11 est atteinte. L'aide financière approuvée, s'établissant à 560 M$, été essentiellement allouée au soutien des centres de recherche publics, à la modernisation et au développement d'infrastructures de recherche de pointe et à la participation des chercheurs québécois aux projets de recherche et d'innovation internationaux, comme prévu dans le cadre normatif du programme. Au sujet de cette cible, on constate les éléments suivants :

    La cible 12 est atteinte. Les promoteurs de projets et les responsables d'organismes de recherche ont souligné que les normes du PSR ont contribué efficacement à l'atteinte des résultats (graphique 9). En effet, une forte proportion des répondants au sondage (88 %)7 approuvent les modalités de l'aide en général, particulièrement les types de projets et d'activités de recherche admissibles, les dépenses admissibles et le montant de l'aide financière reçue pour leur projet ou activité. Ils sont aussi nombreux à souligner que le financement reçu pour leurs activités de recherche favorise une large diffusion des connaissances et un rayonnement du Québec à l'international. Le financement contribue aussi à la formation de chercheurs qualifiés et au renforcement des partenariats. En revanche, moins de la moitié des sondés soutiennent que le programme favorise l'appropriation des résultats de la recherche par les entreprises ou une première participation à un réseau international de recherche.

    Graphique 9 - Effets du programme sur les résultats

    Source : Sondage MESI, de juillet à septembre 2016.

    Cibles 10 à 12- Commentaires de l'évaluateur sur les résultats du critère 5

    Les résultats sont jugés partiellement satisfaisants, car deux cibles sont atteintes et une cible est partiellement atteinte. En général, l'on constate à l'évaluation la présence d'outils de saine gestion, mais les mécanismes de suivi des aides financières devraient être systématiquement améliorés pour garantir la concordance de toutes les sources d'information disponibles pour chaque volet du programme. L'aide financière a été entièrement allouée aux fins prévues. Des bénéfices ont été constatés en matière de recherche et d'investissements dans les infrastructures. Par contre, le programme devrait veiller à une meilleure appropriation des résultats de la recherche par les entreprises et inciter à plus de participations à des réseaux internationaux de recherche.

    Chapitre 4 - Les effets du programme

    4.1 Critère 6 : Les effets du programme sur la recherche

    Les cibles

  18. Des projets de recherche réalisés en collaboration universités-entreprises.
  19. Des chercheurs soutenus par l'intermédiaire des financement alloués.
  20. Des étudiants qui participent aux projets ou aux activités de recherche financés.
  21. Toutes les cibles sont atteintes. Le graphique 10 ci-dessous présente les résultats visés par le programme et son cadre normatif. Les organisations sondées ont rapporté 286 projets de recherche réalisés en collaboration universités-entreprises afin de faciliter le transfert des connaissances et des technologies. Par ailleurs, près de 884 autres projets de recherche ont été réalisés. Le financement du programme a aussi permis à plusieurs milliers de chercheurs (dont environ les deux tiers se rattachaient au volet 3) d'entreprendre ou de poursuivre le développement de créneaux de recherche et d'innovation à fort potentiel dans des domaines divers. De plus, le PSR a contribué à la formation de la relève scientifique, puisque près de 7 400 étudiants ou stagiaires ont participé aux différentes initiatives de recherche, dont 5 864 grâce aux infrastructures du volet 3.

    Graphique 10 - Résultats du PSR, de 2012 à 2016

    Sources : Compilation des rapports d'avancement des projets du Québec (FCI, 2015) et sondage MESI (de juillet à septembre 2016).

    Cibles 13 à 15- Commentaires de l'évaluateur sur les résultats du critère 6

    Les résultats sont jugés satisfaisants. Les résultats visés sont atteints. Sur près d'un millier de projets de recherche qui découlent du financement du Ministère, le quart correspondait à des projets réalisés en collaboration universités-entreprises. Plusieurs chercheurs, ainsi que plusieurs milliers de stagiaires, ont participé à ces travaux.

    4.2 Critère 7 : Les effets sur les infrastructures et sur les initiatives internationales de recherche

    Les cibles

  22. Des investissements dans les infrastructures de recherche.
  23. Des projets de recherche réalisés en collaboration internationale.
  24. Des publications scientifiques dans des revues à facteur d'impact supérieur à 5.
  25. Les cibles 16 à 18 sont atteintes. Le graphique 11 ci-dessous récapitule les effets en matière de recherche attribuables au programme. Les investissements totaux des partenaires s'établissent à 760 M$ pour le financement des infrastructures de recherche, grâce à un appui important du Québec (375 M$) et du fédéral (203 M$). Les organismes sondés ont effectué 320 collaborations internationales dans les projets de recherche et 294 publications dans des revues à facteur d'impact supérieur à 5. Par ailleurs, grâce au PSR, ces organismes ont fait de nombreuses publications avec des partenaires québécois ou avec au moins un partenaire étranger, et plusieurs présentations ou conférences scientifiques dans les médias. L'utilisation des données sur les résultats des rapports d'avancement des projets du Québec colligées par la FCI en 2015 fait état de plusieurs milliers de publications évaluées par les pairs (3 452) ainsi que de conférences, symposiums, ateliers ou présentations (5 539).

    Graphique 11 - Autres effets du PSR, de 2012 à 2016

    Sources : Documentation du programme, compilation des rapports d'avancement des projets du Québec (FCI,2105) et sondage MESI (de juillet à septembre 2016).

    Cibles 16 à 18- Commentaires de l'évaluateur sur les résultats du critère 7

    Les résultats sont jugés satisfaisants. Les résultats visés sont atteints. D'abord, des investissements majeurs de 760 M$ ont eu lieu pour la modernisation des infrastructures de recherche. Ensuite, en plus des 320 collaborations internationales constatées dans les projets, de nombreuses publications ont été faites dans des revues scientifiques à fort facteur d'impact pour une meilleure visibilité à l'international, ainsi que plusieurs autres publications ou communications.

    4.3 Critère 8 : Les autres retombées socioéconomiques

    Les cibles

  26. Des emplois créés ou maintenus grâce aux projets ou aux activités de recherche financés.
  27. Des retombées économiques directes dans la société québécoise.

Les cibles 19 et 20 sont atteintes. Les aides financières totales du programme, dont le coût économique incluant le coût d'opportunité est estimé à 786 M$, ont induit des retombées économiques directes estimées à 698 M$ dans l'économie québécoise sous la forme de dépenses en recherche, et particulièrement sous celle d'investissements dans les projets ou dans les infrastructures de recherche. Cette activité économique s'est traduite par la création de 1 596 emplois dans les organismes de recherche, dans les collèges et universités ou dans des établissements affiliés. Enfin, 637 actes de commercialisation des résultats de la recherche ont été dénombrés chez les organisations sondées, comme le dépôt de brevets et de licences ou l'adoption de mécanismes de protection de la propriété intellectuelle. Ces résultats sont présentés dans le graphique 12.

Graphique 12 - Autres retombées socioéconomiques du PSR, de 2012 à 2016

Source : Documentation du programme, compilation des rapports d'avancement des projets du Québec (FCI,2015) et sondage MESI (de juillet à septembre 2016).

Cibles 19 et 20 - Commentaires de l'évaluateur sur les résultats du critère 8

Les résultats sont jugés satisfaisants. Les résultats visés sont atteints. Grâce au PSR, de nombreux emplois ont été créés ou maintenus dans l'économie québécoise. De plus, les travaux de recherche liés au programme ont donné lieu à plusieurs actes de commercialisation, comme le dépôt de licences ou de brevets. Enfin, cette intervention du Ministère a induit des retombées économiques estimées à 698 M$ sous la forme d'investissements nouveaux dans les infrastructures et dans les projets de recherche, ainsi que d'amélioration de la productivité des entreprises clientes des organismes financés.

Chapitre 5 - Les conclusions de l'évaluation

5.1 Les principaux constats

Principaux résultats du programme – Degré d'atteinte des cibles
Du 1er avril 2012 au 31 mars 2016
Atteinte des cibles
La pertinence du programme
Critère 1 : La demande pour le programme  
  • 640 activités ou projets soutenus par le programme, à hauteur de 560 M$.
  • Projets majoritairement issus des organisations situées dans les régions de Montréal et de la Capitale-Nationale.


Critère 2 : La réponse à des besoins  
  • Programme utile, avec une valeur ajoutée avérée pour la quasi-totalité de la clientèle.
  • Complémentarité et absence de chevauchement avec d'autres programmes publics.
  • Programme cohérent avec la mission et les orientations du Ministère.


Critère 3 : L'efficience du programme  
  • Effet de levier de 2,4 du programme.
  • Rendement de la dépense publique de 0,5.

X
L'efficacité du programme
Critère 4 : Les activités soutenues et la satisfaction de la clientèle  
  • 516 projets d'infrastructures, 94 projets de collaboration internationale et 30 projets de recherche et organismes dont le fonctionnement est soutenu.
  • Taux de satisfaction de 87 % des organisations soutenues par le PSR.


Critère 5 : L'administration du programme  
  • Conformité aux principes de gestion axée sur les résultats pour la quasi-totalité des volets du programme.
  • Administration conforme aux normes du programme.
  • Certaines attentes du programme ayant été moyennement satisfaites.
±

±
Les effets du programme
Critère 6 : Les effets du programme sur la recherche  
  • 286 projets de recherche réalisés en collaboration universités-entreprises.
  • 3 673 chercheurs soutenus par l'intermédiaire des financements alloués.
  • 7 400 étudiants ou stagiaires dans les projets ou activités de recherche.



Critère 7 : Les effets du programme sur les infrastructures et sur les initiatives internationales de recherche  
  • 760 M$ d'investissements dans les infrastructures de recherche.
  • 320 collaborations internationales dans les projets de recherche.
  • 294 publications scientifiques dans des revues à facteur d'impact supérieur à 5.


Critère 8 : Les autres retombées socioéconomiques  
  • Des retombées économiques de 698 M$ induites par un coût de 786 M$.
  • 1 596 emplois créés ou maintenus dans l'économie québécoise.
  • 637 actes de commercialisation des résultats de la recherche (dépôt de brevets, de licences, etc.).


Légende : ↑ pour cible dépassée; ✓ pour cible atteinte; ± pour cible partiellement atteinte; X non atteinte

5.2      Les réponses aux questions de l'évaluation

Voici les réponses aux trois questions posées dans l'évaluation du programme :

  1. Le programme est-il pertinent et efficient?
  2. Oui. Le programme répond au besoin de soutenir les centres de recherche publics, la modernisation et le développement d'infrastructures de recherche de pointe et la participation des chercheurs québécois aux projets de recherche et d'innovation internationaux. Ce sont 640 projets de recherche qui ont été soutenus sur la période. Le PSR ne duplique aucun programme d'un autre ministère du Québec. Les partenaires contribuent substantiellement au montage financier et à la réalisation des projets de recherche en apportant plus de deux dollars pour chaque dollar de subvention du Ministère.

  3. Le programme est-il efficace?
  4. Oui. Plusieurs projets de recherche et de nombreux investissements en infrastructures ont été autorisés, en conformité avec les normes du programme. La grande majorité de la clientèle est satisfaite du programme dans son ensemble. La présence de plusieurs collaborations de recherche entre les universités et les entreprises a été constatée. De plus, des milliers de chercheurs et d'étudiants ont participé aux projets soutenus. En général, les mécanismes de gestion axée sur les résultats sont présents. D'après les responsables de projets sondés, la majorité des attentes ont été satisfaites, comme la progression des travaux de recherche et leur diffusion ainsi que le renforcement des partenariats internationaux existants. Toutefois, des améliorations pourraient être apportées concernant l'appropriation des résultats de la recherche par les entreprises ou une première participation à un réseau international de recherche.

  5. Les effets visés sont-ils atteints?
  6. Oui. Les effets attribuables au programme sont probants et quantifiables. Ils se traduisent par des retombées économiques de 698 M$ sous la forme d'amélioration de la productivité des entreprises clientes des organismes de recherche subventionnés, de dépenses en recherche et particulièrement d'investissements nouveaux dans les infrastructures de recherche. De plus, 637 actes de commercialisation des résultats de la recherche ont été observés, ainsi que la création ou le maintien de 1 596 emplois dans l'économie québécoise.

5.3 L'appréciation générale des résultats

L'évaluation de l'atteinte des cibles de résultats aboutit à un pointage de 85 sur 100. Selon l'échelle d'appréciation située à l'annexe 2, les résultats du programme sont jugés satisfaisants.

Évaluation du PSR – Pointage final des résultats sur 100
  Score obtenu Maximum possible
Pertinence du programme
Critère 1 : La demande pour le programme 9,72 11,67
Critère 2 : La réponse à des besoins 9,07 11,67
Critère 3 : L'efficience du programme 7,78 11,67
Sous-total pertinence (sur 35 pts) 26,57 35,00
Efficacité du programme
Critère 4 : Les activités soutenues et la satisfaction de la clientèle 15,00 15,00
Critère 5 : L'administration du programme 8,33 15,00
Sous-total efficacité (sur 30 pts) 23,33 30,00
Effets du programme
Critère 6 : Les effets du programme sur la recherche 11,67 11,67
Critère 7 : Les effets du programme sur les infrastructures de recherche et sur les initiatives internationales de recherche 11,67 11,67
Critère 8 : Les autres retombées socioéconomiques 11,67 11,67
Sous-total effets (sur 35 pts) 35,00 35,00
Total sur 100 84,90 100,00

Annexe 1 - Le modèle logique du programme

Les objectifs de l'intervention et les activités soutenues par le PSR
Raison d'être
  • Favoriser l'excellence et la pérennité du capital humain, matériel et organisationnel voué aux activités de recherche et d'innovation.
  • Soutenir les initiatives et partenariats sur le plan national et international.
Volet 1 Volet 2 Volet 3 Volet 4
Cibles de l'intervention
  • Soutien aux organismes ou aux projets de recherche
  • Soutien au financement d'infrastructures de recherche
  • Cofinancement du Québec aux programmes de la FCI
  • Soutien à des initiatives internationales de recherche et d'innovation
Objectifs
  • Assurer le développement de créneaux de recherche et d'innovation à fort potentiel dans les domaines de la santé, des sciences naturelles et du génie, des sciences sociales et humaines, des arts et lettres.
  • Concrétiser des partenariats entre les milieux universitaires, collégiaux, institutionnels et industriels.
  • Moderniser et développer les infrastructures de recherche.
  • Soutenir des initiatives internationales de recherche et d'innovation industrielle..
Nature de l'intervention
  • Mise en place d'un programme normé (PSR) pour financer des organismes de soutien à l'innovation et des projets en conformité avec certaines normes.
Intrants
  • Une aide financière de 560 M$ accordée dans le programme, du 1er avril 2012 au 31 mars 2016, dont 31 % dans le volet 1, 31 % dans le volet 2, 36 % dans le volet 3 et 2 % dans le volet 4.
Activités
  • Préparation des normes et des modalités de gestion du programme.
  • Réception et analyse des demandes d'aide financière, et sélection des projets soutenus.
  • Information et promotion du programme.
  • Préparation et signature des conventions d'aide financière.
  • Gestion des aides accordées aux organismes, fixation des modalités d'utilisation des aides et élaboration d'attentes de résultats.
  Les résultats attendus du PSR
Extrants
  • Des organismes et des projets soutenus en conformité avec les normes du programme.
  • La mise en place de réseaux favorisant la coopération et la synergie entre les acteurs.
Effets
  • Formation de masses critiques de chercheurs capables d'atteindre une position concurrentielle dans les créneaux d'avenir (lié à l'objectif 1).
  • Augmentation de la visibilité des chercheurs québécois et de leurs établissements de recherche à l'échelle nationale et internationale (lié à l'objectif 2).
  • Accroissement des collaborations de recherche universités-entreprises, intersectorielles et interordres (lié à l'objectif 3).
  • Modernisation et développement des infrastructures de recherche et des plateformes de recherche collaboratives (lié à l'objectif 4).
  Les autres retombées du PSR
Retombées pour le Québec
  • Emplois créés ou maintenus dans l'économie.
  • Amélioration de la compétitivité des entreprises clientes.
  • Création de richesse dans l'économie québécoise.

Annexe 2 - Les compléments d'information

1.A    Les organismes soutenus dans le volet 1 du programme

Voici la liste des organismes soutenus, sur la base de leur importance pour l'économie du Québec, dans le volet 1 du PSR :

  1. Calcul Québec
  2. Centre de recherche informatique de Montréal (CRIM)
  3. Centre de recherche sur les biotechnologies marines (CRBM)
  4. Consortium de recherche appliquée en traitement et transformation des substances minérales (COREM)
  5. Génome Québec
  6. Institut de recherches cliniques de Montréal (IRCM)
  7. Institut national d'optique (INO)
  8. Ouranos
  9. Société des arts technologiques (SAT)

1.B    la Méthode d'appréciation des résultats

Dans chacun des critères, l'écart entre le résultat obtenu et la cible correspondante permet d'apprécier l'atteinte de la cible selon l'une des quatre appréciations qualitatives présentées au tableau B.1. Pour chaque cible, un pointage est attribué selon les options suivantes : si la cible est dépassée, 3 points sont attribués; si la cible est atteinte, 2 points sont attribués; si la cible est partiellement atteinte, 1 point est attribué; si la cible n'est pas atteinte, aucun point n'est attribué. Les scores ainsi obtenus sont additionnés, puis pondérés selon les poids présentés au tableau B.2. Le résultat est un score sur 100.

Tableau B.1 - Échelle d'appréciation des résultats
Appréciation qualitative Intervalle
Résultats très satisfaisants 90-100
Résultats satisfaisants 70-89
Résultats partiellement satisfaisants 50-69
Résultats insatisfaisants 0-49
Tableau B.2 - Pondération des éléments à évaluer
Éléments à évaluer Poids en %
La pertinence du programme 35
L'efficacité du programme 30
Les effets du programme 35

1.C    Les données détaillées sur certains indicateurs

Le tableau C.1 ci-dessous présente les détails sur le calcul de l'effet de levier du programme. Il prend en compte les revenus autonomes des organismes de recherche dont le fonctionnement est subventionné au volet 1 du programme, et les contreparties des promoteurs de projets et des autres partenaires dans le montage des différents projets.

Effet de levier du programme, par volet et au total, de 2012 à 2016
Nature des investissements TOTAL
Volet 1 – Soutien à des organismes ou projets de recherche
  • Aide financière versée pour les projets et le fonctionnement des organismes
172 429 710 $
  • Revenus autonomes des organismes et apports publics et privés dans leurs projets
552 517 272 $
Effet de levier dans le volet 1 du programme 3,20
Volet 2 – Soutien au financement d'infrastructures de recherche
  • Aide financière accordée pour le financement des projets d'infrastructures
172 774 867 $
  • Apports en espèces et dons des partenaires dans les projets
235 849 309 $
Effet de levier dans le volet 2 du programme 1,37
Volet 3 – Cofinancement du Québec aux programmes de la FCI
  • Aide financière accordée pour le cofinancement des programmes de la FCI
202 177 436 $
  • Apports en espèces des partenaires dans les projets
524 245 650 $
Effet de levier dans le volet 3 du programme 2,59
Volet 4 – Soutien à des initiatives internationales de recherche et d'innovation
  • Aide financière accordée pour les initiatives internationales de recherche
12 779 931 $
  • Apports en espèces des entreprises et des partenaires dans les projets
29 093 087 $
Effet de levier dans le volet 4 du programme* 2,28
TOTAL GÉNÉRAL PSR TOTAL
  • Aide financière totale autorisée dans le programme
560 161 944 $
  • Apports privés en espèces dans les organismes et les projets
1 341 705 318 $
Effet de levier total du programme 2,39

* L'effet de levier est calculé sur la portion du projet réalisée en sol québécois.

Source : Suivi administratif des aides financières PSR, compilation MESI.

Annexe 3 - L'analyse avantages-coûts (AAC)

L'analyse avantages-coûts est réalisée du point de vue sociétal (c'est-à-dire de celui du contribuable) dans son ensemble. L'analyse consiste à déterminer les retombées économiques imputables au programme et la dépense publique consentie pour les générer. Le programme est jugé efficient lorsque les retombées dépassent les coûts.

Les résultats détaillés de l'analyse avantages-coûts

Le tableau ci-dessous présente les résultats détaillés de l'analyse. La dépense publique du Ministère de 560 M$ dans le programme induit des retombées économiques de 698 M$ et un ratio de rendement de 0,5. Les intérêts payés par le gouvernement ou par le privé sont exclus de l'analyse.

Rendement de la dépense publique de tous les paliers de gouvernement dans les organismes et les projets soutenus par le programme, de 2012 à 2016
Retombées économiques du programme Total
Retombées économiques directes
  • Volet 1 : Soutien aux organismes et aux projets de recherche :
    • Gains en profitabilité des entreprises clientes et revenus de services des organismes
    • Apports des partenaires privés dans les projets
576,2 M$
551,1 M$
25,1 M$
  • Volet 2 : Apports des partenaires privés dans les projets d'infrastructures
59,0 M$
  • Volet 3 : Apports des partenaires privés dans les projets d'infrastructures
119,0 M$
  • Volet 4 : Apports des partenaires privés dans les projets d'initiatives internationales
16,3 M$
Total des retombées économiques (en dollars nominaux ou dollars courants) 770,5 M$
Total des retombées économiques actualisées et déflatées (à 6 % par année, 2013 = 100) 697,5 M$
Coûts économiques du programme
  • Aide financière du MESI dans le programme
560,2 M$
  • Coût d'opportunité lié à l'aide financière du MESI dans le programme
303,6 M$
  • Aide financière des autres paliers de gouvernement dans les organismes et les projets
376,8 M$
  • Coût d'opportunité lié à l'aide financière des autres paliers de gouvernement
203,6 M$
Total des coûts économiques (en dollars nominaux ou dollars courants) 1 444,2 M$
Total des coûts économiques actualisés (à 6 % par année) 1 305,9 M$
Ratio de rendement de la dépense publique 0,53      
Retombées économiques directes 697,5 M$

Sources : Documentation administrative du programme, rapports d'évaluation des organismes, compilation MESI.

La méthodologie et les composantes de l'analyse

Les retombées économiques regroupent deux éléments fondamentaux :

Les revenus autonomes des organismes et les apports privés dans les projets sont considérés comme étant des estimateurs (proxies) fiables du surplus du consommateur. Dans le contexte de l'analyse, le consommateur est assimilé aux entreprises clientes des organismes. Ces informations sont tirées des rapports d'évaluation pour la reddition de comptes. Les organismes Calcul Québec et SAT ne sont pas inclus, faute d'information sur leurs revenus autonomes.

Les coûts économiques regroupent ces trois éléments :

Les limites de l'analyse

Étant donné la période de quatre ans évaluée, les effets futurs des projets des organismes ne sont pas pris en compte. Toutefois, les retombées économiques de projets antérieurs qui se sont manifestées pendant la période évaluée le sont. Par contre, l'analyse ne prend pas en compte les externalités positives pour la société occasionnées par les activités et les projets des organismes financés.

Annexe 4 - Les sources d'information

Les sources de données utilisées dans la présente évaluation sont les suivantes :

Entre 2012 et 2015, le Ministère a évalué les résultats de certains organismes de recherche sur les neuf organismes financés dans le volet 1 du PSR. D'autres organismes comme l'INO et Ouranos sont en cours d'évaluation, alors que Calcul Québec et la SAT n'ont jamais fait l'objet d'une évaluation. La présente évaluation utilise les constats et les conclusions de ces travaux du Ministère.

Cet examen comprend les éléments suivants :

Un sondage téléphonique a été réalisé du 5 juillet au 16 septembre 2016 auprès des promoteurs des projets et des responsables des organismes de recherche soutenus dans les volets 1, 2 et 4 du programme. Concernant le volet 3, les données relatives aux indicateurs de résultats colligées par la FCI pour les projets du Québec ont été aussi utilisées. L'exercice avait pour objectif de recueillir l'avis des organisations sur la pertinence et les résultats du programme, et de connaître leur degré de satisfaction.

Sur une population initiale de 206 organisations, et une population joignable de 160 organisations, le taux de réponse s'établit à 65 %, avec 104 réponses et environ 46 répondants non joignables (voir le tableau ci-dessous). Aucun échantillonnage n'a été effectué, c'est-à-dire que chaque organisation a été l'objet d'au moins un appel téléphonique.

Rendement du sondage téléphonique réalisé auprès des organisations clientes du PSR

Clientèle Population admissible Population joignable*(A) Nombre de répondants (B) Taux de réponse (B/A) Marge d'erreur
Organisations 206 160 104 65 % 9,6 %

*     La population joignable exclut les numéros non valides ou sans service, les fermetures d'entreprises, les doublons et les numéros hors échantillon.

Source : Sondage auprès de la clientèle, MESI, octobre 2016.

Table des matières

1. Le cadre d'évaluation du programme doit être transmis au Secrétariat du Conseil du trésor au plus tard le 31 mai 2017, et le rapport d'évaluation au plus tard le 31 janvier 2018 (réf. : C.T. no 215345 du 13 juillet 2015).

2. La dernière évaluation, datée d'avril 2014, couvrait les résultats du programme du 1er avril 2009 au 31 mars 2012, c'est-à-dire les années financières suivantes : 2009-2010, 2010-2011 et 2011-2012.

3. www.mitacs.ca/fr/au-sujet-de-mitacs

4. L'accompagnement fait référence aux conseils fournis à la clientèle concernant la préparation de la demande, les délais de traitement de la demande et les modalités de l'aide financière en général.

5. Secrétariat du Conseil du trésor [En ligne], www.tresor.gouv.qc.ca/cadredegestion/gestion-axee-sur-les-resultats/index.html (Consulté le 10 août 2016).

6. La mesure Stages d'innovation en entreprise est administrée par la Direction du développement de la relève (DDR) du Ministère.

7. Données disponibles sur demande