Efficience, efficacité et effets de l'aide financière accordée aux organismes de soutien à l'innovation technologique

Bilan 2012-2015

Préface

Ce bilan informe les décideurs du ministère de l'Économie, de la Science et de l'Innovation (MESI) de l'efficience, de l'efficacité et des effets des aides financières de 126 millions de dollars accordées à 19 organismes de soutien à l'innovation technologique des entreprises. Que contient ce bilan?

  1. Une analyse de l'efficience des aides accordées. Cette analyse vise à aider les décideurs du Ministère à déterminer dans quelle mesure les résultats constatés valent l'importance des aidesaccordées aux organismes. Elle consiste dans une évaluation économique, laquelle constitue le chapitre 2 du présent bilan.
  2. Une appréciation de l'atteinte des objectifs du financement du Ministère. Cette appréciation vise à informer les décideurs de l'efficacité des 19 organismes dans l'atteinte des objectifs des aides accordées. Elle fait l'objet du chapitre 3 du rapport.
  3. Une analyse des effets des aides accordées sur la compétitivité des entreprises et l'emploi. Cette analyse vise à mesurer les augmentations de chiffre d'affaires et la création d'emplois attribuables aux aides accordées aux organismes. Elle fait l'objet du chapitre 4 du rapport.

Le Ministère a réalisé ce bilan conformément aux normes ministérielles relatives à la gestion axée sur les résultats. Les documents normatifs sont disponibles sur son site Web1.

François Maxime Langlois
Directeur
Direction de la coordination, de l'évaluation et de la planification

Christophe Marchal
Évaluateur principal
Direction de la coordination, de l'évaluation et de la planification

Auteur du rapport

Christophe Marchal
Évaluateur principal
Analyse et rédaction

Direction de la coordination, de l'évaluation et de la planification Ministère de l'Économie, de la Science et de l'Innovation

Ce document est disponible sur demande auprès de cette direction.

Pour nous joindre

Direction de la coordination, de l'évaluation et de la planification

Ministère de l'Économie, de la Science et de l'Innovation

710, place D'Youville, 7e étage
Québec (Québec) G1R 4Y4
Téléphone : 418 691-5698, poste 5964

Pour plus d'information :
gar@economie.gouv.qc.ca

Remerciements

Ce document est le fruit de la collaboration de plusieurs personnes sans lesquelles les travaux n'auraient pu être menés à leur terme. À cet égard, nous remercions le personnel du Secteur de l'innovation du Ministère et toutes les personnes associées de près ou de loin à la réalisation de ce bilan.

Nous remercions plus particulièrement les membres du comité de validation constitué à l'occasion du présent mandat. Les objectifs et le rôle de ce comité sont présentés ci-dessous.

Objectifs

Choix des membres

Rôle

Participation

Les membres du comité de validation

Notes au lecteur

  1. Sauf avis contraire dans le texte, toutes les sommes indiquées sont en dollars canadiens. Les symboles suivants sont utilisés : k$ pour milliers de dollars, M$ pour millions de dollars et G$ pour milliards de dollars.
  2. Selon l'indicateur considéré, le total des résultats peut comporter une erreur de ± 1 % pour les pourcentages ou de ± 1 pour les autres valeurs. Cette erreur s'explique par l'arrondissement des résultats présentés.
  3. Dans ce document, le terme « PME » désigne toute entreprise de 250 employés ou moins, sans tenir compte de son chiffre d'affaires ni de la valeur de ses actifs.

Sommaire

Le présent bilan vise à rendre compte de l'efficience, de l'efficacité et des effets de 126 M$ d'aides accordées par le ministère de l'Économie, de la Science et de l'Innovation à 19 organismes de soutien à l'innovation technologique, qui ont fait l'objet d'évaluations individuelles en 2015.

Les aides accordées aux organismes sont-elles efficientes?

Du point de vue du Ministère, les aides accordées aux organismes de soutien à l'innovation technologique sont efficientes. C'est un modèle d'intervention dont le coût est raisonnable et qui offre un bon rapport coût/résultat. Cependant, l'efficience des aides est variable selon le type d'organisme. Cette variabilité s'explique par le rôle et la place des organismes dans la chaîne d'innovation. Plus l'organisme est en amont dans cette chaîne et plus le coût de revient du résultat est élevé. La variabilité peut aussi s'expliquer par le secteur industriel des entreprises clientes des organismes.

Les graphiques ci-dessous indiquent les coûts de revient, du point de vue du Ministère, pour aider les entreprises à innover, pour améliorer leur compétitivité et pour créer des emplois au Québec.

Du point de vue du Ministère, quel est le coût de revient pour aider une entreprise à innover?

Catégories

Coût (en dollars)

Financement total du Ministère 52 175
Sociétés de valorisation 155 972
Regroupements sectioriels 112 664
Centres de liaison et de transfert 68 092
Incubateurs technologiques 59 134
Centres de R-D appliquée in situ 31 423

Du point de vue du Ministère, quel est le coût de revient pour générer 10 k$ de ventes supplémentaires dans une entreprise cliente des organismes financés?

Catégories

Coût (en dollars)

Financement total du Ministère 3 655
Sociétés de valorisation 11 738
Centres de liaison et de transfert 9 047
Regroupements sectoriels 3 762
Centres de R-D appliquée in situ 2 974
Incubateurs technologiques 1 417

Du point de vue du Ministère,
quel est le coût de revient pour créer un emploi?

Catégories

Coût (en dollars)

Financement total du Minist;re 52 747
Sociétés de valorisation 201 050
Centres de liaison et de transfert 63 552
Regroupements sectoriels 56 257
Centres de R-D appliquée in situ 45 278
Incubateurs technologiques 25 156

Pour le Ministère, le coût de revient pour aider une entreprise à innover est de 52 k$ lorsqu'il finance les 19 organismes considérés.

L'allocation d'aide la moins efficiente, selon nos critères, est le financement des sociétés de valorisation. Du point de vue du Ministère, le coût de revient est de 156 k$ pour aider une entreprise à innover lorsqu'il finance les trois sociétés de valorisation.

Pour le Ministère, le coût de revient est de 4 k$ pour contribuer à générer 10 k$ de ventes supplémentaires dans les entreprises clientes des organismes considérés.

Dans le cas des sociétés de valorisation, le coût de revient dépasse la valeur du résultat obtenu. Pour le Ministère, le coût est de 12 k$ pour contribuer à générer 10 k$ de ventes supplémentaires dans les entreprises clientes des sociétés.

Pour le Ministère, le coût de revient est de 53 k$ pour contribuer à créer un emploi dans les entreprises clientes des organismes considérés.

L'intervention la moins efficiente, selon nos critères, est le financement des sociétés de valorisation. Du point de vue du Ministère, le coût de revient est de 201 k$ par emploi créé dans les entreprises clientes des sociétés.

Sommaire

Par ailleurs, le financement de 126 M$ accordé par le Ministère aux 19 organismes a contribué à générer des retombées économiques de 421 M$ au Québec, de 2010 à 2015.

Les résultats des organismes sont-ils à la hauteur des attentes du Ministère?

Globalement, les résultats des organismes sont à la hauteur des attentes du Ministère. À cet égard, le graphique ci-dessous indique les niveaux de performance sur 100 points obtenus par les organismes dans leurs évaluations individuelles. Un score de 70 est le niveau minimal de performance attendu. Les performances modestes de MEDTEQ et d'INNOVÉÉ s'expliquent par le démarrage récent de ces deux organismes. Dans leur cas, il faut souligner que la participation des entreprises et des partenaires aux projets de même que le volume de leurs activités sont croissants.

Portrait comparé de la performance des organismes financés
(en pourcentage)

Organisme

Pertinence

Efficacité

Impacts

Total

Source : Rapports d'évaluation 2015 des organismes.

CRIQ 32 29 32 93
COREM 33 27 32 92
CIRANO 34 27 30 91
Inno 31 26 33 91
CRIAQ 29 27 31 88
UNIVALOR 29 27 31 86
CRBM 32 25 28 85
CEFRIO 30 25 29 84
CRIBIQ 23 30 31 84
CEIM 35 23 25 84
CQRDA 31 24 28 83
CQDM 28 27 27 82
CQIB 30 21 31 82
ALIGO 28 23 31 82
SOVAR 29 22 30 81
PROMPT 31 27 20 77
PRIMA 24 23 24 71
INNOVÉÉ 20 19 20 58
MEDTEQ 17 21 18 56

Les effets sur les entreprises et l'emploi sont-ils probants et positifs?

Les effets des 126 M$ d'aides accordées sont jugés probants et positifs. Ils se sont traduits, de 2012 à 2015, par des ventes supplémentaires de 9 % en moyenne par PME cliente des organismes, ce qui correspond à des augmentations annuelles de 3 % en moyenne par PME. Par ailleurs, les aides financières ont contribué à créer 2 210 emplois dans les PME clientes des 19 organismes évalués.

Conclusions

Le bilan confirme l'efficience du financement des organismes de soutien à l'innovation technologique. Cependant, cette efficience est variable selon le type d'organisme financé. Il appert que le modèle actuel des sociétés de valorisation est le modèle d'intervention dont le coût de revient des résultats est le plus élevé. Par ailleurs, le bilan confirme l'efficacité des organismes dans l'atteinte des objectifs de financement du Ministère. La plupart d'entre eux ont satisfait aux attentes ministérielles.

Les 126 M$ d'aides accordées génèrent des effets positifs dans les PME clientes des organismes. De 2012 à 2015, ils se sont traduits par des ventes supplémentaires annuelles de 3 % en moyenne par PME et par la création de 2 210 emplois, ce qui représente 736 emplois créés en moyenne par année.

Table des matières

Chapitre 1 - le contexte

Chapitre 2 - L'effficience de l'aide financière

Chapitre 3 - L'efficacité de l'aide financière

Chapitre 4 - Les effets de l'aide financières

  • 4.1 Les effets sur le chiffre d'affaires des entreprises
  • 4.2 Les effets sur l'emploi dans les entreprises
  • Chapitre 5 - Les conclusions

    Annexes

    Chapitre 1 - Le contexte

    1.1 Les objectifs du bilan

    Le présent bilan vise à rendre compte de l'efficience, de l'efficacité et des effets des aides financières accordées par le ministère de l'Économie, de la Science et de l'Innovation (MESI) à 19 organismes de soutien à l'innovation technologique. Ces organismes ont fait l'objet d'évaluations individuelles en 2015. Plus précisément, ce bilan souhaite apporter des réponses aux trois questions suivantes :

    1. Les aides accordées aux organismes sont-elles efficientes?

    Les réponses à cette question visent à aider les décideurs à déterminer dans quelle mesure les résultats obtenus par les organismes valent l'importance des aides accordées pour les produire.

    2. Les résultats des organismes sont-ils à la hauteur des attentes du Ministère?

    Cette question permet d'évaluer les performances de chaque organisme par rapport aux objectifs du financement accordé par le Ministère.

    3. Les effets sur la compétitivité des entreprises et l'emploi sont-ils probants et positifs?

    Cette question vise à mesurer l'amélioration du chiffre d'affaires des entreprises clientes des organismes et le nombre d'emplois créés dans ces entreprises qui sont attribuables aux aides accordées.

    Le Secteur de l'innovation du Ministère est à l'origine de la demande du bilan. Il est représenté au comité de validation par un panel de décideurs dans ce secteur.

    1.2 L'aide financière accordée par le ministère

    Le graphique 1.1 illustre la répartition des 126 M$ d'aides financières accordées aux organismes. Ces 126 M$ correspondent aux montants des aides accordées par le Ministère et validées dans les rapports d'évaluation individuelle des organismes, réalisés au cours de l'année 20152.

    Portrait comparé de la performance des organismes financés
    (en millions de dollars)
    Organisme Pertinence

    Source : Rapports d'évaluation 2015 des organismes.

    CRIQ 46,9
    CQRDA 8,0
    PRIMA 6,9
    CRIBIQ 6,8
    CQDM 6,7
    ALIGO 5,8
    CRIAQ 5,8
    CEFRIO 5,4
    PROMPT 5,1
    CIRANO 4,7
    UNIVALOR 4,4
    SOVAR 3,1
    COREM 2,7
    INNOVÉE 2,6
    MEDTEQ 2,5
    INNO-CENTRE 2,5
    CQIB 2,2
    CRBM 2,0
    CEIM 1,9
    Total 126

    1.3 La chaîne de résultats attendus par le Ministère.

    Les 19 organismes considérés dans ce bilan ont des missions différentes et des modèles différents. Certains sont financés pour effectuer de l'incubation d'entreprises, d'autres pour réaliser des recherches dans un secteur industriel particulier et d'autres encore pour valoriser et commercialiser de nouvelles technologies. Quels que soient les objectifs du financement accordé, ces organismes concourent tous à répondre au besoin de soutenir l'innovation technologique dans les entreprises en vue de contribuer au développement économique du Québec. Par conséquent, du point de vue du Ministère, ils sont tous financés pour les mêmes objectifs suivants :

    Le tableau ci-dessous propose une illustration de la chaîne de résultats attendus par le Ministère de la part des organismes de soutien à l'innovation technologique financés à l'aide du volet 1 du Programme de soutien à la valorisation et au transfert (PSVTv1) ou du volet 1 du Programme de soutien à la recherche (PSRv1).

    Objectifs de l'intervention du Ministère

    Raison d'être
    Cibles de l'intervention
    Nature de l'intervention

    Résultats attendus de l'aide financière accordée aux organismes

    Extrants
    Effets

    Effets des services, des contrats et des projets de R-D des organismes :

    Retombées

    1.4 La portée et les limites du bilan

    1.4.1 La population à l'étude et les périodes évaluées

    La population à l'étude est celle des organismes de soutien à l'innovation technologique financés par le Ministère à l'aide du PSVTv1 ou du PSRv1. À cet effet, 24 organismes ont été répertoriés sur le site Web du Ministère3 . Ce bilan considère les résultats de 19 d'entre eux, ce qui représente la grande majorité (79 %) de la population à l'étude. En ce sens, la cohorte évaluée est jugée représentative des organismes composant cette population.

    La liste des 19 organismes considérés dans ce bilan est disponible à l'annexe 1.

    Les périodes analysées sont les suivantes :

    1.4.2 Les limites du bilan

    Ce bilan est une aide à la décision pour les autorités et les gestionnaires du Ministère. Par ailleurs, il comporte certaines limites dont les effets ont été atténués grâce à l'utilisation de différentes stratégies. Le tableau 1.1 en fait le portrait.

    Tableau 1.1
    Les limites du bilan et les stratégies d'atténuation utilisées

    Limites du bilan

    Stratégies d'atténuation

    Période évaluée non uniforme selon les organismes : de trois à cinq années analysées, selon le cas

    L'évaluation économique (chapitre 2) des aides financières actualise les coûts en considérant l'année 2013 comme année de référence. Par ailleurs, les dollars courants sont convertis en dollars réels ou dollars enchaînés de 2013. L'évaluation de l'efficacité (chapitre 3) évite de présenter toute information de tendance pour ne retenir que des résultats attendus aux termes des conventions de subvention et communs aux organismes.

    Données précises sur les retombées économiques attribuables aux organismes financés non disponibles auprès des entreprises clientes de ces organismes

    Cette limite affecte l'analyse coût-efficacité et l'analyse avantages-coûts dans le chapitre 2. L'absence de données précises est compensée par l'utilisation d'estimateurs calculés à l'aide des comptes économiques de Statistique Canada et de techniques économétriques appliquées aux données des enquêtes réalisées en 2015, dans les évaluations individuelles de chaque organisme.

    Les résultats de COREM ne sont pas tous disponibles en raison de son évaluation en cours de réalisation

    L'évaluation de COREM étant en cours de réalisation, cet organisme est exclu des évaluations de l'efficience (à l'exception du graphique 2.1) et des effets. Cependant, il est inclus dans l'évaluation de l'efficacité.

    1.5 Les sources d'information

    Les trois sources d'information suivantes sont utilisées :

    Les évaluations individuelles des 19 organismes
    Les informations contenues dans les rapports d'évaluation sont validées par des comités d'évaluation composés de représentants de l'organisme évalué et de gestionnaires du Ministère.
    Les enquêtes auprès des entreprises clientes et d'un groupe témoin d'entreprises
    Les informations contenues dans les rapports d'évaluation sont validées par des comités d'évaluation composés de représentants de l'organisme évalué et de gestionnaires du Ministère.
    Les comptes économiques, le registre des entreprises et CANSIM de Statistique Canada
    Les informations contenues dans les rapports d'évaluation sont validées par des comités d'évaluation composés de représentants de l'organisme évalué et de gestionnaires du Ministère.

    Chapitre 2 - L'efficience de l'aide financière

    L'efficience des aides accordées est mesurée au moyen d'une évaluation économique qui adopte le point de vue du Ministère (le payeur) ou celui du contribuable (la société), selon l'analyse d'efficience considérée. Les trois techniques d'analyse d'efficience utilisées sont les suivantes : une analyse de minimisation des coûts (AMC), deux analyses coût-efficacité (ACE), l'une sur les ventes supplémentaires et l'autre sur l'emploi et pour terminer, une analyse avantages-coûts (AAC).

    Ces analyses permettent d'évaluer l'efficience de l'intervention du Ministère selon le type d'organisme financé. Une intervention est jugée efficiente lorsqu'elle permet d'obtenir les résultats au moindre coût ou, pour un coût donné, de produire le maximum de résultats.

    2.1 L'efficience du point de vue du ministère (le payeur)

    Le Ministère est le payeur, car les aides financières sont accordées par ses décideurs.

    2.1.1 L'analyse de minimisation des coûts (AMC)

    L'AMC informe du coût de revient, pour le Ministère, pour aider une entreprise à innover sur le plan technologique, lorsqu'il finance les organismes évalués. Les éléments considérés sont les suivants :

    Le graphique 2.1 présente les principaux constats de l'analyse :

    Graphique 2.1
    Efficience des aides du Ministère pour aider une entreprise à innover, par type d'organisme
    Du point de vue du Ministère, quel est le coût de revient pour aider une entreprise à innover?
    Catégories Coût (en dollars)

    Sources: Rapports d'évaluation 2015 des organisme et liste de recensement des entreprises clientes des organisme, compilation MESI en décembre 2015.

    Financement total du Ministère 52 175
    Sociétés de valorisation 155 972
    Regroupements sectioriels 112 664
    Centres de liaison et de transfert 68 092
    Incubateurs technologiques 59 134
    Centres de R-D appliquée in situ 31 423

    2.1.2 L'analyse de coût-efficacité (ACE) sur les ventes supplémentaires

    L'analyse informe du coût de revient, du point de vue du Ministère, pour contribuer à améliorer la compétitivité des entreprises clientes des organismes. Les éléments considérés sont les suivants :

    Le graphique 2.2 présente les constats de l'analyse, par type d'organisme :


    Graphique 2.2
    Efficience des aides du Ministère pour améliorer le chiffre d'affaires des entreprises clientes des organismes, par type d'organisme
    Du point de vue du Ministère, quel est le coût de revient pour générer 10 k$ de ventes supplémentaires dans une entreprise cliente des organismes financés?
    Catégories Coût (en dollars)

    Sources: Rapports d'évaluation 2015 des organisme et liste de recensement des entreprises clientes des organisme, compilation MESI en décembre 2015.

    Financement total du Ministre 3 655
    Sociétés de valorisation 11 738
    Centres de liaison et de transfert 9 047
    Regroupements sectoriels 3 762
    Centres de R-D appliquée in situ 2 974
    Incubateurs technologiques 1 417

    2.1.3 L'analyse coût-efficacité (ACE) sur l'emploi

    L'analyse informe du coût de revient, du point de vue du Ministère, pour contribuer à la création d'emplois dans les entreprises clientes des organismes financés. Le coût et l'efficacité considérés sont les suivants :

    Le graphique 2.3 présente les constats de l'analyse, par type d'organisme :



    Graphique 2.3
    Efficience des aides du Ministère pour la création d'emplois, par type d'organisme Du point de vue du Ministère,
    quel est le coût de revient pour créer un emploi?
    Catégories Coût (en dollars)
    Sources : Rapports d'évaluation 2015 des organismes et données des enquêtes auprès des entreprises clientes des organismes et d'entreprises témoins, compilation MESI en décembre 2015.
    Financement total du Ministre 52 747
    Sociétés de valorisation 201 050
    Centres de liaison et de transfert 63 552
    Regroupements sectoriels 56 257
    Centres de R-D appliquée in situ 45 278
    Incubateurs technologiques 25 156

    2.2 L'efficience du point de vue de la société

    La dépense publique en direction du fonctionnement, des activités et des projets des 19 organismes financés par le Ministère totalise 320 M$, de 2010 à 2015. Elle a généré des retombées économiques totalisant 421 M$, qui se traduisent en apports des entreprises dans les projets des organismes, en amélioration de la compétitivité des entreprises clientes des organismes, en attraction de capital de risque dans de jeunes entreprises et en commercialisation de nouvelles technologies.

    Comme l'indique le graphique 2.4, le ratio de rendement de la dépense publique est de 1,315, ce qui se traduit par un rendement annualisé de 6 % (soit 31 % / 5 ans) pour le contribuable. Les détails de l'analyse sont disponibles à l'annexe 3.

     

    Graphique 2.4
    Rendement de la dépense publique en direction des organisme d'appui à l'innovation de 2010 à 2015
    Catégories Coût (en millions de dollars)

    Source: Rapports d'évaluation 2015 des organismes, compilation MESI

    Dépense publique 320
    Retombées économiques 421
    Ratio de rendement 1,315

    L'appréciation des résultats

    Le bilan confirme l'efficience des aides accordées aux organismes de soutien à l'innovation technologique. En considérant l'aide aux entreprises, l'amélioration de leur compétitivité et la création d'emplois comme étant les résultats analysés pour la mesure de l'efficience, les constats indiquent que les résultats obtenus par l'ensemble des organismes valent la dépense publique. En ce sens, le modèle d'intervention par le financement des organismes de soutien à l'innovation technologique est un modèle dont le coût est raisonnable pour le Ministère et qui offre un bon rapport coût/résultat. À cet égard, nous avons constaté :

    Cependant, l'efficience des aides accordées est variable selon le type d'organisme financé. En effet, dans le cas des sociétés de valorisation, il appert que les coûts de revient sont élevés en regard des résultats obtenus en matière de compétitivité des entreprises et de création d'emplois.

    Cette variabilité de l'efficience s'explique par le rôle et la place des organismes dans la chaîne d'innovation. Plus un organisme est en amont de cette chaîne et plus le coût de ses résultats est élevé. C'est ce qui explique les coûts élevés des résultats du modèle des sociétés de valorisation, qui sont situées très en amont de la chaîne d'innovation, soit aux étapes de démonstration de faisabilité d'une innovation et de maturation technologique. C'est ce qui explique aussi les coûts peu élevés des résultats du modèle des centres de R-D appliquée in situ et de celui des incubateurs technologiques, qui sont situés en aval de la chaîne d'innovation, soit à l'étape de l'utilisation des innovations dans les entreprises.

    La variabilité de l'efficience des aides accordées peut aussi s'expliquer par les secteurs industriels des entreprises clientes des organismes. Les organismes dont la clientèle est principalement constituée d'entreprises manufacturières sont susceptibles d'obtenir des résultats à moindre coût, comparativement à ceux dont les clients font plutôt partie de secteurs nécessitant une forte présence et des ressources importantes en R-D.

    Chapitre 3 - L'efficacité de l'aide financière

    3.1 La performance des organismes financés

    Il s'agit, dans la présente section, de constater le degré de performance de chacun des organismes dans l'atteinte des objectifs du financement du Ministère. Ces objectifs sont précisés dans leurs conventions de subvention.

    Les cibles

    Voici les attentes :

    La cible 1 est atteinte. Le graphique 3.1 illustre les performances des organismes évalués en 2015 par le Ministère. Celles-ci sont appréciées selon une échelle de 0 à 100, où 70 est considéré comme le pointage signifiant que l'organisme a satisfait aux attentes de résultats du Ministère. Le principal constat est le suivant :


    Graphique 3.1
    Portrait comparé de la performance des organismes financés
    (en pourcentage)
    Organisme Pertinence Efficacité Impacts Total

    Source : Rapports d'évaluation 2015 des orgnaismes.

    CRIQ 32 29 32 93
    COREM 33 27 32 92
    CIRANO 34 27 30 91
    Inno 31 26 33 91
    CRIAQ 29 27 31 88
    UNIVALOR 29 27 31 86
    CRBM 32 25 28 85
    CEFRIO 30 25 29 84
    CRIBIQ 23 30 31 84
    CEIM 35 23 25 84
    CQRDA 31 24 28 83
    CQDM 28 27 27 82
    CQIB 30 21 31 82
    ALIGO 28 23 31 82
    SOVAR 29 22 30 81
    PROMPT 31 27 20 77
    PRIMA 24 23 24 71
    INNOVÉÉ 20 19 20 58
    MEDTEQ 17 21 18 56

    3.2 Les principaux résultats des organismes

    Cette section traite des principaux résultats liés aux attentes spécifiques du Ministère que partagent les 19 organismes. De plus amples détails sur les résultats des organismes sont présentés dans leurs rapports d'évaluation individuelle, disponibles sur le site Web du Ministère9.

    Les cibles

    Voici les attentes:

    La cible 2 est atteinte. Le graphique 3.2 compare les taux d'autofinancement des organismes. L'autofinancement correspond à la part de revenus autonomes dans les revenus des organismes. Voici les principaux constats :

    Graphique 3.2
    Portrait comparé du taux d'autofinancement des organismes financés
    Organisme Taux d'autofinancement

    Source : Rapports d'évaluation 2015 des orgnaismes.

    CQRDA 16
    INNOVÉ 21
    CRIAQ 32
    MEDTEQ 37
    PROMPT 37
    PRIMA 38
    CRIBIQ 44
    ALIGO 44
    CQDM 45
    CRBM 46
    Inno-centre 46
    SOVAR 47
    CQIB 49
    CRIQ 50
    CEIM 53
    UNIVALOR 56
    CIRANO 74
    CEFRIO 75
    COREM 77

    La cible 3 est atteinte. Tous les organismes comptent des entreprises et des organisations parmi leur clientèle. Au total, les 19 organismes considérés ont aidé 2 337 entreprises à innover.

    Le graphique 3.3, qui se rapporte à la cible 4, compare la valeur des dépenses des organismes pour des projets et des activités de R-D avec les aides financières du Ministère. Les dépenses en R-D des organismes comprennent la part des subventions du Ministère et celle de leurs revenus autonomes utilisées pour financer des projets et des activités de R-D. Les incubateurs ne sont pas inclus dans l'analyse, car leurs activités ne consistent pas à réaliser de la R-D.

    Les principaux constats sont les suivants :

    Graphique 3.3
    Comparaison entre les investissements en R-D et les subventions accordées par le Ministère
    (en millions de dollars)
    Indicateur Subventions R-D

    Source : Rapports d'évaluation 2015 des orgnaismes.

    CRIQ 46,9 62,2
    CQDM 6,7 12,8
    UNIVALOR 4,4 11,2
    CIRANO 4,7 10,7
    CEFRIO 5,4 13,8
    CRBIQ 6,8 9,4
    ALIGO 5,8 8,7
    CRIAQ 5,8 6,7
    CRBM 2,0 4,4
    COREM 2,7 6,7
    SOVAR 3,1 4,4
    PROMPT 5,1 6,1
    INNOVÉÉ 2,6 2,2
    CQRDA 8,0 4,6
    PRIMA 6,9 4,2
    MEDTEQ 2,5 1,0

    La cible 5 est atteinte. Le graphique 3.4 indique l'effet de levier du financement accordé par le Ministère à chacun des organismes. Il permet de répondre à la question suivante : pour chaque dollar accordé par le Ministère, combien de dollars apportent les clients et les partenaires? Les constats sont les suivants :

    Graphique 3.4
    Portrait comparé de l'effet de levier, selon les organismes financés
    Indicateur Taux de l'effet de levier

    Source : Rapports d'évaluation 2015 des orgnaismes.

    MEDTEQ 0,2
    INNOVÉE 0,9
    PRIMA 1,5
    CQRDA 2,1
    CRIQ 2,4
    CRBIQ 2,5
    CIRANO 2,8
    CEFRIO 2,9
    CEIM 3,1
    CRBM 3,3
    CQDM 3,3
    CQIB 3,3
    COREM 3,3
    PROMPT 3,6
    CRIAQ 4,0
    ALIGO 7,9
    SOVAR 9,9
    Inno- 10,2
    UNIVALOR 14,0

    La cible 6 est atteinte. Le graphique 3.5 compare les frais d'administration des organismes. La majorité d'entre eux ont des frais correspondant aux attentes du Ministère. Cependant, quatre n'ont pas atteint les cibles ministérielles.

    Graphique 3.5
    Portrait comparé du pourcentage des frais d'administration des organismes financés
    Indicateur Taux de l'effet de levier

    Source : Rapports d'évaluation 2015 des orgnaismes.

    PROMPT 2,8
    CRBIQ 3,3
    COREM 5,0
    CRIAQ 5,2
    CQIB 5,3
    UNIVALOR 6,5
    CQDM 6,8
    PRIMA 7,6
    CIRANO 8,0
    Inno-centre 8,4
    CQRDA 9,0
    CEFRIO 9,4
    ALIGO 10,0
    INNOVÉÉ 10,1
    SOVAR 11,0
    MEDTEQ 12,4
    CRIQ 13,3
    CEIM 15,0
    CRBM 21,8

    Ce chapitre a pour but de comparer les évolutions du chiffre d'affaires et de l'emploi de 2012 à 2015, entre les entreprises clientes des organismes et des entreprises québécoises n'ayant pas été clientes de ceux-ci. Les écarts constatés en 2015 indiquent les effets attribuables aux activités et aux projets des organismes et, par conséquent, aux aides financières accordées. L'analyse est présentée à l'annexe 3.

    Chapitre 4 - Les effets de l'aide financière

    4.1 Les effets sur le chiffre d'affaires des entreprisee

    Les effets attribuables aux aides financières accordées se traduisent par 9 % de ventes supplémentaires pour les PME clientes des organismes, au terme des trois années évaluées. Cela correspond à un effet annuel moyen de 3 % de ventes supplémentaires par PME cliente. Il est à noter qu'aucun effet probant n'est constaté dans les grandes entreprises clientes des organismes. Le graphique 4.1 illustre les écarts d'évolution du chiffre d'affaires entre le groupe des PME clientes et celui des PME témoins.

    Graphique 4.1
    Effets des aides financières du Ministère sur le chiffre d'affaires des PME clientes des organismes
    Type d'organisme  2012 2015

    Sources : Enquêtes auprès des entreprises clientes des organismes et enquête auprès des entreprises témoins.

    PME témoins

    1 202

    1 449

    PME OSI

    1 851

    2 308

    diff-diff

    -

    211

    PME sans OSI

    -

    2 097

    4.2 Les effets sur l'emploi dans les entreprises

    Les effets attribuables aux aides financières accordées se traduisent par la création de 2 210 emplois supplémentaires dans les PME clientes des organismes, en comparaison des emplois générés dans les PME témoins (graphique 4.2). Ce résultat correspond à la création annuelle de 736 emplois en moyenne dans les PME clientes des organismes. Si l'on considère les aides financières actualisées de 117 M$, le coût par emploi créé est de 53 k$, un résultat équivalent à celui estimé dans l'évaluation économique (chapitre 2).

    Graphique 4.2
    Effets des aides financières du Ministère sur l'emploi dans les PME clientes des organismes
    Type d'organisme  2012 2015

    Sources : Enquêtes auprès des entreprises clientes des organismes et enquête auprès des entreprises témoins.

    PME témoins

    13 480

    14 674

    PME OSI

    18 339

    21 743

    diff-diff

    -

    2 210

    PME sans OSI

    -

    19 553

    Chapitre 5 - Les conclusions

    5.1 Les réponses aux questions du bilan

    1. Les aides accordées aux organismes sont-elles efficientes?

    Globalement, les aides accordées aux organismes de soutien à l'innovation technologique sont efficientes. En considérant le nombre d'entreprises clientes, l'amélioration de leur compétitivité et la création d'emplois comme étant les résultats analysés pour la mesure de l'efficience, les constats indiquent que les résultats obtenus par l'ensemble des organismes valent la dépense publique. Le modèle d'intervention par le financement des organismes dont la mission est de soutenir l'innovation technologique est un modèle dont le coût est raisonnable pour le Ministère et qui offre un bon rapport coût/résultat.

    Cependant, l'efficience des aides accordées est variable selon le type d'organisme financé. Cette variabilité de l'efficience s'explique par le rôle et la place des organismes dans la chaîne d'innovation. Plus un organisme est en amont dans cette chaîne et plus le coût des résultats est élevé. La variabilité de l'efficience des aides accordées peut aussi s'expliquer par les secteurs industriels des entreprises clientes des organismes. Les organismes dont la clientèle est principalement constituée d'entreprises manufacturières sont susceptibles d'obtenir des résultats à moindre coût.

    Par ailleurs, le modèle des sociétés de valorisation présente des coûts de revient très élevés en regard des résultats. Il y a certainement des gisements d'amélioration de l'efficience des aides accordées. À cet égard, il y aurait lieu de déterminer, avec les organismes concernés, les sources d'optimisation des ressources, en vue d'améliorer le rapport coût/résultat du point de vue du Ministère.

    2. Les résultats des organismes sont-ils à la hauteur des attentes du Ministère?

    Globalement, les résultats de la plupart des organismes sont à la hauteur des attentes du Ministère. Les performances modestes de MEDTEQ et d'INNOVÉÉ s'expliquent par le démarrage récent de ces deux organismes. D'ailleurs, dans leur cas, les tendances sont à la hausse et les engagements dans les projets sont encourageants pour l'avenir. Enfin, quelques résultats ne sont pas atteints par certains organismes. Dans ces cas, il serait opportun de déterminer des cibles de résultats plus ambitieuses à l'avenir.

    3. Les effets sur la compétitivité des entreprises et l'emploi sont-ils probants et positifs?

    Les effets des 126 M$ d'aides accordées sont jugés probants et positifs. De 2012 à 2015, ils se sont
    traduits par des augmentations annuelles moyennes de 3 % du chiffre d'affaires des PME clientes des
    organismes, ce qui correspond à des ventes supplémentaires totales de 9 % en moyenne par PME.

    Par ailleurs, de 2012 à 2015, les aides financières du Ministère ont contribué à générer 2 210 emplois à
    temps plein dans les PME clientes des 19 organismes évalués. Ce résultat correspond à la création de
    736 emplois en moyenne par année.

    Annexe 1 - Liste des organismes

    Liste des organismes de soutien à l'innovation technologique considérés dans cette évaluation

    Sociétés de valorisation des résultats de la recherche universitaire (SVU) – (PSVTv1)

    1. ALIGO → Aligo Innovation
    2. SOVAR → SOVAR
    3. UNIVALOR → Univalor

    Centres de liaison et de transfert (CLT) – (PSVTv1)

    1. CEFRIO → Centre francophone d'informatisation des organisations
    2. CQRDA → Centre québécois de recherche et de développement de l'aluminium CIRANO → Centre interuniversitaire de recherche en analyse des organisations

    Incubateurs technologiques (PSVTv1)

    1. CEIM → Centre d'entreprises et d'innovation de Montréal
    2. CQIB → Centre québécois d'innovation en biotechnologie
    3. Inno-centre → Univalor

    Regroupements sectoriels en recherche industrielle (RSRI) – (PSVTv1)

    1. CQDM → Consortium québécois sur la découverte du médicament
    2. CRIAQ → Consortium de recherche et d'innovation en aérospatiale au Québec
    3. CRIBIQ → Consortium de recherche et innovations en bioprocédés industriels au Québec
    4. INNOVÉE → INNOVÉÉ
    5. MEDTEQ → MEDTEQ
    6. PRIMA→ PRIMA-Québec
    7. PROMPT → Partenariats de recherche orientée en microélectronique, photonique et télécommunications

    Centres de R-D appliquée in situ (PSRv1)

    1. CRBM → Centre de recherche sur les biotechnologies marines
    2. CRIQ → Centre de recherche industrielle du Québec
    3. COREM → COREM

    N'ayant pas été évalués en 2015, les cinq organismes suivants ne sont pas inclus dans ce bilan.

    Organismes de soutien à l'innovation technologique non inclus et financés par le PSVTv1 :

    Organismes de soutien à l'innovation technologique non inclus et financés par le PSRv1 :

    Annexe 2 - Notes méthodologiques relatives à l'évaluation économique (Chapitre 2 - Efficience)

    A - Une évaluation économique ou financière

    La présente évaluation est de nature économique, car elle réunit les conditions suivantes :

    B - Les informations de base

    B.1 - Les entreprises considérées dans cette évaluation économique

    Nous avons conduit des enquêtes téléphoniques pour disposer, entre autres, de données sur l'évolution, de 2012 à 2015, du chiffre d'affaires et du nombre d'employés des entreprises québécoises. Les populations, constituées d'entreprises ayant leur établissement d'affaires au Québec, sont les suivantes :

    Les résultats détaillés de la participation aux sondages sont présentés dans le tableau B.1.

    Tableau B.1
    Résultats des sondages téléphoniques
    Population recensée (N) Échantillon de répondants (n) Taux de réponse (%) Marge d'erreur

    Source : Évaluations 2015 - Sondages téléphniques, MESI.
    *Parmi les 955 entreprises répondantes, 91 % sont des PME, soit 869 entreprises
    **Parmi les 1 978 enteprises répondantes, 96 % sont des PME, soit 1 906 entreprises

    Entreprises clientes des organismes

    2 337

    0 955**

    41 %

    ± 2,4 %

    Groupe témoin d'entreprises non clientes

    4 938

    1 978**

    40 %

    ± 2,2 %

    B.2 - La mesure du chiffre d'affaires et de l'emploi dans les entreprises

    Pour seize organismes et le groupe témoin, les données ont été fournies, en valeurs ordinales ou réelles, par les entreprises qui ont répondu aux sondages. Elles ont ensuite été débarrassées des valeurs aberrantes, et les valeurs ordinales ont été remplacées par leur valeur centrale. Les valeurs manquantes ont été comblées à l'aide de régressions entre les variables « Chiffre d'affaires » et « Emplois », avec pour résultats :

    B.3 - La mesure de l'évolution du chiffre d'affaires et de l'emploi, de 2012 à 2015

    Les sondages fournissent les données pour 2015. Les valeurs pour 2012 sont estimées à l'aide des taux de croissance annuels moyens (TCAM) fournis par les entreprises dans les sondages. Les valeurs aberrantes sont nettoyées et les valeurs manquantes sont remplacées par les moyennes des entreprises clientes, dans chaque organisme. Pour les trois incubateurs, les TCAM ne sont pas utilisés, car les fichiers de données individuelles fournissent déjà les informations pour 2012 et 2015.

    C - L'analyse de minimisation des coûts (AMC)

    Les deux éléments considérés dans l'AMC sont les suivants :

    D - L'analyse coût-efficacité (ACE)

    E - L'analyse avantages-coûts (AAC)

    L'analyse avantages-coûts est réalisée du point de vue sociétal (ou du contribuable) dans son ensemble. Elle vise à quantifier sur une même base monétaire (le dollar) les retombées (ou avantages) économiques attribuables aux activités et aux projets des dix-neuf organismes et les coûts économiques des aides financières gouvernementales qu'ils ont reçues du 1er avril 2010 au 31 mars 2015.

    Le financement accordé aux organismes est jugé efficient, lorsque les retombées économiques sont supérieures aux coûts consentis pour les obtenir. Les composantes de l'analyse sont les suivantes :

    Les retombées économiques qui regroupent :

    Ces deux éléments sont considérés comme étant des estimateurs (proxy) adéquats du surplus du consommateur. L'analyse admet que la volonté de payer des consommateurs finaux (les clients des entreprises clientes des organismes, par exemple) est au moins égale aux sommes déboursées par les entreprises clientes des organismes pour participer aux projets ou aux activités de ces organismes.

    Les coûts économiques, qui regroupent :

    Les résultats de l'analyse avantages-coûts

    Le tableau ci-dessous récapitule les résultats de l'AAC. La dépense publique de 320,3 M$ en direction des 19 organismes financés génère des retombées économiques de 420,6 M$, ce qui donne une valeur actuelle nette positive de 100,3 M$ et un ratio de rendement de 1,31. Ce ratio correspond à un retour sur investissement14 annualisé de 6 % (31 % / 5 ans).

    Rendement de la dépense publique en direction des activités et des projets des organismes (en millions de dollars, du 1er avril 2010 au 31 mars 2015)
    Retombées économiques des activités et des projets des 19 organismes

    Retombées économiques directes :

    Retombées économiques indirectes :

    Total des retombées économiques actualisées (à 6 % par année) : 420,6 M$

    Coûts économiques de la dépense publique associée aux projets des organismes

    Subventions gouvernementales :

    Autres coûts associés à la dépense publique :

    Total des coûts économiques actualisés (à 6 % par année) : 320,3 M$

    Ratio de rendement de la dépense publique en direction des 19 organismes : 1,31

    Valeur actuelle nette (VAN) (retombées économiques − coûts économiques) : 100,3 M$

    Source : Rapports d'évaluation individuelle des organismes, compilation MESI pour cette évaluation économique.

    L'analyse de sensibilité

    Le degré de confiance des résultats de l'AAC est de 100 %, ce qui suggère que l'analyse est prudente et indique des résultats minimaux. Ce degré de confiance a été vérifié à l'aide d'une analyse de sensibilité basée sur la méthode de Monte-Carlo et réalisée au moyen du logiciel @RISK. Le résultat est présenté ci-dessous :

    L'analyse de sensibilité indique que les probabilités d'une VAN inférieure à zéro (et, par conséquent, d'un ratio de rendement inférieur à 1) sont nulles. Lorsqu'on fait varier les paramètres jugés incertains de l'analyse, les valeurs de la VAN potentielle vont de 73 M$ au minimum à 137 M$ au maximum, avec une valeur moyenne de 104 M$. Ces résultats ont fait l'objet de 10 000 itérations.

    Graphique - Degré de fiabilité de l'estimation du rendement de la dépense publique par analyse de sensibilité de la valeur actuelle nette

    Si vous désirez obtenir une version accessible de ce graphique, communiquez avec nous par téléphone au 1 866 680-1884, ou formulez votre demande par courriel.

    Les paramètres de sensibilité considérés sont les suivants :

    Les limites de l'analyse

    Annexe 3 - Notes méthodologiques relatives à l'évaluation des effets (chapitre 4)

    1. Le devis d'analyse

    L'objectif est d'estimer les effets attribuables aux aides financières du Ministère sur le chiffre d'affaires et l'emploi des entreprises clientes des organismes financés. Le lien causal est le suivant : les aides financières contribuent à la réalisation de projets et d'activités des organismes, qui génèrent possiblement des augmentations du chiffre d'affaires (ventes supplémentaires) et une création d'emplois au sein des entreprises clientes de ces organismes. Pour mener l'analyse, nous disposons d'un groupe – nommé le « groupe exposé » – de 955 entreprises ayant participé à des activités ou à des projets des organismes et d'un autre groupe – nommé le « groupe témoin » – de 1 978 entreprises n'ayant pas été clientes des organismes.

    La démarche consiste à comparer les évolutions, de 2012 à 2015, du chiffre d'affaires et de l'emploi dans les deux groupes. Dans l'hypothèse d'écarts positifs en faveur des entreprises clientes des organismes, nous pourrons quantifier les effets en pourcentage de ventes supplémentaires et en nombre d'emplois créés au sein de ces entreprises.

    2. La méthode d'analyse

    La méthode d'analyse est celle de l'estimateur des doubles différences, avec appariement sur le score de propension. On utilise la technique d'appariement (matching) pour associer chaque entreprise cliente des organismes à une entreprise témoin, en s'assurant de leur similarité au regard de leur secteur d'activité (codes SCIAN), de leur taille (nombre d'employés), de leur région administrative et du fait qu'elles exportent ou non leurs produits. L'appariement nous a conduits à éliminer de l'analyse certaines entreprises clientes des organismes, pour les raisons suivantes :

    La méthode d'appariement calcule le score de propension, soit la probabilité pour une entreprise de caractéristiques données d'être cliente d'un organisme du dispositif. Elle permet d'éliminer le principal biais qui tend à surestimer les résultats : le biais de sélection. On combine la double différence à l'appariement pour éliminer les possibles biais de tendance qui persisteraient encore après l'appariement, par exemple la présence d'un ou de quelques cas extrêmes qui pourraient gonfler les résultats.

    3. Les résultats de l'analyse

    Des effets positifs sont constatés sur les PME (moins de 150 employés) clientes des organismes, et plus particulièrement sur les petites entreprises (moins de 50 employés). Ces effets sont les suivants :

    Les tableaux A1 et A2 présentent les résultats de l'appariement. Le tableau A1 indique le nombre d'entreprises conservées dans les groupes comparés et le tableau A2, les redressements que permet l'appariement sur les caractéristiques.

    Tableau A - Support commun

    Si vous désirez obtenir une version accessible de ce tableau, communiquez avec nous par téléphone au 1 866 680-1884, ou formulez votre demande par courriel.

    Tableau B - Appariement sur variables de contrôle

    Si vous désirez obtenir une version accessible de ce tableau, communiquez avec nous par téléphone au 1 866 680-1884, ou formulez votre demande par courriel.

    Les graphiques A1 et A2 illustrent les vérifications de l'appariement. Dans le graphique A1 (avant l'appariement), les deux groupes d'entreprises (clientes et témoins) ne sont pas similaires. Le graphique A2 (après l'appariement) indique quant à lui que les 379 entreprises clientes des organismes et les 377 entreprises témoins conservées dans l'analyse sont similaires.

    Graphique A - Illustration des différences entre le groupe d'entreprises clientes et celui d'entreprises témoins, celles-ci indiquant la présence d'un biais de sélection

    Si vous désirez obtenir une version accessible de ce graphique, communiquez avec nous par téléphone au 1 866 680-1884, ou formulez votre demande par courriel.

    Graphique B - Illustration de la similarité des entreprises des deux groupes, celle-ci indiquant l'absence d'un biais de sélection

    Si vous désirez obtenir une version accessible de ce graphique, communiquez avec nous par téléphone au 1 866 680-1884, ou formulez votre demande par courriel.

    4. L'effet sur le chiffre d'affaires des entreprises clientes des organismes

    Les résultats indiquent un écart de 1,382 M$ en moyenne entre les chiffres d'affaires des entreprises des deux groupes, en faveur des entreprises clientes des organismes (« ATT » dans le tableau ci-dessous).

    Si vous désirez obtenir une version accessible de ce tableau, communiquez avec nous par téléphone au 1 866 680-1884, ou formulez votre demande par courriel.

    Ce résultat étant statistiquement significatif, nous l'avons extrapolé aux 622 entreprises clientes dont nous disposions du chiffre d'affaires. En appliquant les doubles différences, on obtient un résultat final équivalant à une augmentation de 9 % du chiffre d'affaires des entreprises clientes des organismes, de 2012 à 2015. Cet effet total de 9 % de ventes supplémentaires sur 3 ans correspond à un effet annuel moyen de 3 % de ventes supplémentaires.

    5. L'effet sur les emplois créés dans les entreprises clientes des organismes

    Les résultats indiquent un écart de huit emplois supplémentaires en moyenne créés dans les entreprises clientes des organismes (« ATT » dans le tableau ci-dessous).

    Si vous désirez obtenir une version accessible de ce tableau, communiquez avec nous par téléphone au 1 866 680-1884, ou formulez votre demande par courriel.

    Ce résultat étant statistiquement significatif, nous l'avons extrapolé aux 869 PME clientes des organismes ayant répondu au sondage. En appliquant les doubles différences, le on obtient un résultat final équivalant à la création de 2 210 emplois pouvant être attribués aux activités et aux projets des organismes financés. Ce résultat correspond à la création de 3 emplois en moyenne par entreprise cliente (2 210 / 869).

    Notes de référence

    1. MESI, Évaluation de programme, [En ligne]. http://www.economie.gouv.qc.ca/evaluation/ (Consulté le 5 janvier 2016).

    2. Ces montants correspondent à la comptabilité de caisse du Ministère et non pas à la comptabilité d'exercice financier des organismes. Cela explique les éventuelles différences pouvant apparaître entre les montants présentés ci-dessus et les chiffres des états financiers des organismes. Par ailleurs, pour COREM, les aides correspondent à celles accordées en vertu des conventions de subvention, de 2012 à 2015.

    3. MESI, [En ligne]. [http://www.economie.gouv.qc.ca/accueil/] (Consulté le 5 février 2016).

    4. Les montants des aides sont actualisés au taux de 6 % et convertis en dollars enchaînés de 2013.

    5. Le seuil d'inefficience correspond à la moyenne des organismes plus un écart-type (115 k$ + 60 k$). La distribution des coûts de revient des organismes est normale, ce qui a été vérifié à l'aide d'un test Shapiro-Wilk (p = 0,564).

    6. L'effet est évalué par doubles différences, une technique qui permet de comparer les évolutions du chiffre d'affaires des entreprises clientes des organismes et d'entreprises témoins. L'écart constaté entre ces deux groupes à la fin de la période considérée correspond à l'effet attribuable aux organismes financés. Les détails figurent à l'annexe 2.

    7. L'effet est évalué par doubles différences, une technique qui permet de comparer les évolutions du nombre d'employés des entreprises clientes des organismes et d'entreprises témoins. Les détails figurent à l'annexe 2.

    8. Le seuil d'inefficience correspond à la moyenne des organismes plus un écart-type (81 k$ + 61 k$) (voir annexe 2).

    9. MESI, Évaluation de programme, [En ligne]. [http://www.economie.gouv.qc.ca/evaluation] (Consulté le 5 février 2016).

    10. Il s'agit des montants non actualisés des aides.

    11. SCOTT'S DIRECTORIES, Les répertoires détaillés de Scott's, [En ligne]. [http://www.scottsinfo.com/Francais.aspx] (Consulté le 7 décembre 2015).

    12. ICRIQ, Recherche, [En ligne].[http://www.icriq.com/fr/] (Consulté le 7 décembre 2015).

    13. Concernant les trois incubateurs, les fichiers de données des évaluations individuelles fournissaient déjà les valeurs du chiffre d'affaires et du nombre d'employés pour 2012 et 2015. Il était donc inutile d'appliquer les TCAM.

    14. Aussi appelé « ROI » selon le terme anglais return on investment.