Programme Créativité Québec

Rapport d'évaluation

Pour la période du 26 novembre 2014 au 31 mars 2017

Préface

Notes au lecteur

  1. Sauf avis contraire dans le texte, toutes les sommes indiquées sont en dollars canadiens. Les symboles suivants sont utilisés : k$ pour milliers de dollars et M$ pour millions de dollars.
  2. Selon l'indicateur considéré, le total des résultats peut comporter un écart de ± 1 % pour les pourcentages ou de ± 1 pour les autres valeurs. Cet écart s'explique par l'arrondissement des résultats présentés.
  3. Dans le présent document, le sigle « PME » désigne toute petite ou moyenne entreprise de moins de 250 employés; son chiffre d'affaires ou la valeur de ses actifs ne sont pas pris en compte. Cette définition de la PME est plus adaptée au contexte québécois que celle de Statistique Canada (entreprise de moins de 500 employés). En outre, elle correspond à la définition de la PME en vigueur au sein de l'Union européenne (UE) et de l'Organisation de coopération et de développement économique (OCDE).
  4. À moins d'avis contraire, les résultats présentés dans le document sont pour la période du 26 novembre 2014 au 31 mars 2017.

L'évaluation des résultats de Créativité Québec est réalisée à la demande du Secteur des politiques économiques et en vertu du C.T. no 902 2016 du 19 octobre 2016.

Elle vise à apprécier les résultats de l'aide financière de 48 M$ autorisée au programme Créativité Québec pour la période du 1er avril 2014 au 31 mars 2017.

En vertu de la directive concernant l'évaluation de programme dans les ministères (2014), le présent rapport d'évaluation doit être transmis au Secrétariat du Conseil du trésor.

La présente évaluation a été réalisée conformément à la Politique ministérielle d'évaluation de programme et à la Charte de l'évaluation de programmes, disponible à l'adresse suivante : www.economie.gouv.qc.ca/evaluation.

Auteur du rapport

Jean-René Tagne Kuelah
Expert en économétrie et en évaluation de programmes
Recherche et rédaction

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

Ce document est disponible sur demande auprès de cette direction.

Pour nous joindre

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

710, place D'Youville, 7e étage
Québec (Québec) G1R 4Y4
Téléphone : 418 691-5698, poste 4208

Pour plus d'information : gar@economie.gouv.qc.ca

Version définitive – décembre 2017
© Gouvernement du Québec

Remerciements

Le présent document est le fruit de la collaboration de plusieurs personnes sans lesquelles les travaux n'auraient pu être menés à leur terme. À cet égard, nous tenons à remercier toutes les personnes associées de près ou de loin à la réalisation de ce rapport d'évaluation, notamment le personnel de la direction des programmes et fonds d'investissement (DPFI) du Ministère et de la direction de l'évaluation de la performance (DEP) d'Investissement Québec (IQ).

Un comité d'évaluation, constitué à l'évaluation, devait s'assurer que les constats du présent rapport sont valides et fidèles à la réalité et que les appréciations qui en découlent sont objectives. Plus précisément, les membres du comité, nommés ci-après, devaient valider le cadre et le rapport d'évaluation et conseiller l'évaluateur sur l'orientation des travaux et la stratégie générale d'évaluation, tout en apportant un éclairage sur des questions importantes pouvant se poser en cours de réalisation du mandat.

Nous tenons à adresser nos plus sincères remerciements aux membres du comité qui ont été sélectionnés en fonction de leurs connaissances et de leur expérience concernant le programme Créativité Québec.

Les membres du comité d'évaluation

François Maxime Langlois
Directeur
Direction de la coordination, de l'évaluation et de la planification

Christophe Marchal
Évaluateur principal et chef d'équipe d'évaluation
Direction de la coordination, de l'évaluation et de la planification

Sommaire

La présente évaluation vise à apprécier les résultats de l'aide financière autorisée de 48 M$ dans le cadre du programme Créativité Québec par rapport aux objectifs et aux résultats attendus dans son cadre normatif, du 26 novembre 2014 au 31 mars 2017.

Les résultats de Créativité Québec sont jugés satisfaisants. Le programme atteint les résultats visés et il répond aux besoins de soutien à l'innovation des entreprises. Par ailleurs, le programme est un excellent incitatif à l'investissement privé. Cependant, l'évaluation relève des risques potentiels de chevauchement de Créativité Québec avec d'autres programmes du gouvernement du Québec ainsi que des coûts par emploi soutenu et par entreprise aidée qui suggèrent un suivi. Les principaux résultats constatés sont les suivants :

Pertience

Efficacité

Effets

Conclusion

L'évaluation conclut à :

Tables des matières

Chapitre 1 : Le contexte de l'évaluation

1.1 Objectifs de l'évaluation

La présente évaluation du programme, qui prend fin le 31 mars 2018, est réalisée en vue de respecter les obligations des cadres normatifs annexés aux différents décrets et qui exigent un examen du programme comprenant une évaluation des résultats.

L'évaluation vise à rendre compte des résultats du programme et à apprécier la réalisation de ses objectifs. L'examen des critères d'évaluation et des indicateurs établis dans le cadre de cet exercice permettra de répondre aux trois questions suivantes :

  1. Le programme est-il pertinent et efficient?
  2. Le programme est-il efficace?
  3. Les effets visés sont-ils atteints?

La Direction de la coordination, de l'évaluation et de la planification (DCEP) du ministère de l'Économie, de la Science et de l'Innovation (MESI) a été mandatée pour effectuer ces travaux d'évaluation. Le protocole d'évaluation utilisé pour répondre à ces trois questions est présenté au tableau 1.

Tableau 1.1 : Protocole d'évaluation de l'aide financière autorisée au programme Créativité Québec

Pertinence et l'efficience (Question 1)

Critères à évaluer

  1. La réponse à des besoins
  2. La cohérence avec les priorités du Ministère
  3. L'efficience de l'aide financière
Efficacité (Question 2)

Critères à évaluer

  1. Le degré d'atteinte des résultats visés
  2. La satisfaction de la clientèle et l'administration du programme
Effets (Question 3)

Critères à évaluer

  1. Les retombées économiques pour les entreprises clientes
  2. Les retombées économiques pour le Québec

1.2 Description du programme évalué

Lors du discours du budget 2014-2015, le gouvernement a annoncé la création du programme Créativité Québec. Il a été adopté le 26 novembre 2014 en vertu du décret 1035-2014 et a été modifié par le décret 902-2016, le 19 octobre 2016. Les modifications au cadre normatif du programme à la suite de ce décret sont inscrites en bas de page ou dans le texte du présent document. Créativité Québec est administré dans le cadre du Fonds du développement économique. Il appuie la réalisation de projets d'innovation.

1.2.1 Objectifs et résultats attendus

Le programme Créativité Québec soutient les entreprises dans la réalisation des étapes nécessaires au développement ou à l'amélioration de produits ou de procédés.

Plus précisément, les objectifs du programme sont les suivants :

À cet effet, les résultats suivants sont attendus :

1.2.2 Clientèle visée et projets admissibles

Le programme comporte deux volets :

Le programme s'adresse aux entreprises à but lucratif et aux entreprises de l'économie sociale des secteurs d'activité admissibles. Il s'agit des entreprises des secteurs suivants :

Pour être admissible, le projet doit comporter des dépenses admissibles de 100 000 $1 ou plus et répondre aux critères suivants :

1.2.3 Aides financières

Le montant minimal de l'intervention financière est de 50 k$ et le montant maximal, de 5 M$. Une subvention liée à des dépenses de commercialisation pour la démonstration en situation réelle d'opération d'un produit ou d'un procédé novateur (vitrine technologique) peut atteindre au plus 350 k$2

Le taux d'impact budgétaire maximal des projets de développement ou d'amélioration de produits ou de procédés est de 40 %.

Les types d'aide financière suivants sont disponibles :

Par ailleurs, le cumul des aides financières gouvernementales obtenues pour tout type de projet, y compris les subventions, les crédits d'impôt, les prises de participation sous forme de capital-actions, les prêts et les garanties de prêt, ne doit pas excéder 50 % du coût total d'un projet.

Dans le calcul du cumul des aides gouvernementales, une aide non remboursable (subvention) est considérée à 100 % de sa valeur, alors qu'une aide remboursable, y compris une prise de participation sous forme de capital-actions, est considérée à 50 % de sa valeur.

1.2.4 Gestion du programme

Le programme Créativité Québec est sous la responsabilité du Ministère. Sa gestion est confiée à lnvestissement Québec par le gouvernement dans le cadre du Fonds du développement économique (FDE). Le Ministère y collabore, soit par la production d'avis, par l'élaboration de la recommandation conjointement avec Investissement Québec ou par la prise de décision. Il est responsable de toutes les annonces et met à contribution Investissement Québec et les ministères sectoriels au besoin.

Le processus de traitement des dossiers établit une prise de décision conjointe entre Investissement Québec et le Ministère. Les interventions financières sont autorisées conjointement en fonction de certains paliers décisionnels.

Un avis sectoriel du ministère concerné est requis pour tous les projets soumis.

1.3 Chaîne des résultats du programme

À l'annexe 1, section 1.A est présentée l'illustration de l'intervention gouvernementale, plus communément appelée le modèle logique. Celui-ci montre la chaîne des résultats attendus par le Ministère et il permet également la vérification de la cohérence interne des liens entre les composantes du programme, notamment ses objectifs, ses extrants et ses effets attendus.

Ce modèle logique combiné aux hypothèses de la chaîne des résultats, traduites parfois en indicateurs de performance, complète la théorie du programme. Ainsi, Créativité Québec entend soutenir l'innovation par le financement des projets d'innovation dans le but d'instaurer une culture de l'innovation dans les entreprises, de favoriser leur développement économique et de générer des retombées économiques pour le Québec.

1.4 Aide financière autorisée du programme

Du 26 novembre 2014 au 31 mars 2017, le Ministère a autorisé, dans le cadre du programme Créativité Québec, des aides financières de 48 M$ aux projets d'innovation des entreprises. Les sommes versées aux entreprises s'élèvent à 16 M$ pour la même période (graphique 1).

Graphique 1 : Aide financière du programme Créativité Québec, du 26 novembre 2014 au 31 mars 2017

CQNT

CQPP

Total

Source : Compilation des données administratives de Créativité Québec, août 2017.

Le volet du développement ou de l'amélioration de produits ou de procédés (CQPP) représente la majeure partie (88 %) des financements autorisés (42 M$), alors que le volet de l'acquisition de nouvelles technologies (CQNT) obtient environ le dixième de l'aide autorisée.

L'impact budgétaire à l'autorisation est estimé à 22 M$, soit 45 % de l'aide autorisée. Il comprend seulement deux financements sous forme de subvention de 3,9 M$ et le reste sous forme d'aides financières remboursables.

1.5 Méthode d'évaluation

La méthode d'évaluation utilise les principes de l'analyse multicritère. Elle consiste à comparer les résultats du programme aux résultats visés dans le cadre normatif ou aux attentes du Ministère en matière d'amélioration de la performance des entreprises. La constatation des écarts conduit à une appréciation qualitative pour chacun des critères. Par la suite, à l'aide d'une grille de pointage, un score de 0 à 100 est attribué aux résultats du programme, 70 étant synonyme d'un résultat jugé satisfaisant. La méthode de pointage est détaillée à l'annexe 1, section B.

Les sources d'information utilisées sont les suivantes : les données administratives du programme, la consultation des directions du Ministère et d'Investissement Québec participant à la gestion du programme ainsi que le sondage des entreprises qui ont soumis une demande de financement à Créativité Québec. Plus de détails sont présentés à l'annexe 1, section D.

1.6 Portée et limites de l'évaluation

L'évaluation porte sur les résultats des deux volets du programme, obtenus entre le 26 novembre 2014 et le 31 mars 2017. Cette période couvre deux cadres normatifs annexés aux décrets 1035-2014 du 26 novembre 2014 et 902 2016 du 19 octobre 2016. Le programme prend fin le 31 mars 2018.

Dans le but de faciliter la présentation des résultats, on a converti les années financières évaluées en années calendaires :

Les limites de l'évaluation des résultats du programme et les stratégies d'atténuation de leurs effets sont présentées à l'annexe 1, section 1.C.

Chapitre 2 : La pertinence du programme

2.1 Critère 1 : La réponse à des besoins

  1. Besoin continu de maintenir le programme.
  2. Utilité et valeur ajoutée du programme clairement perçues par au moins 70 % de la clientèle.
  3. Complémentarité de l'intervention avec d'autres programmes d'aide aux entreprises.

Constats relatifs à la cible 1

La cible est atteinte. De 2010 à 2012, la proportion des entreprises du Québec qui ont réalisé au moins une innovation s'élève à 61 %, dont 82 % d'entreprises manufacturières3. Il s'agit d'une diminution de 16 points par rapport à la période de 2007 à 2009. Cette tendance observée aussi à l'échelle du Canada s'explique par la crise économique et financière de 2009.

Au cours de cette période, un peu plus du quart des entreprises québécoises ont innové en produits (28 %) ou en procédés (26 %), ou en innovations technologiques. Ces performances sont inférieures à celles des entreprises ontariennes ou canadiennes en général (graphique 2).

Graphique 2 : Proportion d'entreprises qui ont innnové entre 2010 et 2012 selon le type d'innovation, Québec, Ontario et Canada

Produits

Procédés

Innovation

Source : Statistique Canada, Enquête sur l'innovation et les stratégies d'entreprise, 2009 et 2012

Les entreprises du Québec doivent donc poursuivre le développement d'une culture d'innovation afin d'améliorer leur compétitivité en matière d'innovation.

Constats relatifs à la cible 2

La cible n'est pas atteinte car moins de 70 % des entreprises perçoivent le programme comme étant utile ou comme ayant une valeur ajoutée dans la réalisation de leurs projets. En effet, seulement 56 % des entreprises financées estiment le programme utile à la réalisation de leurs projets. Et, deux entreprises financées sur trois estiment qu'elles n'auraient réalisé leur projet qu'en partie en l'absence de l'aide financière de Créativité Québec. Par ailleurs, la moitié des entreprises non bénéficiaires, ayant soumis une demande d'aide financière au programme, ont aussi réalisé leurs projets, au moins en partie.

De plus, plusieurs des 28 unités administratives consultées au Ministère et à Investissement Québec indiquent que les entreprises auraient pu réaliser leur projet sans Créativité Québec, grâce au financement de programmes similaires ou du financement bancaire offert à des conditions compétitives.

Enfin, un peu plus de la moitié des 27 entreprises financées sondées soutiennent que les mesures d'aide financière de Créativité Québec sont utiles. L'essentiel de ces résultats est présenté dans le graphique 3.

Graphique 3 : Valeur ajoutée et utilité de Créativité Québec selon la clientèle (n=27)

Source : Créativité Québec, sondage MESI (juillet à septembre 2017), octobre 2017.

Constats relatifs à la cible 3

La cible est atteinte. Près de quatre entreprises financées sur cinq soutiennent que les mesures d'aide financière de Créativité Québec sont uniques ou complémentaires à d'autres programmes existants (graphique 4).

Graphique 4 : Unicité ou complémentarité de Créativité Québec selon la clientèle

Source : Créativité Québec, sondage MESI (juillet à septembre 2017), octobre 2017.

Toutefois, des apparences de chevauchements avec certains programmes existants, notamment le programme Passeport Innovation, ont été indiquées par 13 unités administratives consultées au Ministère et à Investissement Québec. Par contre, après exploitation de la documentation relative à ces programmes, l'évaluation juge que cette apparence de chevauchement4 n'est pas problématique, dans le sens où les programmes ne se dédoublent pas.

Commentaires de l'évaluateur sur les résultats du critère 1 (Cibles 1 à 3)

Les résultats sont partiellement satisfaisants, car deux des trois cibles sont atteintes. Il demeure nécessaire de soutenir l'innovation dans les entreprises du Québec pour améliorer leur compétitivité innovatrice pancanadienne et internationale. Toutefois, les entreprises soutenues et les différentes unités administratives consultées remettent en question la valeur ajoutée de Créativité Québec. Pour nombre d'entreprises financées, Créativité Québec est unique ou complémentaire à d'autres mesures publiques d'aide financière. L'apparence de chevauchement rapportée par les unités administratives consultées est jugée non problématique par l'évaluation.

2.2 Critère 2 : La cohérence avec les priorités du Ministère

  1. Compatibilité des objectifs et des résultats visés avec la mission et les priorités du Ministère.
  2. Réponse de la clientèle ciblée à l'offre du programme.
  3. Effet de levier de l'aide financière au moins égal à 2.

Constats relatifs à la cible 4

La cible est atteinte. Le programme Créativité Québec est l'un des moyens mis en place par le Ministère pour soutenir la croissance des entreprises innovantes. D'ailleurs, l'axe 1 du Plan stratégique 2016-2019 du Ministère stipule que le développement d'une culture de l'innovation dans les entreprises et les organisations est le moteur de la croissance économique.

Par ailleurs, le programme s'inscrit dans plusieurs stratégies du gouvernement du Québec lancées récemment, notamment les suivantes :

Par ailleurs, l'ensemble des unités administratives consultées soutient que Créativité Québec est l'un des moyens d'intervention du gouvernement pour accroître la prospérité économique par son appui aux entreprises dans la réalisation des projets d'innovation.

Constats relatifs à la cible 5

La cible est atteinte. Entre le lancement du programme et le 31 mars 2017, 97 demandes d'aide financière ont été reçues (graphique 5). Au cours de cette période, 68 demandes ont été examinées, dont 32 ont reçu une autorisation et 36 ont été refusées par Investissement Québec ou abandonnées par les entreprises. Si l'on tient compte des 29 demandes qui sont toujours l'objet d'un examen (en entrevue initiale ou à l'étude), le taux d'acceptation s'établit à 47 %.

Graphique 5 : Réponse de la clientèle à l'offre du programme

97 demandes reçues

Source : Documentation administrative du programme,

Selon plusieurs unités administratives consultées, la popularité de Créativité Québec et le taux d'acceptation des projets soumis pourraient être améliorés. Voici, en substance, quelques idées proposées :

Constats relatifs à la cible 6

La cible est atteinte. Au cours de la période évaluée, l'effet de levier du programme s'est établi à 2,4 (graphique 6). Cela signifie un apport immédiat des entreprises et des autres partenaires des investissements de 116 M$ pour l'acquisition de nouvelles technologies ou pour la réalisation d'un projet d'innovation ainsi qu'une contribution de contrepartie de 48 M$ apportée par le programme.

Graphique 6 : Effet de levier de l'aide financière autorisé

Source : Documentation administrative du programme, compilation MESI.

Commentaires de l'évaluateur sur les résultats du critère 2 (Cibles 4 à 6)

Les résultats sont jugés satisfaisants, car les trois cibles sont atteintes. Plusieurs constats soulignent la cohérence du programme avec la mission du Ministère et les orientations du gouvernement. Une réponse à l'offre du programme a été observée et l'effet de levier est supérieur au résultat visé.

2.3 Critère 3 : L'efficience de l'aide financière

Les cibles

  1. Retombées économiques du programme supérieures à la dépense publique.

Constats relatifs à la cible 7

La cible est atteinte. Au cours de la période évaluée, le rendement de la dépense publique est estimé à 1,76 (graphique 7). Du point de vue du gouvernement, c'est un bon résultat, car chaque dollar de financement public consenti dans le cadre du programme a généré 1,76 dollar de flux économiques nouveaux dans l'économie québécoise. Ces flux économiques prennent la forme d'amélioration de la profitabilité des entreprises financées, de création de richesse ou d'investissements nouveaux en innovation technologique.

Graphique 7 : Rendement de la dépense publique du programme

Source : Compilation données administratives de Créativité Québec et sondage MESI (juillet – septembre 2017).

À titre d'information : L'évaluation ne dispose pas de données de référence pour effectuer une comparaison par rapport au coût par entreprise aidée et au coût par emploi.

Créativité Québec est un bon incitatif à l'investissement privé, car chaque dollar d'effort budgétaire du programme apporte plus de cinq dollars d'investissement privé (graphique 8).

Graphique 8 : Coûts de revient des principaux résultats du programme

Coût/entreprise

Coût/emploi

Investissement privé/coût

À titre d'information complémentaire :

Commentaires de l'évaluateur sur les résultats du critère 3 (Cible 7)

Les résultats sont jugés satisfaisants, car la cible est atteinte. Le financement public des projets soutenus par Créativité Québec est rentable. De plus, le programme est un bon levier à l'investissement privé. L'évaluation constate que le coût de revient par entreprise aidée est de 743 k$, ce qui peut s'expliquer par la nature et l'ampleur des projets, et suggère un suivi attentif de l'évolution de ce résultat.

Chapitre 3 : L'efficacité du programme

3.1 Critère 4 : Le dregré d'atteinte des résultats visés

Les cibles

  1. Réalisation de projets d'innovation par les entreprises.
  2. Collaborations avec les universités et les centres de recherche.
  3. Produits ou procédés nouveaux ou améliorés.
  4. Investissements privés en innovation.

Constats relatifs à la cible 8

La cible est atteinte. Grâce à l'aide financière du programme, 29 entreprises ont réalisé au moins un projet d'innovation. Par contre, aucune unité administrative consultée n'a pu soutenir, à l'aide d'un exemple illustratif, que Créativité Québec a favorisé le développement d'une culture de l'innovation dans les entreprises.

Selon les secteurs d'activité, plus de la moitié des entreprises financées sont liées au secteur de la fabrication et le tiers au secteur des services professionnels, scientifiques et techniques.

Environ trois entreprises bénéficiaires sur quatre (72 %) ont moins de 50 employés. Seulement deux grandes entreprises (plus de 250 employés) ont obtenu l'aide financière du programme pour la réalisation de leur projet d'innovation (graphique 9).

Graphique 9 : Profil des entreprises innovantes soutenues

29 entreprises innovantes

Source : Compilation des données administratives de Créativité Québec, août 2017.

Géographiquement, deux entreprises financées sur trois sont situées dans les régions administratives de Montréal (15) ou de la Capitale-Nationale (5).

Constats relatifs à la cible 9

La cible est atteinte. 16 entreprises sur les 29 financées ont réalisé au total 25 partenariats avec les acteurs du système d'innovation (graphique 10). Ces liens d'affaires se sont davantage créés avec les autres entreprises et les universités. Notons que plus de la moitié des entreprises avaient plus d'un partenaire.

Graphique 10 : Partenariats avec les entreprises financées

Source : Créativité Québec, sondage MESI (juillet à septembre 2017), octobre 2017.

Par contre, très peu d'unités administratives consultées au Ministère ou à Investissement Québec ont pu établir une contribution de Créativité Québec au rapprochement entre les entreprises financées et le réseau des centres de recherche ou d'autres entreprises.

Constats relatifs à la cible 10

La cible est atteinte. Jusqu'à 24 entreprises soutiennent avoir développé des produits et des procédés innovants grâce à l'appui financier de Créativité Québec (graphique 11). Plusieurs entreprises ont également commercialisé leurs produits ou procédés nouveaux à la suite du financement du programme.

Graphique 11 : Produits ou procédés nouveaux ou améliorés

Avant :

Après :

Source : Créativité Québec, sondage MESI (juillet à septembre 2017), octobre 2017.

Notons que parmi les entreprises innovatrices, seulement 10 réalisaient pour la première fois un projet d'innovation.

Constats relatifs à la cible 11

La cible est atteinte. Au cours de la période évaluée, les investissements privés en innovation s'établissent à 113 M$ (graphique 12). Ce montant est composé d'un investissement privé initial de 86 M$ et d'un montant additionnel estimé à 27 M$ correspondant aux remboursements du capital des engagements financiers selon les modalités des conventions d'aide financière signées entre les parties.

Graphique 12 : Investissement privés en innovation

113 M$ d'investissement privés

Source : Compilation des données administratives de Créativité Québec, août 2017.

Commentaires de l'évaluateur sur les résultats du critère 4 (Cibles 8 à 11)

Les résultats sont jugés satisfaisants, car les quatre cibles sont atteintes. Le programme a permis à plusieurs entreprises de réaliser des projets d'innovation et d'établir des partenariats avec les universités, les centres de recherche et d'autres entreprises. Des produits et des procédés innovants ont été développés grâce à des investissements privés de 113 M$.

3.2 Critère 5 : La satisfaction de la clientèle et l'administration du programme

Les cibles

  1. Plusieurs types de projets d'innovations soutenus
  2. Taux de satisfaction global d'au moins 75 % de la clientèle par volet du programme.
  3. Mise en place de saines pratiques de gestion axée sur les résultats.
  4. Conformité de l'intervention avec les principales normes du programme.

Constats relatifs à la cible 12

La cible est atteinte. Au cours de la période évaluée, 31 interventions portant sur les 29 projets ont été effectuées. Il s'agit essentiellement de projets de développement ou d'amélioration de produits ou de procédés (15) ou de projets d'acquisition d'équipement ou de nouvelles technologies (14). Seul un projet de démonstration en situation réelle d'opération (vitrine technologique) a été soutenu financièrement (graphique 13).

Graphique 13 : Types de projets d'innovation soutenus

Source : Créativité Québec, sondage MESI (juillet à septembre 2017), octobre 2017.

Par ailleurs, depuis l'année 2016-2017, le niveau d'innovation de chaque projet est établi en fonction de la grille de qualification utilisée pour le manufacturier innovant. À ce chapitre, la quasi-totalité des projets (16/19) a un niveau élevé ou très élevé d'innovation.

Constats relatifs à la cible 13

La cible est atteinte. Le sondage réalisé auprès des entreprises financées indique des taux de satisfaction équivalents, respectivement de 81 % et 78 %, pour l'ensemble des services reçus du Ministère ou d'Investissement Québec. En général, la clientèle est très satisfaite (93 %) des normes du programme comme la documentation à fournir, les types de projets et d'activités admissibles ou le montant d'aide financière reçu. Par contre, les délais de traitement et les conseils ou accompagnements du Ministère ont été appréciés chacun à hauteur de 63 %, ce qui représente les plus bas niveaux de satisfaction exprimés par les entreprises financées (graphique 14).

Graphique 14 : Satisfaction des entreprises financées ou non ayant soumis une demande d'aide financement

Entreprises financées

Entreprises non financées

Source : Créativité Québec, sondage MESI (juillet à septembre 2017), octobre 2017.

Pour les entreprises non financées qui ont soumis une demande d'aide financière, seulement la moitié est satisfaite de l'ensemble des services reçus du Ministère ou d'Investissement Québec. La satisfaction dans ce groupe baisse à environ 30 % pour les types de projets et d'activités admissibles,les délais de traitement et l'ensemble de la documentation à fournir. D'ailleurs, jusqu'à deux unités administratives consultées sur trois ne jugent pas les délais de traitement raisonnables en raison du mécanisme décisionnel qui exige différents niveaux d'analyse et d'avis. De plus, les délais se rallongent en raison de l'absence d'un responsable unique assigné à une entreprise avec pour corollaire des entreprises sollicitées plusieurs fois au sujet des mêmes documents.

Constats relatifs à la cible 14

La cible est atteinte. La gestion du programme est réalisée dans le respect des principes de gestion axée sur les résultats6.

Pour la période évaluée, les éléments suivants sont constatés :

Toutefois, plus de la moitié des 28 unités administratives consultées au Ministère et à Investissement Québec soulignent la complexité de l'application des normes du programme et la lourdeur administrative attribuable à la longue chaîne des intervenants.

Constats relatifs à la cible 15

La cible est atteinte. Les constats sont les suivants :

Commentaires de l'évaluateur sur les résultats du critère 5 (Cibles 12 à 15)

Les résultats sont jugés satisfaisants, car les quatre cibles sont atteintes. Plusieurs projets innovants et diversifiés ont été soutenus. Excepté les délais de traitement, les entreprises financées affichent, en général, un bon taux de satisfaction, contrairement aux entreprises non financées ayant soumis une demande d'aide financière. L'évaluation constate la présence d'outils de saine gestion. Par ailleurs, l'aide financière de Créativité Québec a été entièrement allouée aux fins prévues. Toutefois, selon les unités administratives consultées, l'administration du programme est complexe et lourde à cause des normes et de la chaîne des intervenants.

Chapitre 4 : Les effets du programme

Les cibles

  1. Droits de propriété intellectuelle des projets d'innovation.
  2. Effets du programme sur les parts de marché et les ventes hors Québec.
  3. Amélioration de la productivité et des ventes des entreprises clientes.

Constats relatifs à la cible 16

La cible est atteinte. En effet, dix mécanismes de protection de la propriété intellectuelle ont été enregistrés par les entreprises financées par Créativité Québec. Il s'agit d'une licence, de trois brevets et de six autres mécanismes de protection de la propriété intellectuelle (graphique 15).

Graphique 15 : Mécanismes de protection de la propriété intellectuelle des entreprises financées

Source : Créativité Québec, sondage MESI (juillet à septembre 2017), octobre 2017.

Aucun mécanisme de protection de la propriété intellectuelle n'a été enregistré au cours de la période par les entreprises non financées par le programme qui ont soumis une demande d'aide financière.

Constats relatifs à la cible 17

La cible est atteinte. Le programme a permis à nombre d'entreprises d'améliorer le niveau de leurs activités (graphique 16). Plus précisément :

Graphique 16 : Effets de Créativité Québec sur les parts de marché et les ventes hors Québec, du 26 novembre 2014 au 31 mars 2017

52 % des entreprises financées augmentent leur part de marché

35 % des entreprises financées réalisent des exportations

Source : Créativité Québec, sondage MESI (juillet à septembre 2017), octobre 2017.

Constats relatifs à la cible 18

La cible est atteinte. Plusieurs entreprises ont amélioré leur productivité et leur compétitivité (graphique 17). En effet :

Graphique 17 : Amélioration de la productivité et de la compétitivité dans les entreprises

Source : Créativité Québec, sondage MESI (juillet à septembre 2017), octobre 2017.

Commentaires de l'évaluateur sur les résultats du critère 6 (Cibles 16 à 18)

Les résultats sont jugés satisfaisants, car les trois cibles sont atteintes. Des marques de commerce ont été enregistrées par les entreprises financées. Celles-ci ont aussi été nombreuses à améliorer leur productivité et leur compétitivité par des augmentations de leur part de marché, du chiffre d'affaires, de la marge bénéficiaire brute ainsi que par une réduction des coûts de fabrication.

4.2 Critère 7 : Les retombées économiques pour le Québec

Les cibles

  1. Emplois créés et sauvegardés.
  2. Création de richesse dans l'économie du Québec.

Constats relatifs à la cible 19

La cible est atteinte. Comme l'illustre le graphique 18, les activités économiques générées par Créativité Québec ont permis :

Graphique 18 : Sauvegarde ou création d'emplois dans les entreprises soutenues

44 % des entreprises ont créé :

36 % des entreprises ont sauvegardé

Source : Créativité Québec, sondage MESI (juillet à septembre 2017), octobre 2017.

Constats relatifs à la cible 20

La cible est atteinte. La richesse économique créée est estimée à 50 M$ dans l'économie québécoise, sous la forme d'amélioration de la profitabilité des entreprises et de nouveaux investissements en innovation technologique (graphique 19). Elle est la résultante des retombées économiques des projets évaluées à 117 M$ et, en contrepartie, d'un coût économique des projets financés de 66 M$, composé de l'impact budgétaire de l'aide financière du programme et du coût d'opportunité de l'intervention publique.

Graphique 19 : Création de richesse dans l'économie du Québec

50 M$ de richesse économique au Québec

Source : Compilation des données administratives de Créativité Québec et sondage MESI (juillet à septembre 2017), octobre 2017.

Commentaires de l'évaluateur sur les résultats du critère 7 (Cibles 19 à 20)

Les résultats sont jugés satisfaisants, car les deux cibles sont atteintes. Grâce à Créativité Québec, des emplois ont été créés ou maintenus dans l'économie québécoise. L'intervention a également induit des retombées économiques estimées à 50 M$ sous la forme d'amélioration de la profitabilité des entreprises financées et de nouveaux investissements en innovation technologique.

Chapitre 5 : Les conclusions de l'évaluation

5.1 Principaux constats

Le tableau suivant rappelle les principaux résultats constatés.

Principaux résultats du programme – Degré d'atteinte des cibles Du 26 novembre 2014 au 31 mars 2017

La pertinence du programme
Critère 1 : La réponse à des besoins
Critère 2 : La cohérence avec les priorités du Ministère
Critère 3 : L'efficience de l'aide financière
L'efficacité du programme
Critère 4 : Le degré d'atteinte des résultats visés
Critère 5 : La satisfaction de la clientèle et l'administration du programme
Les effets du programme
Critère 6 : Les retombées économiques pour les entreprises clientes
Critère 7 : Les retombées économiques pour le Québec

5.2 Réponses aux questions de l'évaluation

L'examen des résultats permet de répondre aux trois questions de l'évaluation.

  1. Le programme est-il pertinent?
    L'évaluation confirme la pertinence du programme en raison de la persistance du besoin de soutenir les entreprises innovantes. Des apparences de chevauchements entre Créativité Québec et d'autres programmes existants ont été relevées par certaines unités administratives consultées, mais ce constat n'est pas jugé problématique par l'évaluation. Par ailleurs, le programme est jugé utile et à valeur ajoutée par moins de 70 % de la clientèle d'entreprises. Toutefois, le programme est en adéquation avec la mission du Ministère et il s'inscrit dans plusieurs stratégies de développement économique en cours de réalisation. Il est aussi un bon levier pour l'investissement en innovation technologique, puisque chaque de dollar financement a entraîné 2,40 $ d'apports supplémentaires dans le montage des projets. De plus, la rentabilité de la dépense publique a été établie.
  2. Les résultats visés par le programme sont-ils atteints?
    Les résultats visés sont atteints. Créativité Québec a soutenu plusieurs entreprises innovantes et suscité plusieurs collaborations avec les universités et les centres de recherche ainsi qu'avec d'autres entreprises. Les projets innovants soutenus ont permis le développement de produits et de procédés nouveaux grâce à des investissements privés de 113 M$. Le programme est administré en conformité avec les principes de gestion axée sur les résultats et à la satisfaction des entreprises financées.
  3. Les retombées du programme sont-elles satisfaisantes?
    Les retombées de Créativité Québec sont satisfaisantes. En effet, les retombées dans les entreprises financées se traduisent par des marques de commerce enregistrées, par l'amélioration de la productivité et de la compétitivité sous la forme de l'augmentation des parts de marché, du chiffre d'affaires, de la marge bénéficiaire brute ainsi que par une réduction des coûts de fabrication. De plus, des emplois ont été créés ou maintenus dans l'économie et la création de richesse est estimée à 50 M$, ce qui se traduit par l'amélioration de la profitabilité des entreprises financées et par de nouveaux investissements en innovation technologique.

5.3 Appréciation générale des résultats

L'évaluation de l'atteinte des 20 cibles conduit à un pointage de 74 points sur 100. En conséquence, les résultats du programme sont jugés satisfaisants.

La pertinence du programme est évaluée à 25 points sur 35. Les résultats les plus satisfaisants sont constatés aux critères 2 et 3, alors que ceux du critère 1 suggèrent que des améliorations sont possibles.

L'efficacité du programme est évaluée à 22 points sur 30. Les résultats sont satisfaisants aux critères 4 et 5.

Les effets du programme sont évalués à 26 points sur 35. Les résultats sont satisfaisants aux critères 6 et 7.

Plus de détails sont présentés au tableau 6 à l'annexe 2.

Annexe 1 : Compléments méthodologiques

1.A Modèle logique

Le tableau ci-dessous illustre la logique de l'intervention gouvernementale par la démonstration de la cohérence des liens entre les objectifs de l'aide accordée et les résultats attendus.

Les objectifs et les activités soutenues par le programme Créativité Québec

  1. Raison d'être
  2. Cibles
    Entreprises à but lucratif et entreprises de l'économie sociale des secteurs d'activité admissibles.
  3. Objectifs
  4. Nature de l'intervention
    Programme d'aide pour appuyer les projets d'innovation des entreprises en deux volets :
  5. Intrants
    Au total, 48,3 M$ autorisés dans les projets d'innovation des entreprises dans le cadre du programme Créativité Québec.
  6. Activités

Les résultats attendus de Créativité Québec

  1. Extrants
  2. Effets

Les autres retombées de Créativité Québec

  1. Retombées

1.B Méthode d'appréciation des résultats

La méthodologie repose sur des critères, des cibles et des indicateurs, en lien avec la pertinence, l'efficacité et les effets du programme. Pour chaque critère, des indicateurs et des cibles sont établis.

Chaque critère évalué peut comporter deux ou plusieurs cibles, selon le cas. L'appréciation du critère s'effectue selon les pointages suivants : critère dépassé (3 points), critère atteint (2 points), critère partiellement atteint (1 point) et critère non atteint (aucun point). Des scores en valeur décimale sont aussi utilisés lorsqu'ils représentent plus justement la réalité des résultats obtenus (ex. : 2,5 ou 1,75).

Dans le but d'apprécier au plus juste la pertinence et la performance du programme, on a attribué un pointage de 0 à 100 aux résultats constatés pour l'ensemble des cibles. Ce pointage permet de qualifier les résultats du programme, selon l'une des quatre appréciations du tableau 2. Le score final sur 100 provient de l'addition des points par critère, puis de leur transformation en scores pondérés. Le tableau 3 présente les poids respectifs de chacun des thèmes considérés.

Tableau 2 : Échelle d'appréciation de la performance
Appréciation qualitative Intervalle
Résultats très satisfaisants 90 - 100
Résultats satisfaisants 70 - 89
Résultats partiellement satisfaisants 50 - 69
Résultats insatisfaisants 0 - 49

Tableau 3 : Pondération des éléments à évaluer
Éléments à évaluer Poids en pourcentage
La pertinence du programme 35 %
L'efficacité du programme 30 %
Les effets du programme 35 %

1.C Limites de l'évaluation

Le tableau 4 présente quelques limites de l'évaluation et les stratégies d'atténuation mises en place.

Tableau 4 : Limites de l'évaluation et stratégies d'atténuation de leurs effets
Limites de l'évaluation Stratégies d'atténuation de leurs effets
  • Certaines cibles ne sont pas accompagnées d'attentes précises de résultats dans les différents cadres normatifs.
  • Les principales références de ces travaux d'évaluation sont tirées du décret 902-2016 du 19 octobre 2016, alors que la quasi-totalité des aides financières a été autorisée selon les dispositions du décret du 26 novembre 2014.
  • Les actes administratifs (C.T., décrets et conventions) et la documentation du programme ont des orientations pouvant être traduites en cibles de tendance (croissance ou maintien) ou en cibles dichotomiques (présence ou absence).
  • Les attentes habituelles du Ministère, quelle que soit l'intervention évaluée, peuvent être utilisées.
  • Les pratiques évaluatives au Ministère se réfèrent toujours au dernier acte administratif en vigueur. Toutefois, certaines dispositions contenues antérieurement dans les décrets ou cadres normatifs sont parfois prises en compte dans cette évaluation.
Données précises non disponibles sur les retombées économiques auprès des entreprises clientes. L'absence de données précises peut être compensée par l'utilisation d'estimateurs calculés à l'aide des comptes économiques ou des techniques économétriques appliquées aux données d'enquête.

1.D Sources de données

Les sources de données utilisées dans la présente évaluation sont les suivantes :

Tableau 5 : Rendement du sondage téléphonique réalisé auprès des entreprises financées et non financées
Clientèle Population admissible Population joignable* (A) Nombre de répondants (B) Taux de réponse (B/A) Marge d'erreur
* La population joignable exclut les numéros de téléphone non valides ou sans service, les fermetures d'entreprises, les doublons et les numéros hors échantillon.
Source : Sondage auprès entreprises financées et non financées du programme, MESI, septembre 2017.
Entreprises financées 29 28 27 96% 3,6 %
Entreprises non financées 37 31 21 68 % 12,3 %

Annexe 2 : Compléments d'information

Tableau 6 : Tableau de pointage

Évaluation de Créativité Québec – Pointage final des résultats sur 100

La pertinence du programme
  Score obtenu Maximum possible
Critère 1 : La persistance du besoin visé par le programme 7,91 11,67
Critère 2 : La cohérence avec les priorités du Ministère 9,20 11,67
Critère 3 : L'efficience de l'aide financière 8,17 11,67
Sous-total pertinence (sur 35 points) 25,28 35,00

L'efficacité du programme
  Score obtenu Maximum possible
Critère 4 : Le degré d'atteinte des résultats visés 11,62 15,00
Critère 5 : La satisfaction de la clientèle et l'administration du programme 10,50 15,00
Sous-total efficacité (sur 30 points) 22,12 30,00

Les effets du programme
  Score obtenu Maximum possible
Critère 6 : Les retombées économiques pour les entreprises clientes 14,00 17,50
Critère 7 : Les retombées économiques pour le Québec 12,25 17,50
Sous-total effets (sur 35 points) 26,25 35,00
Total sur 100 73,65 100,00

Total de l'évaluation de Créativité Québec
Score obtenu Maximum possible
73,65 100,00

Annexe 3 : Analyse avantages-coûts (AAC)

Le tableau 7 présente les résultats détaillés de l'analyse. La dépense publique du Ministère de 48 M$ dans le programme avec un impact budgétaire estimé à 22 M$ induit des retombées économiques de 117 M$ et un ratio de rendement de 1,76. Les intérêts payés par le gouvernement ou par le privé sont exclus de l'analyse.

Tableau 7 : Rendement de la dépense publique du programme Créativité Québec
(en millions de dollars, du 26 novembre 2014 au 31 mars 2017)

Bénéfices économiques des projets financés par Créativité Québec
  Total
Apports privés directs dans les projets 86,5 M$
Autres apports privés 26,8 M$
Effets sur la profitabilité des entreprises 26,7 M$
Total des retombées économiques (en dollars courants ou dollars nominaux) 140,0 M$
Total des retombées économiques (en dollars réels ou dollars enchaînés de 2014) 136,5
Total des retombées économiques actualisées 166,9 M$

Coûts économiques des projets financés par Créativité Québec
  Total
Impact budgétaire du financement du programme 21,6 M$
Autres aides financières publiques 29,9 M$
Sous-total des aides publiques 51,5 M$
Coût d'opportunité des aides financières publiques dans les projets 28,6 M$
Total des retombées économiques (en dollars courants ou dollars nominaux) 80,0 M$
Total des retombées économiques (en dollars réels ou dollars enchaînés de 2013) 78,0 M$
Total des coûts économiques actualisés (à 6 % par année) 66,5 M$

Source : Compilation des données administratives de Créativité Québec et sondage MESI (juillet à septembre 2017), octobre 2017.

L'analyse de sensibilité

La robustesse du résultat obtenu est confirmée par une analyse de sensibilité réalisée avec la méthode de Monte-Carlo et à l'aide du logiciel @RISK. En effet, en faisant varier simultanément, le montant de l'impact budgétaire du simple à une fois et demie sa valeur, les effets sur la profitabilité des entreprises soutenues à ±50% et, enfin, le taux d'actualisation de 3 % à 12 %, on peut conclure avec certitude que la totalité de la dépense publique associée au programme Créativité Québec est rentable économiquement (graphique 20).

Notes méthodologiques

L'analyse avantages-coûts est réalisée du point de vue sociétal (c'est-à-dire celui du contribuable) dans son ensemble. L'analyse consiste à déterminer les retombées économiques attribuables au programme et la dépense publique consentie pour les générer. Le programme est jugé efficient lorsque les retombées dépassent les coûts.

Notes et références

Note 1. Avant le décret du 19 octobre 2016, le seuil minimal des dépenses admissibles était de 500 k$.

Note 2. Ce seuil a été introduit seulement après le décret 902-2016 du 19 octobre 2016. Ce décret a aussi rendu admissibles les dépenses donnant droit à un crédit d'impôt du gouvernement du Québec.

Note 3. STATISTIQUE CANADA, Enquête sur l'innovation et les stratégies d'entreprise, 2009 et 2012.

Note 4. Il s'agit de chevauchement par rapport aux normes, c'est-à-dire qu'un projet d'une entreprise donnée est admissible au programme et à d'autres mesures, avec des conditions d'aide financière similaires ou non.

Note 5. Le coût financier à l'autorisation est calculé à partir du montant des aides financières autorisées et le coût budgétaire estimé est obtenu à partir du montant de l'impact budgétaire.

Note 6. SECRÉTARIAT DU CONSEIL DU TRÉSOR, [En ligne]. [www.tresor.gouv.qc.ca/cadredegestion/gestion-axee-sur-les-resultats/index.html] (page consultée le 20 septembre 2017).