Rapport d'évaluation
Pour la période du 1er avril 2012 au 31 mars 2016
L'évaluation de la performance du créneau TMS est réalisée à la demande du Secteur des services aux entreprises et aux affaires territoriales (SEAT) et en vertu des ententes de mise en œuvre, signées par le Ministère, pour la période du 1er avril 2012 au 31 mars 2018.
Elle vise également à apprécier les résultats des aides financières de 994 k$ versées par le Ministère pour le fonctionnement et les projets du créneau, dans le cadre du Programme d'appui au développement des secteurs stratégiques et des créneaux d'excellence (PADS), du 1er avril 2012 au 31 mars 2016.
En vertu de la Directive concernant l'évaluation de programme dans les ministères (2014), le présent rapport d'évaluation doit être transmis au Secrétariat du Conseil du trésor (SCT).
La présente évaluation a été réalisée conformément à la Politique ministérielle d'évaluation de programme et à la Charte de l'évaluation des programmes, disponibles à l'adresse suivante : www.economie.gouv.qc.ca/evaluation.
Ibrahima Thiongane, évaluateur de programmes
Recherche et rédaction
Direction de la coordination, de l'évaluation etde la planification
Ministère de l'Économie, de la Science et de l'Innovation
Ce document est disponible sur demande auprès de cette direction.
Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation
710, place D'Youville, 7e étage
Québec (Québec) G1R 4Y4
Téléphone : 418 691-5698, poste 5964
Version définitive – avril 2017
© Gouvernement du Québec
Le présent document est le fruit de la collaboration de plusieurs personnes, sans lesquelles les travaux n'auraient pu être menés à leur terme. Nous tenons donc à remercier toutes les personnes associées de près ou de loin à la réalisation du présent rapport d'évaluation, notamment le personnel du Secteur des services aux entreprises et aux affaires territoriales et le personnel du Groupe MISA, mandataire du gouvernement du Québec pour le développement du créneau Techno‑mines souterraines.
Un comité d'évaluation, constitué à l'occasion de la présente évaluation, avait pour objectif d'obtenir l'assurance que les constats du rapport d'évaluation sont valides et fidèles à la réalité et que les appréciations qui en découlent sont objectives. Plus précisément, les membres du comité, présentés ci-après, devaient valider le rapport d'évaluation et conseiller l'évaluateur sur l'orientation des travaux et la stratégie générale d'évaluation, tout en apportant un éclairage sur des questions importantes qui peuvent se poser en cours de réalisation du mandat.
Nous tenons à adresser nos plus sincères remerciements aux membres du comité, qui ont été sélectionnés en fonction de leurs connaissances et de leur expérience concernant le créneau d'excellence Techno‑mines souterraines (TMS) et le soutien aux organismes d'appui à l'entrepreneuriat.
François Maxime Langlois
Directeur
Direction de la coordination, de l'évaluation et de la planification
Christophe Marchal
Évaluateur principal et chef d'équipe d'évaluation
Direction de la coordination, de l'évaluation et de la planification
La présente évaluation vise à apprécier la performance du créneau d'excellence Techno‑mines souterraines (TMS) du 1er avril 2012 au 31 mars 2016, par rapport aux objectifs du Ministère et aux résultats visés par celui-ci.
La performance du créneau TMS est jugée satisfaisante. L'évaluation confirme la pertinence du créneau par rapport aux objectifs de financement du Ministère, son efficacité à atteindre les résultats visés ainsi que ses effets positifs pour le développement de la filière minière en Abitibi‑Témiscamingue. Les principaux résultats constatés sont les suivants :
L'évaluation permet ces constats :
L'évaluation vise à apprécier dans quelle mesure le créneau Techno‑mines souterraines (TMS) atteint les résultats attendus par le Ministère et à s'assurer qu'il répond à un besoin justifiant un financement public. Elle examine la pertinence du créneau, son efficacité et ses effets, tout en apportant un éclairage sur ses perspectives de développement. Par conséquent, les questions auxquelles le rapport d'évaluation doit répondre sont les suivantes :
Les trois questions ci-dessus sont utilisées pour établir un pointage sur 100 correspondant aux résultats du créneau évalué. Cependant, la question devra également être traitée :
Le protocole d'évaluation utilisé pour répondre à ces trois questions est présenté au tableau 1.
Critères à évaluer
Critères à évaluer
Critères à évaluer
L'évaluation porte sur les résultats du créneau pour la période du 1er avril 2012 au 31 mars 2016, qui correspond aux années financières gouvernementales suivantes : 2012-2013, 2013-2014, 2014-2015 et 2015-2016. Les années calendaires équivalentes sont 2013, 2014, 2015 et 2016.
Le présent mandat est une évaluation dite « rapide » (réalisation en huit semaines), ce qui limite les analyses quantitatives d'effets sur les entreprises et sur l'économie régionale. La perte d'information quantitative est compensée par le recours à des témoignages d'entreprises et par la consultation de toutes les parties prenantes du créneau, tant dans le secteur privé que dans les secteurs public et parapublic.
Les sources de données utilisées pour cette évaluation sont une requête d'information adressée au créneau TMS et des formulaires de consultation remplis par des membres du comité de créneau, des membres de filières d'experts et des participants aux projets structurants. À ces sources s'ajoutent des témoignages d'entreprises, une revue de littérature et une analyse de la documentation administrative. Plus de détails sont présentés à l'annexe 1, section 1.C – Les sources de données.
Par ailleurs, les principales limites rencontrées dans le mandat, ainsi que les stratégies utilisées pour atténuer leurs effets, sont présentées à l'annexe 1, section 1.D.Mandaté par le gouvernement du Québec pour développer le créneau TMS, le Groupe Mines, innovations, solutions et applications (MISA)1 est un réseau d'experts qui travaille activement, sur une base d'affaires, à l'avancement d'équipements et de services innovateurs afin d'assurer la pérennité, la maximisation des retombées et le rayonnement de la filière minière du Québec. La vision du créneau est de développer, par l'innovation, un pôle d'expertise et de compétitivité en exploration et en exploitation minière, rayonnant à travers les centres miniers mondiaux.
Voici quelques grandes étapes de l'existence du créneau TMS :
Pour la période 2011‑2016, voici les principaux objectifs d'affaires du créneau :
La clientèle du créneau est composée d'entreprises de la filière minière du Québec (équipementiers, services spécialisés, fournisseurs, etc.) et d'opérateurs miniers. Le créneau TMS collabore également avec des organismes partenaires, qui peuvent participer à des projets ou à des filières d'experts.
Par ailleurs, le créneau est soutenu par des partenaires financiers tels qu'Emploi-Québec et le ministère de l'Énergie et des Ressources naturelles (MERN).
Pour sa gouvernance, le créneau compte sur un C. A. (ou comité de créneau) soutenu par un comité d'évaluation de projets et par une table de partenaires. À cela s'ajoutent une équipe de direction et six filières d'experts composées d'opérateurs miniers regroupés par compétence. Ces dernières ont notamment la tâche de définir les priorités d'investissement dans chacun des secteurs clés de l'industrie minière, de mettre sur pied des initiatives de collaboration et d'évaluer les projets d'innovation.
L'offre de service du créneau s'articule autour des quatre axes stratégiques suivants :
Pour la période 2013‑2016, le créneau TMS a obtenu des revenus de 1,7 M$, dont 48 % provenaient de subventions publiques pour le fonctionnement. L'excédent de 245 k$ est lié aux entrées de fonds de deux projets qui ont connu un retard. Toutefois, les dépenses liées à ces projets se feront en 2017. En excluant ces deux projets, l'excédent est de 98 k$. En outre, le comité de créneau a donné comme directive de dégager un léger bénéfice annuel, afin qu'une marge de manœuvre financière soit disponible.
| Revenus annuels | 2013 | 2014 | 2015 | 2016 | Total |
|---|---|---|---|---|---|
| Source : États financiers audités du Groupe MISA. | |||||
| Subventions publiques | 208 590 | 226 365 | 197 501 | 186 000 | 818 456 |
| Revenus de projets | 215 984 | 58 785 | 115 463 | 480 219 | 870 451 |
| Autres revenus | 28 211 | 5 | 4 392 | 2 | 32 610 |
| Total des revenus | 452 785 | 285 155 | 317 356 | 666 221 | 1 721 517 |
| Excédent des produits sur les charges | 66 849 | 812 | 5 617 | 172 131 | 245 409 |
Dans l'annexe 1, à la section 1.A – Modèle logique, est présentée l'illustration de l'intervention gouvernementale, plus communément appelée le modèle logique. Ce modèle illustre la chaîne des résultats attendus par le Ministère et permet aussi la vérification de la cohérence interne des liens entre les composantes de l'intervention, notamment ses objectifs, ses extrants et ses effets attendus.
Par l'entremise du Programme d'appui au développement des secteurs stratégiques et des créneaux d'excellence (PADS), le Ministère veut mobiliser ses partenaires économiques et les entreprises et concerter leur action autour d'objectifs et de modes d'intervention communs, ceci afin de favoriser le développement des secteurs stratégiques et la mise en œuvre des orientations ministérielles. En appliquant la théorie du programme au financement du créneau TMS, le Ministère cherche à favoriser l'innovation dans l'exploration et l'exploitation minières, à améliorer la compétitivité des entreprises minières et à mieux faire connaître la filière. Le Ministère vise des résultats tels que la hausse du nombre d'innovations et d'entreprises innovantes dans le secteur minier, l'augmentation des ventes des entreprises minières, le développement de marché ainsi que l'amélioration de la notoriété de la filière minière.
Le graphique 1 présente les montants annuels de financement versés par le Ministère pour le fonctionnement et les projets du créneau, de 2013 à 2016. Au total, un montant de 994 k$ a été versé. Il est à noter que le financement de fonctionnement est versé directement au créneau. Quant aux projets, leur financement peut, selon le cas, être versé aux promoteurs de projets (entreprises et OBNL) ou au créneau.
Source : Documentation administrative, MESI, mars 2017.
La cible est atteinte. Chaque année, en moyenne 300 personnes participent régulièrement aux activités du créneau TMS. Un participant régulier se définit comme le représentant d'une entreprise ou d'une organisation qui répond à au moins un des critères suivants : a participé à un ou plusieurs projets structurants du créneau, a participé à au moins trois activités de maillage, est membre du créneau. De 2013 à 2016, le nombre de participants réguliers est passé de 151 à 294, soit une augmentation de 95 %. C'est en 2015 que la clientèle a été le plus élevée, avec 333 participants réguliers.
Selon le créneau, le mode de fonctionnement basé sur six filières d'experts lui permet d'assurer la cohérence entre, d'une part, ses projets et ses activités et, d'autre part, les besoins de l'industrie. Ainsi, en 2017, ses clients et ses partenaires, y compris les entreprises leaders (soit les sociétés minières), ont consacré 1 000 heures par personne à la bonification de la programmation du créneau.
300 en moyenne par années
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
La cible est atteinte. Selon l'estimation effectuée par le Ministère, le périmètre du créneau dans sa région (soit en Abitibi‑Témiscamingue) regroupe 907 entreprises. Autrement dit, le périmètre du créneau représente 20 % des 4 455 entreprises (donnée de 2015) présentes dans la région.
Par ailleurs, selon une étude de l'Association minière du Québec (AMQ)2, 1 156 entreprises québécoises font partie du secteur industriel couvert par le créneau dans sa région, un nombre proche de celui mesuré par le Ministère.
20 % des entreprises de la région
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
Les résultats sont jugés satisfaisants, car les deux cibles sont atteintes. Chaque année, 300 personnes en moyenne participent régulièrement aux activités du créneau TMS. Le périmètre du créneau dans sa région est estimé à 907 entreprises, ce qui correspond à 20 % de l'ensemble des entreprises de la région. Ainsi, en considérant que chaque participant régulier aux activités du créneau représente une entreprise ou une organisation différente, on peut estimer que la clientèle du créneau TMS représente 33 % de son périmètre.
La cible est dépassée. Au total, 138 entreprises et organisations ont participé aux activités et projets du créneau financés par le Ministère, soit en moyenne 34 par année. La clientèle du créneau TMS est composée de 87 entreprises et de 51 autres organisations. De 2013 à 2016, le nombre d'entreprises et d'organisations participantes est passé de 12 à 45, avec un sommet de 50 en 2014. Toutefois, le créneau précise que le nombre d'entreprises et d'organisations participantes est plus élevé si l'on considère les activités des filières d'experts.
Par ailleurs, cinq membres du comité de créneau sur sept estiment que la notoriété du créneau TMS dans sa région incite les entreprises de la filière minière à participer à ses activités. De plus, pour tous les membres du comité de créneau, la programmation des projets du créneau TMS tient compte des besoins de sa clientèle et de son secteur d'activité.
138 au total, dont :
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
La cible est dépassée. Chaque année, les investissements en espèces dans les activités et les projets du créneau s'élèvent à 1,7 M$ en moyenne. Sur l'ensemble de la période évaluée, ces investissements représentent 6,9 M$. Avec une part annuelle moyenne de 36 %, ce qui correspond à 630 k$, l'industrie est le partenaire financier qui contribue le plus aux activités et aux projets du créneau TMS. Elle est suivie par le Ministère, qui participe à hauteur de 29 %, c'est-à-dire de 509 k$, en moyenne chaque année. Au provincial, on note une autre subvention stable à hauteur de 12 % en moyenne chaque année (soit 209 k$) et qui provient d'Emploi-Québec, de la Conférence régionale des élus de l'Abitibi‑Témiscamingue (CREAT) et du MERN.
Par ailleurs, selon l'étude de l'AMQ, les investissements de l'industrie minière québécoise dans la région du créneau se chiffraient à 704 M$ en 2014, ce qui représentait 34 % de l'ensemble des investissements de cette industrie au Québec.
Moyenne par année : 1,7 M$
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
La cible est dépassée. Le créneau a réalisé 128 activités, dont 90 % consistaient en des rencontres de promotion, notamment avec des chefs d'entreprise. À cela s'ajoutent 12 projets structurants sur un total de 19 projets, dont 13 qui ont fait l'objet d'une demande de financement. Le coût total de réalisation de ces projets structurants est de 5,8 M$, soit 487 k$ par projet structurant. Le financement public représente 46 % du coût total de réalisation des projets structurants, alors que la contribution privée est de 54 %. De 2013 à 2016, le coût de réalisation de ces projets est passé de 331 k$ à 3,4 M$, pour une moyenne annuelle de 1,5 M$. Selon le créneau, les coûts sensiblement plus élevés constatés dans les deux dernières années évaluées (respectivement 1,8 M$ en 2015 et 3,4 M$ en 2016) s'expliquent par le fait que les projets mis sur pied et financés ont été de plus grande ampleur que dans les années précédentes. Outre la réalisation d'activités et de projets structurants, le créneau TMS a participé chaque année à des activités et à des projets externes. Au cours de la période évaluée, il a ainsi pris part à 41 activités externes, dont la majorité (36) consistait en des colloques, conférences et séminaires.
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
Les résultats sont jugés très satisfaisants, car les trois cibles sont dépassées, avec une hausse de plus de 10 % des résultats pour chacune des cibles entre la première et la dernière année évaluée. Chaque année, en moyenne, 34 entreprises et organisations ont participé aux activités et aux projets du créneau TMS, qu'elles ont financés à hauteur de 1,7 M$. De plus, durant la période évaluée, le créneau a mis en œuvre 128 activités et 12 projets structurants. Enfin, il a participé à 41 activités externes.
Par rapport à la période précédemment évaluée, on constate une augmentation du nombre d'activités structurantes organisées par le créneau : 14 en moyenne par année pour la période 2009‑2010, contre 32 pour la période 2013‑2016. En ce qui concerne les projets structurants, le nombre moyen réalisé chaque année est demeuré stable, car trois ont été réalisés dans la période correspondant à la présente évaluation, soit autant que pour la période 2005‑2010.
La cible est atteinte. Le créneau TMS a établi 19 partenariats et collaborations avec d'autres organismes (ex. : Québec International, Société de recherche et développement minier) dans le cadre de la réalisation de projets d'innovation, de promotion ou de réseautage. De 2013 à 2016, le nombre de partenariats et de collaborations est passé de deux à sept. Pour cinq des sept membres du comité de créneau interrogés, le créneau TMS collabore suffisamment avec d'autres organismes de soutien au développement économique, et ces partenariats sont positifs pour le développement de la filière.
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
La cible est dépassée. Tous les projets et activités du créneau considérés, soit les activités de maillage (10) et les projets (19), ont été réalisés en collaboration avec d'autres organisations. Le créneau TMS a déclaré qu'il cherchait à collaborer avec des secteurs d'activité complémentaires à la filière minière (ex. : optique‑photonique, environnement). Grâce à ces collaborations, il réussit à accroître le rayonnement et les capacités de réseautage du secteur minier auprès des secteurs industriels complémentaires, et par le fait même à susciter des innovations.
100 % soit 29 activités sur un total de 29
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
La cible est atteinte. Au total, le créneau TMS a réalisé huit projets interrégionaux et deux projets intercréneaux. On note une croissance du nombre de projets interrégionaux au fil des années, car ils sont passés de deux en 2014 à cinq en 2016 (aucun projet en 2013). Quant aux projets intercréneaux, deux années sur quatre ont été consacrées à leur réalisation, aucun projet intercréneaux n'ayant été mis en œuvre les deux autres années. Parmi les projets réalisés, on peut citer des évènements tels que « Québec en mode solution » et des initiatives collaboratives comme « En mode d'amélioration continue ».
10 projets au total, dont :
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
Les résultats sont jugés très satisfaisants, car une cible est dépassée et les deux autres sont atteintes. Tous les projets et les activités du créneau TMS considérés ont été réalisés en collaboration avec d'autres organisations. De plus, celui‑ci a établi 19 partenariats et collaborations et mis en œuvre 10 projets interrégionaux et intercréneaux.
La cible est partiellement atteinte. Au 31 mars 2016, le plan d'action du créneau était réalisé à 81 %, ce qui équivaut à 60 actions sur 74. Le créneau explique ce niveau de 81 % par le fait que des changements ont été apportés au plan d'action. Toutefois, six projets structurants sur douze ont été complétés. Quant au degré de réalisation des objectifs stratégiques et opérationnels initiaux (respectivement 6 et 29), il n'a pas été présenté.
Pour cinq membres du comité de créneau, le degré de réalisation du plan d'action est satisfaisant. En outre, six membres sur sept estiment que le créneau a su mettre en place les actions appropriées afin de régler des problématiques qui se posent dans le secteur minier.81 % soit 60 actions sur 74
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
La cible est atteinte, car trois cas à succès ont été présentés. Toutefois, deux de ces cas à succès n'ont pas encore produit de retombées importantes, notamment en matière d'emplois et de revenus supplémentaires.
Forte de ses 69 employés et d'un chiffre d'affaires de 12 M$, Cmac‑Thyssen inc. développe une foreuse sur roues de type ITH, qui lui permettra d'élargir sa gamme de foreuses. Le créneau TMS a soutenu l'entreprise pour l'obtention d'une aide financière correspondant à 25 % de la valeur du projet et a assuré le respect d'une démarche structurée de gestion de projet. Après la phase de test, une version industrielle de la foreuse est en cours de fabrication. Vingt nouveaux employés ont été embauchés, dont quatre sont directement imputables au projet. De plus, le projet a permis à Cmac‑Thyssen d'obtenir un contrat de forage d'une valeur de 700 k$.
Avec cinq employés et 1,1 M$ de chiffre d'affaires, Minrail inc. développe un nouveau prototype de plateforme de travail souterrain et une nouvelle méthode de minage pour les mines souterraines contenant un type de gisement particulier, appelé gisement « à faible pendage ». Depuis le début du projet, en 2012, le créneau accompagne Minrail dans le développement et la commercialisation du produit. Une demande d'aide financière effectuée dans le cadre du PADS est en cours de traitement au Ministère. Pour l'heure, l'entreprise a investi 2,4 M$ dans la R‑D. Elle prévoit une amélioration des conditions de travail, la réduction de la pénibilité et de l'exposition aux conditions dangereuses, une diminution des coûts d'extraction atteignant 15 $ la tonne, et l'augmentation du taux de récupération à plus de 90 %.
Avec deux employés et un chiffre d'affaires de 500 k$, 9300‑7490 Québec inc., en collaboration avec VersaDrill Canada et MBI produits de forage inc., a mis en œuvre un projet qui vise la mise au point de nouveaux outils diamantés et l'élaboration d'une nouvelle méthode de production, soit la fabrication additive. Le créneau a soutenu l'entreprise dans la gestion du projet et dans la recherche de financement, notamment auprès du Ministère. Bien que le projet soit en cours, l'entreprise a déjà créé un poste d'ingénieur en métallurgie et prévoit créer quatre postes supplémentaires en 2017 et en 2018. De plus, elle planifie la fabrication d'outils diamantés, et a l'objectif de réaliser un chiffre d'affaires de 4 M$ en 2018.
Les résultats sont jugés satisfaisants, avec une cible atteinte et une autre partiellement atteinte. Même si le plan d'action n'est pas réalisé à 95 % ou plus, on note que la majorité des actions a été mise en œuvre. En outre, trois projets à succès ont été présentés, dont un qui a des retombées tangibles en matière de nouveaux emplois et de contrats.
La cible est partiellement atteinte, car, pour la période 2013‑2015, le comité de créneau était composé d'une minorité de membres industriels, soit 12 sur 30 en moyenne chaque année (dont de 2 à 4 entreprises leaders). À l'inverse, les secteurs public et parapublic étaient majoritaires. Toutefois, à la suite de réflexions stratégiques menées en 2016 sur les meilleures pratiques de gouvernance, une refonte du comité a été effectuée afin d'assurer une représentation adéquate de l'industrie minière. Ainsi, le comité compte désormais dix membres, dont quatre qui proviennent de l'industrie. Notons qu'une personne peut représenter une seule organisation au comité, alors qu'une autre peut en représenter plusieurs. Durant la période 2013‑2015, 28 organisations étaient représentées au comité.
Le comité de créneau se réunit de deux à trois fois par année et peut compter jusqu'à quatre sous‑comités. Le quorum est passé de 60 % des voix (de 2013 à 2015) à 90 % (2016). Il est à noter que les membres ne sont pas rémunérés. Au 31 mars 2016, deux entreprises leaders siégeaient au comité de créneau. Il convient également de noter que parmi les quatre membres industriels actuels, on ne compte qu'un équipementier minier, les trois autres étant des exploitants miniers.
Par ailleurs, de cinq à sept membres du comité de créneau (sur les sept interrogés) s'accordent sur le fait que ce dernier exerce une gouvernance adéquate. Par exemple, la majorité des membres confirme le fait que le comité de créneau est composé d'un nombre de membres représentatif de son secteur industriel, qu'il s'est donné des règles de fonctionnement claires, que ses réunions sont en nombre suffisant et que la participation des membres dirigeants d'entreprises est prépondérante dans ses actions et ses orientations.
30 membres en moyenne chaque année, soit :
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
La cible est atteinte. Au sein du comité de créneau, plusieurs principes de saine gestion axée sur les résultats sont en vigueur par l'entremise de documents tels que des règlements généraux et des politiques de gouvernance. Le créneau TMS recourt à une planification annuelle de ses activités, produit un rapport annuel et fait vérifier ses états financiers. La gestion et le suivi des activités sont effectués par l'entremise d'un portfolio de projets. Ainsi, de six à sept membres du comité reconnaissent non seulement que le créneau utilise de bonnes pratiques de gestion, mais aussi qu'il revoit et évalue annuellement ses actions.
Par ailleurs, les frais d'administration et de gestion du créneau représentent 9 % de ses dépenses totales auditées aux états financiers, soit 140 k$ sur 1 476 k$. Ce niveau est jugé raisonnable, car le pourcentage maximal attendu par le Ministère pour les organismes qui ne disposent pas d'infrastructures de recherche est de 10 %. Si l'ensemble des dépenses des projets effectuées par le créneau et ses partenaires était pris en compte, le niveau de ces frais serait encore moins élevé.Les résultats sont jugés satisfaisants, avec une cible atteinte et une autre partiellement atteinte. Le comité de créneau n'est pas composé d'une majorité de membres industriels. En revanche, le créneau TMS met en œuvre de saines pratiques de gestion et maintient en particulier un niveau raisonnable de frais d'administration et de gestion.
Les deux cibles sont atteintes.
Le créneau TMS a réalisé 10 activités visant la promotion de son secteur d'activité. Toutefois, toutes ces activités ont eu lieu au Québec. Le créneau a déclaré qu'il évite de dupliquer les activités de l'AMQ et de l'Association de l'exploration minière du Québec (AEMQ), deux organismes auxquels le rôle de promotion est d'abord dévolu au sein de l'écosystème associatif de l'industrie minière. Les activités assimilables à la promotion que le créneau a réalisées relèvent plus de projets de maillage et de réseautage, au cours desquels il présente le secteur minier à d'autres secteurs, potentiellement complémentaires.
Interrogés à cet égard, quatre membres du comité de créneau sur sept trouvent que le créneau TMS ne réalise pas assez d'activités visant la promotion de son secteur d'activité, que ce soit au Québec, dans le reste du Canada ou à l'étranger.
Pour développer son image de marque, le créneau a participé à 36 évènements, notamment des colloques, des conférences et des séminaires. Toutefois, aucune activité n'a été réalisée dans ce domaine en 2016. Sur les sept membres du comité de créneau interrogés, quatre estiment que les réalisations du créneau sont notables en ce qui concerne le développement de son image de marque ainsi que de son secteur d'activité.
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
La cible n'est pas atteinte. Aucune donnée chiffrée n'a été présentée par le créneau TMS à l'égard de cette cible. Toutefois, celui‑ci a évoqué la diffusion d'annonces publiques et de bulletins d'information sur ses projets et ses activités. De plus, il aurait informé ses partenaires par différentes tribunes et aurait procédé à de nombreux démarchages. En outre, le créneau a indiqué que les interventions dans les médias ne lui permettent pas de joindre ses parties prenantes, et que ces interventions, par ailleurs, peuvent impliquer d'entrer en concurrence avec ses partenaires (AMQ et AEMQ) qui réalisent déjà des activités visant le rayonnement et le développement de l'image de marque de la filière minière. En revanche, pour cinq des sept membres du comité de créneau interrogés, le créneau ne communique pas suffisamment dans les médias (journaux, radio, télévision, Internet et autres). Seul un répondant a estimé que le niveau de communication du créneau dans les médias était satisfaisant.
Les résultats sont jugés satisfaisants, avec deux cibles atteintes et une autre non atteinte. Si le créneau a réalisé des activités qui visent la promotion de son secteur d'activité et le développement de son image de marque, celles‑ci se sont déroulées essentiellement au Québec. De plus, il ne communique pas assez dans les médias, ce qui a été confirmé par les membres du comité de créneau. D'ailleurs, rappelons que lors de la précédente évaluation, ce constat avait été formulé : « le créneau n'a pas misé sur le développement d'une image de marque et de sa notoriété autrement que dans la région, ce qui ne lui permet pas d'avoir la visibilité nécessaire pour positionner l'industrie minière de l'Abitibi‑Témiscamingue et lui permettre de saisir certaines opportunités de marché (…). »
La cible est atteinte. La majorité des personnes consultées a confirmé les déclarations du créneau TMS sur le fait que le créneau a contribué notamment à mieux faire connaître les occasions de croissance et d'innovation aux entreprises, à augmenter le nombre de partenariats et d'alliances ainsi que la synergie entre les acteurs de la filière, et à améliorer leur compétitivité.
Pour cinq membres du comité de créneau sur sept, les réalisations du créneau ont contribué à mieux faire connaître aux entreprises les occasions de croissance ou d'innovation dans leur filière. Questionnés sur la contribution du créneau à l'amélioration des ventes ou de la productivité de ses entreprises clientes, cinq membres sur sept répondent qu'ils ne savent pas. Pour leur part, les deux autres membres estiment que la contribution du créneau à cet égard est positive. En outre, ces deux membres estiment que plus d'entreprises exportent hors du Québec et du Canada grâce au créneau, tandis que trois autres membres déclarent le contraire. Pour ces derniers, cela s'explique par le fait que l'exportation ne fait pas partie du plan stratégique du créneau et qu'elle est plutôt prise en charge par d'autres organismes spécialisés dans ce domaine, tels que 48e Nord international.
Tous les membres des filières d'experts considèrent que le créneau contribue au développement économique de la région en favorisant le réseautage, le maillage et la synergie des acteurs de la filière minière ainsi qu'en accompagnant les entreprises. De plus, quatre répondants sur cinq estiment que le créneau contribue au développement de son secteur d'activité, notamment en assistant sa clientèle en matière d'amélioration continue, de gestion des ressources humaines, de profitabilité et de façons de faire.
Selon les quatre participants aux projets structurants du créneau, leur organisation a découvert de nouveaux marchés et occasions d'affaires après avoir collaboré avec le créneau TMS. En outre, leur organisation a bénéficié d'une meilleure synergie avec d'autres acteurs grâce au rôle de facilitateur du créneau.
La cible est atteinte. Selon l'étude de l'AMQ précitée, le PIB de l'industrie minière dans la région du créneau était de 2,7 G$ en 2014. Il comptait donc pour 38 % du PIB total de cette région (7 G$). Une estimation de l'évolution du PIB de cette industrie dans la région du créneau entre 2011 et 2014 montre une baisse de 10 %, comparativement à une hausse de 4,67 % pour l'ensemble de l'industrie minière au Québec. De plus, 15 552 emplois étaient liés à cette industrie dans la région du créneau en 2014. En considérant que cet effectif est resté stable, le montant généré par chaque emploi est passé de 190 k$ en 2011 à 171 k$ en 2014; cette baisse de 10 % pouvant s'expliquer par la chute des cours des matières premières.
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
Les résultats sont jugés satisfaisants, avec deux cibles atteintes. La majorité des personnes consultées estime que le créneau contribue à informer les entreprises sur les occasions présentes dans la filière. Toutefois, les personnes consultées n'ont pas été en mesure de répondre à la question relative à la contribution du créneau à l'amélioration des ventes ou de la productivité de ses clients. En revanche, il a été constaté que l'industrie minière est importante dans la région du créneau et que sa prééminence demeure d'année en année.
La cible est atteinte. Au total, le créneau TMS a réalisé quatre projets d'innovation auxquels ont participé des entreprises de la filière. Pour soutenir celles‑ci, le créneau affirme avoir développé des outils de montage de projets d'innovation. De plus, son offre de service de soutien à l'innovation orienterait les entreprises vers l'implantation de meilleures pratiques de gestion de l'innovation, et ce, afin d'augmenter les probabilités de réussite des projets. D'ailleurs, six membres du comité de créneau sur sept estiment que les réalisations du créneau ont aidé les entreprises à innover.
La cible est dépassée. Les investissements en R‑D effectués par les entreprises et les organismes partenaires dans les projets et les activités du créneau s'élèvent à 1,2 M$, ce qui correspond à une moyenne de 291 k$ par année. De 2013 à 2016, le montant de ces investissements a été multiplié par 28, passant de 14 k$ à 386 k$, avec un sommet de 749 k$ en 2015 (qui correspond à une multiplication par 54). Selon le créneau, la forte variation des montants investis en R‑D par sa clientèle et ses partenaires s'explique par le fait que les projets et les activités mis en œuvre en 2015 et 2016 sont de plus grande envergure que ceux des deux années précédentes.
Par ailleurs, le créneau TMS estime que ses projets contribuent au développement de la R‑D dans les entreprises de la filière minière. À cet égard, son outil d'évaluation des retombées des projets d'innovation, élaboré en 2016, permettra de mieux mesurer la contribution du créneau en matière de développement et de commercialisation d'innovations. La déclaration du créneau TMS est confirmée par six des sept membres du comité de créneau interrogés, qui considèrent que les réalisations du créneau ont créé de bonnes retombées pour le développement de la R‑D dans les entreprises minières.
1,2 M$, soit 291 k$ par année en moyenne
Source : Requête d'information adressée au Groupe MISA, MESI, février 2017.
La cible est atteinte. Trois participants aux projets d'affaires sur quatre ont déclaré que leur organisation a obtenu de nouveaux investissements après avoir collaboré avec le créneau. De plus, trois membres du comité de créneau sur sept considèrent que les réalisations du créneau TMS ont facilité la commercialisation d'innovations dont certaines sont protégées par des brevets et des licences. Trois autres membres du comité de créneau ont répondu qu'ils ne savaient pas, alors que seul un membre a estimé que le créneau n'avait pas facilité la commercialisation d'innovations.
Les résultats sont jugés satisfaisants, avec une cible dépassée et deux cibles atteintes. Le créneau a réalisé quatre projets d'innovation. De plus, les dépenses de R‑D de sa clientèle et de ses partenaires dans ses projets et ses activités s'élèvent à 1,2 M$. Enfin, six personnes consultées sur onze estiment que le créneau a eu des effets bénéfiques pour sa clientèle en matière de commercialisation.
La cible est atteinte. La moitié des participants aux projets structurants (deux sur quatre) ont déclaré que leur organisation a créé des emplois à la suite de la collaboration avec le créneau TMS. En outre, le potentiel de nouveaux emplois découlant de projets d'innovation réalisés avec des entreprises clientes est important, d'après les témoignages présentés aux constats relatifs à la cible 10. Enfin, selon le créneau, Emploi-Québec constitue un partenaire important depuis le début des activités. L'implication de l'organisme gouvernemental est justifiée par l'effet du créneau sur le développement des entreprises. Elle se traduit par un suivi constant des activités du créneau TMS ainsi que par un soutien financier à son fonctionnement et à la réalisation de ses projets. Par ailleurs, le créneau a précisé que, après consultation de ses partenaires, il a pris la décision de ne pas prioriser l'attraction de la main‑d'œuvre dans ses interventions, afin d'éviter de dupliquer les activités réalisées par ceux‑ci.
Concernant l'attraction d'une main-d'œuvre provenant de l'extérieur de l'Abitibi‑Témiscamingue, aucun membre du comité de créneau interrogé ne considère que le créneau TMS a contribué à cet aspect. En effet, trois membres ont dit être en désaccord avec l'énoncé, tandis que les quatre autres ne se sont pas prononcés.
La cible est partiellement atteinte. Étant donné le nombre important d'intervenants en formation dans son secteur d'activité, le créneau TMS a pris la décision de ne pas intervenir dans cet aspect, ceci en accord avec ses partenaires. De plus, une telle décision lui permet de ne pas dupliquer les activités de ses partenaires. Toutefois, l'avis des membres du comité de créneau est mitigé, car trois membres estiment que le créneau a contribué à améliorer les programmes de formation existants, tandis que trois autres membres pensent le contraire. La formation ne faisant pas partie du mandat du créneau, les répondants signalent d'autres organismes, tels que le Comité sectoriel de main‑d'œuvre de l'industrie des mines (CSMO Mines) et l'Institut national des mines, qui prennent en charge l'accroissement de l'intérêt pour les carrières et l'élaboration des formations.
Les résultats sont jugés satisfaisants, avec une cible atteinte et une autre partiellement atteinte. Malgré l'absence de données probantes, la moitié des organisations consultées ont déclaré avoir créé des emplois à la suite de la collaboration avec le créneau TMS. En outre, il existe un potentiel important de création d'emplois chez les entreprises clientes du créneau. Toutefois, selon les membres du comité de créneau interrogés, le créneau ne contribue pas à attirer la main-d'œuvre provenant de l'extérieur de l'Abitibi‑Témiscamingue. De plus, l'avis de ceux‑ci est mitigé quant à la contribution du créneau à l'amélioration des programmes de formation existants.
Les résultats constatés permettent de répondre aux trois questions ci‑dessous :
L'évaluation de l'atteinte des cibles de résultats aboutit à un pointage de 80 points sur 100. La performance du créneau Techno‑mines souterraines est jugée satisfaisante.
La pertinence du créneau par rapport aux objectifs de financement du Ministère est évaluée à 36 points sur 40. Les résultats les plus probants sont constatés dans les critères 2 et 3.
En ce qui concerne l'efficacité du créneau à atteindre les résultats de son plan d'action, une note de 28 points sur 40 a été attribuée. Le créneau performe plus dans les critères 4 et 5, alors que des améliorations sont nécessaires au critère 6.
Enfin, pour ce qui est des effets du créneau, une note de 15 points sur 20 a été attribuée. Ce sont les critères 7 et 8 qui obtiennent les résultats les plus importants, alors que des améliorations devraient être envisagées pour le critère 9.
Plus de détails sur le score obtenu par le créneau sont présentés à l'annexe 1, section 1.E – Tableau de pointage.
En complément de l'évaluation de la performance du créneau, le Ministère souhaite une analyse des perspectives de développement du créneau. Par conséquent, la question à laquelle il convient de répondre est la suivante :
L'évaluation conclut que les perspectives sont prometteuses pour les raisons présentées ci‑dessous :
Compatibilité avec les objectifs et les résultats visés par le PADS
Le créneau incite le milieu industriel et ses autres partenaires à investir dans ses projets et ses activités. En effet, durant la période évaluée, l'effet de levier du financement du Ministère est de 1,6, ce qui veut dire que pour chaque dollar versé par le Ministère, d'autres partenaires du créneau ont déboursé 1,6 $. Des données plus détaillées sont présentées à l'annexe 2.
À la lumière des résultats mesurés aux critères 1, 2 et 3, on peut dire que le créneau continue d'être pertinent par rapport aux objectifs du Ministère et aux résultats visés par celui-ci.
Le créneau ainsi que les partenaires consultés se sont montrés très optimistes quant à l'évolution du créneau dans les cinq prochaines années.
Généralement, les résultats plus modestes constatés en matière d'efficacité sont compensés par des résultats très satisfaisants en matière de pertinence. En cas de renouvellement de l'entente d'aide financière, le Ministère devrait veiller au moins à ce que les résultats liés à la pertinence se maintiennent et que ceux relatifs à l'efficacité s'améliorent. De plus, le créneau est invité à porter attention aux éléments suivants :
La méthode d'évaluation utilise les principes de l'analyse multicritère. Pour chacun des critères, la comparaison des résultats obtenus et des cibles permet d'évaluer les résultats selon l'une des quatre appréciations qualitatives présentées au tableau A.1. Après l'évaluation de chacun des critères, un pointage sur 100 est attribué à l'ensemble des résultats de la manière suivante :
Le score final sur 100 est la somme des scores obtenus dans chacun des trois éléments évalués. Les scores de chaque élément évalué sont obtenus selon l'expression suivante :
Chacun des trois volets évalués est pondéré selon les poids présentés au tableau A2.
| Appréciation qualitative | Intervalle |
|---|---|
| Performance très satisfaisante | 90-100 |
| Performance satisfaisante | 70-89 |
| Performance insatisfaisante | 50-69 |
| Performance très insatisfaisante | 0-49 |
| Éléments à évaluer | Poids en % |
|---|---|
| La pertinence du financement | 40 |
| L'efficacité du créneau | 40 |
| Les retombées du financement | 20 |
Les sources de données utilisées dans la présente évaluation sont les suivantes :
Les principales limites de l'évaluation et les stratégies adoptées pour atténuer leurs effets sont présentées dans le tableau A3, ci‑dessous.
Certaines cibles ne sont pas accompagnées d'attentes précises de résultats dans les conventions de subvention.
Les évaluateurs ont proposé une grille d'évaluation au comité consultatif du cadre d'évaluation des créneaux ACCORD, composé de la direction responsable des créneaux d'excellence au Ministère et de coordonnateurs régionaux de la démarche ACCORD. Cette grille contenait des cibles de résultats dans chacun des critères évalués. Le comité consultatif a validé le choix des cibles, ce qui a permis d'évaluer la performance du créneau en comparant ses résultats aux cibles.
Évaluation rapide, effectuée en huit semaines, ce qui a entraîné une perte de données chiffrées sur les effets et l'impossibilité d'effectuer des analyses poussées pour estimer les effets attribuables au créneau.
La perte de données chiffrées et l'impossibilité de réaliser des analyses d'effets ont été compensées par la consultation de parties prenantes clés du dossier : comité de créneau, membres de filières d'experts, participants aux projets structurants et entreprises (pour des témoignages ponctuels).
| Critères | Score obtenu | Maximum possible |
|---|---|---|
| Critère 1 : La masse critique et le périmètre | 11,56 | 13,33 |
| Critère 2 : La mobilisation et le financement | 12,74 | 13,33 |
| Critère 3 : Les partenariats et les collaborations | 12,00 | 13,33 |
| Sous-total Pertinence (sur 40 points) | 36,30 | 40,00 |
| Total Pertinence, efficacité et effets (sur 100 points) | 80,00 | 100,00 |
| Critères | Score obtenu | Maximum possible |
|---|---|---|
| Critère 4 : L'atteinte des objectifs du plan d'action | 10,00 | 13,33 |
| Critère 5 : La gouvernance et la gestion du créneau | 10,00 | 13,33 |
| Critère 6 : Le rayonnement et l'image de marque | 8,44 | 13,33 |
| Sous-total Efficacité (sur 40 points) | 28,44 | 40,00 |
| Total Pertinence, efficacité et effets (sur 100 points) | 80,00 | 100,00 |
| Critères | Score obtenu | Maximum possible |
|---|---|---|
| Critère 7 : Le développement des entreprises | 5,11 | 6,67 |
| Critère 8 : L'innovation, la recherche et le développement | 5,48 | 6,67 |
| Critère 9 : La formation de la main-d'œuvre et l'emploi en région | 4,67 | 6,67 |
| Sous-total Effets (sur 40 points) | 15,26 | 20,00 |
| Total Pertinence, efficacité et effets (sur 100 points) | 80,00 | 100,00 |
| 2013 | 2014 | 2015 | 2016 | Moyenne | |
|---|---|---|---|---|---|
| Source : Requête d'information adressée au Groupe MISA, MESI, février 2017. | |||||
| Industrie | 231 | 164 | 1 164 | 961 | 630 |
| MESI (fonctionnement et projets) | 231 | 287 | 745 | 772 | 509 |
| Niveau municipal ou fédéral | - | - | - | 940 | 235 |
| Autres – Gouvernement du Québec | 50 | 67 | 83 | 638 | 209 |
| Autres | 32 | 120 | 121 | 341 | 153 |
| Total | 543 | 638 | 2 114 | 3 651 | 1 737 |
| 2013 | 2014 | 2015 | 2016 | Total | |
|---|---|---|---|---|---|
| Source : Requête d'information adressée au Groupe MISA, MESI, février 2017. Note : Les frais d'administration et de gestion incluent le loyer, les honoraires professionnels, les frais d'inscription, les assurances, la formation, les taxes et permis et enfin les frais financers. Du fait de leur mission de réseautage et d'établissement de réseaux industriels, les créneaux d'excellence ont des frais d'administration et de gestion qui excluent d'autres dépenses habituellement considérées par le Ministère, soit les frais de déplacement, de télécommunication, de repas, de représentation, de publicité et de promotion. |
|||||
| Honoraires de direction, salaires et charges sociales (a) | 64 | 170 | 175 | 183 | 592 |
| Frais d'administration et de gestion (b) | 48 | 33 | 30 | 29 | 140 |
| Autres dépenses (c) | 274 | 81 | 107 | 283 | 744 |
| Dépenses totales (d) | 386 | 284 | 312 | 494 | 1 476 |
| Ratio (b/d) | 12 % | 12 % | 10 % | 6 % | 9 % |
| - | 2013 | 2014 | 2015 | 2016 | Moyenne |
|---|---|---|---|---|---|
| Source : Requête d'information adressée au Groupe MISA, MESI, février 2017. | |||||
| Dépenses en R-D | 14 | 17 | 749 | 386 | 291 |
| - | 2013 | 2014 | 2015 | 2016 | Total |
|---|---|---|---|---|---|
| Source : Requête d'information adressée au Groupe MISA, documentation administrative et compilation MESI, février 2017. | |||||
| MESI – Fonctionnement | 100 | 100 | 90 | 90 | 380 |
| MESI – Projets | 216 | 39 | 79 | 280 | 614 |
| Autres sources | 380 | 199 | 309 | 700 | 1 588 |
| Effet de levier | 1,2 | 1,4 | 1,8 | 1,9 | 1,6 |
2. AMQ, Retombées économiques de l'industrie minière au Québec, août 2016, page 6.