Centre de recherche informatique de Montréal (CRIM) - Ministère de l'Économie, de la Science et de l'Innovation

Rapport d'évaluation

Pour la période du 1er mai 2012 au 31 mars 2017

Préface

Notes au lecteur

  1. Sauf avis contraire dans le texte, les sommes indiquées sont en dollars canadiens. Les symboles suivants sont utilisés : k$ pour « millier de dollars », M$ pour « million de dollars » et G$ pour « milliard de dollars ».
  2. Selon l'indicateur considéré, le total des résultats peut comporter un écart de ± 1 % pour les pourcentages ou de ± 1 pour les autres valeurs. Cet écart s'explique par l'arrondissement des résultats présentés.
  3. Dans ce document, le terme PME désigne toute entreprise de 250 employés ou moins, peu importe son chiffre d'affaires ou la valeur de ses actifs.
  4. Étant donné que le calcul de l'effet de levier n'inclut pas les contributions en nature des clients et des partenaires, la comparaison des résultats de l'organisme avec ceux qu'il a obtenus lors d'une précédente évaluation, ou avec tout autre organisme dont le résultat inclurait les contributions en nature, n'est pas appropriée.
  5. Étant donné que le calcul du ratio de rendement n'inclut pas les retombées pour les entreprises, la comparaison des résultats de l'organisme avec ceux qu'il a obtenus lors d'une précédente évaluation, ou avec tout autre organisme dont le résultat inclurait les retombées pour les entreprises, n'est pas appropriée.

L'évaluation de la performance du Centre de recherche informatique de Montréal (CRIM) est réalisée à la demande du Secteur de la science et de l'innovation (SSI) et en vertu des conventions de subvention signées avec le ministère de l'Économie, de la Science et de l'Innovation.

Portant sur une période de cinq ans allant du 1er juin 2012 au 31 mars 2017, cette évaluation vise à apprécier les résultats de 23,7 M$ d'aide financière attribuée au CRIM par le Ministère. L'aide financière est composée de 21,6 M$ accordés pour son fonctionnement et ses activités et de 2,1 M$ versés pour ses infrastructures informatiques.

L'évaluation a été réalisée conformément à la Politique ministérielle d'évaluation de programme et à la Charte de l'évaluation des programmes, disponibles à cette adresse : www.economie.gouv.qc.ca/evaluation.

Auteur du rapport

Marc-Michel Lavoie,
Évaluateur
Recherche et rédaction

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

Ce document est disponible sur demande auprès de cette direction.

Pour nous joindre

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

710, place D'Youville, 7e étage
Québec (Québec)  G1R 4Y4
Téléphone : 418 691-5698, poste 4095

Pour plus d'information : gar@economie.gouv.qc.ca

Version définitive – avril 2018
© Gouvernement du Québec

Remerciements

Le présent document est le fruit d'une collaboration sans laquelle les travaux n'auraient pu être menés à leur terme. Nous tenons donc à remercier toutes les personnes associées de près ou de loin à la réalisation de ce rapport d'évaluation.

Plus particulièrement, nos remerciements sont adressés au personnel de la Direction du soutien aux organisations (DSO) et du Centre de recherche informatique de Montréal (CRIM).

Nous tenons également à remercier les membres du comité d'évaluation constitué à l'occasion de ce mandat, dont voici la composition :

François Maxime Langlois
Directeur
Direction de la coordination, de l'évaluation et de la planification

Christophe Marchal
Évaluateur principal et chef d'équipe d'évaluation
Direction de la coordination, de l'évaluation et de la planification

Sommaire

La présente évaluation vise à apprécier les résultats de l'aide financière accordée au Centre de recherche informatique de Montréal (CRIM) par le ministère de l'Économie, de la Science et de l'Innovation du 1er juin 2012 au 31 mars 2017.

Les résultats obtenus par le CRIM sont jugés satisfaisants (pointage de 88 %). L'évaluation confirme la pertinence du financement de l'organisme, l'efficacité de son modèle d'affaires et les effets probants de ses projets et activités pour les entreprises québécoises et pour l'économie du Québec. Les principaux résultats constatés sont les suivants :

Pertinence

Efficacité

Effets

Conclusion

L'évaluation permet de constater ce qui suit :

Table des matières

Chapitre 1 : Le contexte de l'évaluation

1.1 Objectifs de l'évaluation

Pour la période du 1er juin 2012 au 31 mars 2017, le ministère de l'Économie, de la Science et de l'Innovation (MESI) a accordé une aide financière de 21,6 M$ au Centre de recherche informatique de Montréal (CRIM), sous la forme de subventions non remboursables, pour financer une partie des coûts liés à ses activités et à ses projets de recherche ainsi qu'une portion de ses frais de fonctionnement.

Depuis avril 2014, ce financement s'inscrit dans le cadre du volet 1 (Soutien à des organismes ou des projets de recherche) du Programme de soutien à la recherche (PSR), lequel vise, notamment, à inc le développement de créneaux de recherche et d'innovation à fort potentiel et à concrétiser des partenariats de recherche entre les milieux universitaires, collégiaux, institutionnels et industriels.

Des conventions d'aide financière signées entre le CRIM et le Ministère précisent les modalités d'allocation du financement et les résultats attendus. Les conventions prévoient l'évaluation de la performance de l'organisme pour la période qui se termine à la fin de l'année financière 2016‑2017.

L'évaluation a pour but d'apprécier les résultats de l'aide financière consentie par le Ministère au CRIM. Pour ce faire, il est nécessaire d'évaluer la pertinence, l'efficacité et les effets de ce financement, en vue de répondre aux trois questions suivantes :

Le client de l'évaluation est le Secteur de la science et de l'innovation (SSI) du Ministère, lequel est représenté au comité d'évaluation par la Direction du soutien aux organisations (DSO). La Direction de la coordination et de l'évaluation de programme (DCEP) a été mandatée pour effectuer les travaux d'évaluation. Le protocole d'évaluation, présenté au tableau 1.1, indique les critères d'évaluation associés à chacun des thèmes considérés, de même que les liens avec les trois questions du mandat.

Tableau 1.1 : Protocole d'évaluation de la performance du CRIM

Pertinence du financement public (question 1)

Critères à évaluer

  1. La compatibilité avec les objectifs du Ministère
  2. Le besoin continu de l'aide financière à l'organisme
  3. L'efficience de l'aide financière du Ministère
Efficacité du financement public (question 2)

Critères à évaluer

  1. L'atteinte des résultats visés
  2. Le modèle de gouvernance et de gestion de l'organisme
Effets du financement public (question 3)

Critères à évaluer

  1. Les effets sur la recherche et le développement
  2. Les effets sur les entreprises et les organismes clients
  3. Les retombées socioéconomiques pour le Québec

Les autorités et les gestionnaires responsables du programme au Ministère sont les principaux clients du mandat. Les autorités désignent le sous-ministre et le sous-ministre adjoint du Secteur des services aux entreprises et aux affaires territoriales. Les gestionnaires sont les personnes responsables du programme dans les trois directions suivantes : Direction des programmes et des fonds d'investissement (DPFI), Direction de la coordination et des stratégies régionales (DCSR) et Direction régionale de la Gaspésie–Îles-de-la-Madeleine.

Les parties prenantes associées à cette évaluation sont les directions nommées précédemment et la DCEP du Ministère.

1.2 Portrait de l'organisme

1.2.1 Historique

Le CRIM est en activité depuis plus de 30 ans. Il a amorcé ses activités en 1985, en tant que centre de liaison et de transfert (CLT) responsable de faire le pont entre le monde de la recherche universitaire et celui des affaires. Il comptait alors huit membres.

Depuis avril 2014, le Ministère considère le CRIM comme un centre de recherche public. L'organisme s'est donc recentré sur son activité principale, la R‑D, pour optimiser sa mission auprès de l'industrie. Ce changement de statut a eu une influence majeure sur sa structure organisationnelle. Toutes les activités du Centre de formation et de transfert (CFT) sont passées au Centre de perfectionnement de l'École de technologie supérieure (ETS). Celles du Centre de tests et d'interopérabilité (CTI) ont été abolies et l'équipe de direction a été remaniée et réduite. Cela a permis de garder intacts le Centre de recherche appliquée (CRA) et sa trentaine de postes permanents (chercheurs, ingénieurs et techniciens), en plus des ressources humaines temporaires spécialisées et des stagiaires boursiers.

1.2.2 Mission

Le CRIM est un centre de recherche appliquée en technologies de l'information (TI). Il développe, en collaboration avec ses clients et ses partenaires, des technologies innovatrices et du savoir-faire de pointe qu'il transfère aux entreprises et aux organismes québécois afin de les rendre plus productifs et plus compétitifs localement et mondialement.

1.2.3 Activités, produits et services

Le CRIM réalise des projets de recherche appliquée, de développement et d'accompagnement technologique pour ses entreprises et ses organismes clients. Il possède son propre personnel scientifique et technique, auquel peuvent s'adjoindre, selon les besoins des projets, des étudiants boursiers, des stagiaires ou des ressources humaines techniques temporaires ayant des compétences spécialisées.

L'expertise du CRIM s'articule autour de trois grands axes stratégiques qui couvrent un ensemble de thèmes de recherche. Ces axes sont présentés à la figure 1.1.

Figure 1.1 - Axes technologiques du CRIM et thèmes associés

Interaction et interface personne-système

Analytique avancée

Science et technologie du logiciel

Source : Un aperçu du CRIM (http://www.crim.ca/crim_uploads/documents/CRIM-un-apercu.pdf).

Le CRIM compte quatre équipes de recherche s'intéressant aux domaines suivants : développement et technologies Internet, reconnaissance de la parole, modélisation et développement logiciel avancé ainsi que vision et imagerie. Son offre de service reflète le double mandat qui lui est confié :

1.2.4 Clients, membres et partenaires

Le CRIM offre une expertise de pointe et d'appoint aux développeurs et utilisateurs des technologies de l'information. Ses membres constituent un réseau d'entreprises qui innovent par les TI et d'organisations actives dans des secteurs variés. Au 31 mars 2017, il en compte 140, soit 65 PME, 9 grandes entreprises, 46 ministères, associations et villes ainsi que 20 établissements de recherche et d'enseignement. Les membres sont présentés à l'annexe 1.

Le CRIM travaille de pair avec des partenaires (une quinzaine d'organisations), des collaborateurs et des experts de toutes provenances (associations, organismes, ministères, universités, petites et grandes entreprises, etc.). Il gère des projets conjoints, notamment entre l'université et l'industrie.

1.2.5 Structure administrative

Le conseil d'administration du CRIM est formé de dirigeants et de spécialistes en TI de PME et grandes entreprises québécoises, d'universités et d'organismes membres du CRIM qui sont élus lors de l'assemblée générale annuelle. Le C. A. compte douze membres auxquels s'ajoutent deux observateurs de facto, soit un du Ministère et un conseiller spécial. Le comité de direction est formé de trois membres, soit le directeur général, le directeur R‑D et directeur scientifique, en plus de la directrice de l'administration et des finances. Le conseil scientifique, formé de six membres, contribue à la qualité des activités scientifiques et y veille en collaboration avec la direction scientifique. Il participe à la définition des orientations générales et à l'évaluation des activités scientifiques.

1.2.6 Résultats financiers

Le tableau 1.2 dresse le portrait des résultats financiers du CRIM pour les années financières 2013 à 2017.

Tableau 1.2 : Portrait des états financiers du CRIM de 2013 à 2017
(en milliers de dollars canadiens)
Revenus annuels 2013 2014 2015 2016 2017
Source : États financiers audités du CRIM
Contributions du gouvernement du Québec (fonctionnement et activités) 5 682 4 048 3 960 3 960 3 960
Contributions du gouvernement du Québec (infrastructure informatique) 701 489 432 265 233
Revenus de cotisations 280 120 78 30 17
Revenus d'activités - R-D 2 398 1 919 2 928 2 946 3 195
Revenus d'activités - CFT 1 017 746 - - -
Revenus d'activités - CTI 349 340 - - -
Autres revenus 544 466 468 787 753
Total des revenus 10 971 8 128 7 ;866 7 988 8 158
Bénéfice (déficit) net de l'excercice 193 -276 -1 170 246 316

1.3 Chaîne des résultats attendus

Le tableau en annexe 1 (section 1.A – Modèle logique) présente la logique de l'intervention gouvernementale. Il démontre la cohérence des liens entre les objectifs de l'aide accordée, les résultats attendus et les retombées souhaitées des activités de l'organisme.

1.4 Aide financière du Ministère

En tant que principal partenaire financier du CRIM, le Ministère lui accorde un financement de fonctionnement qui couvre environ la moitié de son budget annuel. Le reste des revenus est généré par des activités propres, principalement des contrats de R‑D conclus avec des entreprises et des organismes.

Les résultats de l'organisme sont évalués pour les années 2015, 2016 et 2017, ce qui correspond à 11,9 M$ d'aide financière du Ministère pour son fonctionnement et ses activités.Les détails se trouvent à la section 1.6 – Portée et limites de l'évaluation.

Le Ministère a aussi accordé au CRIM une aide financière de 2,12 M$ pour son infrastructure informatique, par le biais du volet 2 du PSR. Cela lui permet de conserver un parc informatique à la fine pointe de la technologie et de soutenir les activités de ses chercheurs.

Graphique 1.1 : Financement accordé au CRIM par le Ministère pour son fonctionnement et ses activités, de 2013 à 2017
(en millions de dollars canadiens)
  2013 2014 2015 2016 2017
Source : Conventions de subvention du CRIM, MESI.
Fonctionnement 2,79 2,02 - - -
Activités 2,89 2,02 - - -
Fonctionnement et activités - - 3,96 3,96 3,96

Aide financière accordée totale au CRIM par le Ministère pour son fonctionnement et ses activités, de 2013 à 2017 : 21,6 M$

1.5 Méthode d'évaluation

La méthode d'évaluation utilise les principes de l'analyse multicritère. Elle consiste à comparer les résultats obtenus par l'organisme aux résultats ciblés dans la convention de subvention ou aux attentes habituelles du Ministère. L'appréciation des écarts conduit à une appréciation qualitative pour chacun des critères. Par la suite, une grille de pointage est utilisée en vue d'attribuer un score de 0 à 100 aux résultats atteints par l'organisme évalué, le score de 70 étant synonyme d'un niveau jugé satisfaisant. La méthode de pointage est détaillée à l'annexe 1.B – Méthode d'appréciation des résultats.

Conformément aux pratiques d'évaluation en vigueur au Ministère, plusieurs sources de données sont utilisées, de façon à croiser l'information pour en vérifier l'exactitude. Elles regroupent une requête d'information quantitative et qualitative adressée au CRIM, des sondages téléphoniques menés auprès de chercheurs externes ainsi que d'entreprises et d'organismes clients et un examen de la documentation relative au PSR et aux centres de recherche appliquée. Elles sont détaillées à l'annexe 1.C – Sources de données.

1.5.1 Rendement des sondages téléphoniques

Une firme privée mandatée pour l'occasion a réalisé les sondages téléphoniques, qui se sont déroulés en octobre et en novembre 2017. Ils offrent des taux de réponse qui varient entre 34 % pour les entreprises et 65 % pour les écoles et commissions scolaires.

Le degré d'exactitude des données d'enquête correspond aux marges d'erreur suivantes, pour les trois populations à l'étude :

Le rendement des enquêtes téléphoniques est présenté dans le tableau 1.3. Les populations à l'étude sont recensées au préalable. Ainsi, aucun échantillonnage n'a été effectué. Étant donné les marges d'erreur élevées, les résultats des sondages sont considérés avec prudence.

 

Rendement des sondages téléphoniques
(en millions de dollars canadiens)
Population ciblée Population de base
(en nombre)
Nombre de répondants Taux de réponse (en pourcentage) Marge d'erreur
(en pourcentage)
Source : Enquêtes entreprises, chercheurs, organismes et commissions scolaires, MESI, nobemvre 2017. Les listes de répondants potentiels (population de base) ont été fournies par le CRIM. Les nombres de répondants correspondent aux nombres de questionnaires remplis et les marges d'erreur expriment le degré d'exactitude des données (ou la variabilité).
Entreprises 180 62 34 10,1
Chercheurs 30 13 43 20,8
Organismes 26 13 50 19,6
Commissions scolaires 46 30 65 10,7

1.6 Portée et Limites de l'évaluation

La période d'évaluation débute le 1er juin 2012 et se termine le 31 mars 2017, ce qui correspond aux années financières 2012‑2013 (2013), 2013‑2014 (2014), 2014‑2015 (2015), 2015‑2016 (2016) et 2016‑2017 (2017). Les deux premières années, lors desquelles le CRIM était un CLT, sont traitées de façon factuelle et descriptive dans un bilan des activités réalisées et de la participation à ces activités.

L'appréciation des résultats obtenus par le CRIM et le calcul de son score en tant que nouveau centre de recherche appliquée porte donc sur les trois dernières années financières (2015, 2016 et 2017).

Le rapport d'évaluation est un intrant, parmi d'autres, pris en compte dans le processus décisionnel des autorités et des gestionnaires du Ministère. Il ne vise pas à recommander le renouvellement, l'arrêt ou la modification du financement alloué au CRIM par le Ministère.

L'évaluation permet plutôt de dresser une série de constats, basés sur des faits et sur des observations de terrain. Le rapport ne contient aucune recommandation à propos du financement de l'organisme évalué, de façon à laisser toute la marge de manœuvre aux gestionnaires à qui incombe la décision sur ce sujet.

Les limites de l'évaluation des résultats du programme et les stratégies d'atténuation de leurs effets sont présentées à l'annexe 1.D – Limites de l'évaluation.

Chapitre 2 : Le bilan CLT

2.1 Bilan des activités en tant que centre de liaison et de transfert (CLT)

Le bilan des activités du CRIM en tant que centre de liaison et de transfert porte sur les deux premières années de la période d'évaluation, soit 2013 et 2014. Il est descriptif, factuel et n'a pas de répercussions sur l'appréciation des résultats du CRIM et le calcul de son score.

2.1.1 Bilan des activités du Centre de tests et d'interopérabilité (CTI)

Les graphiques 2.1 et 2.2 présentent les résultats du CTI, notamment la réalisation de 62 projets de transfert qui représentent des investissements totaux de près de 19 k$. Le CTI a eu des revenus totaux de 700 k$, soit 689 k$ en revenus d'activités et 12 k$ de cotisations des membres.

Plus de la moitié des clients du CTI sont des PME. Un peu plus de la moitié des 61 utilisateurs des services du CTI sont à Montréal, un cinquième sont à Québec et un peu moins du quart dans les autres régions du Québec.

Graphique 2.1 : Bilan 2013-2014 des activités du CTI

Source : Requête adressée au CRIM, MESI, décembre 2017.

Graphique 2.2 : Utilisateurs des services du CTI

61 utilisations des services du CTI, soit :

Source : Requête adressée au CRIM, MESI, décembre 2017.

2.1.2 Bilan des activités du Centre de formation et de transfert (CFT)

Le graphique 2.3 présente les résultats du CFT pour les années 2013 et 2014, soit 363 cours donnés à un total de 638 utilisateurs.

Le CFT a eu des revenus totaux de 1,9 M$, soit 1,76 M$ pour ses activités de diffusion et près de 140 k$ de cotisations des membres.

Graphique 2.3 : Bilan 2013-2014 des activités du CFT

Source : Requête adressée au CRIM, MESI, décembre 2017.

2.1.3 Bilan des activités du Centre de recherche appliquée (CRA)

Les graphiques 2.4 et 2.5 présentent les résultats du CRA, notamment 50 projets de recherche menés à terme et 41 de transfert réalisés. Des investissements de 2,18 M$ ont été faits dans les projets de recherche du CRA et 66 k$ ont été investis dans ses projets de transfert. Ses revenus ont totalisé près de 4,4 M$, soit 4,3 M$ tirés de ses activités (recherche, veille et transfert) et près de 65 k$ de cotisations des membres. Les utilisateurs des services du CRA sont majoritairement des ministères et des organismes affiliés ainsi que des PME. Ils proviennent en majorité des régions du Québec (45 %) et de Montréal (40 %).

Graphique 2.4 : Bilan 2013-2014 des activités du CRA

Source : Requête adressée au CRIM, MESI, décembre 2017.

Graphique 2.5 : Utilisateurs des services du CRA

261 utilisations des services du CRA, soit :

Source : Requête adressée au CRIM, MESI, décembre 2017.

2.1.4 Bilan commun : livrables et participations de chercheurs et d'étudiants

Les graphiques 2.6 et 2.7 présentent les résultats communs des trois entités du CRIM en tant que CLT. Ces résultats incluent 1 236 livrables produits, 196 participations de chercheurs (en majorité des chercheurs externes) et 61 participations d'étudiants.

Graphique 2.6 : Livrables produits par le CRIM, 2013-2014

1 236 livrables produits, soit :

Source : Requête adressée au CRIM, MESI, décembre 2017.

Graphique 2.7 : Utilisateurs des services du CRA

261 utilisations des services du CRA, soit :

Source : Requête adressée au CRIM, MESI, décembre 2017.

Chapitre 3 : La Pertinence du financement public

3.1 Critère 1 – La compatibilité avec les objectifs du Ministère

Les cibles

Ce qui est attendu :

  1. L'adéquation des activités de recherche de l'organisme avec les objectifs du Ministère.
  2. Une clientèle et des partenaires de l'organisme qui correspondent aux attentes du Ministère.
  3. L'obtention par l'organisme de financement complémentaire à la subvention du Ministère et un taux d'autofinancement (infrastructures exclues) qui se situe entre 45 % et 55 %.

Constats relatifs à la cible 1

La cible est dépassée. En moyenne, 43 projets de recherche par année ont été en cours de réalisation. Un total de 129 projets ont été menés à terme (graphique 3.1). Le budget des projets de R‑D (en cours de réalisation et terminés) totalise 16 M$.

Tous les chercheurs, entreprises et organismes sondés sont d'avis que les projets de recherche du CRIM sont de qualité. Ils jugent qu'ils sont novateurs et d'actualité, qu'ils offrent un bon potentiel de retombées pour les clients et, plus largement, de contribution au développement économique du Québec.

La programmation scientifique du CRIM s'articule autour de trois axes stratégiques (interaction et interfaces personnes-systèmes; analytique avancée; science et technologie du logiciel) qui couvrent dix thèmes de recherche et regroupent une grande partie de ses projets internes et externes. Les projets internes, qui n'impliquent pas un client payeur, sont élaborés en fonction du potentiel d'innovation et de retombées futures pour les entreprises québécoises et de l'implication de collaborateurs du milieu de la recherche (universités et centres de recherche).

L'aspect multidisciplinaire est aussi un facteur important lors de la sélection des projets, car il est inhérent au caractère transversal des TI et favorise la synergie entre les équipes de R‑D du CRIM. Ces éléments sont alignés avec les objectifs et les priorités du Ministère énoncés dans ses stratégies, particulièrement la Stratégie numérique et la Stratégie québécoise de la recherche et de l'innovation (SQRI) :

Graphique 3.1 : Réalisation de projets de R-D

Tous les chercheurs, les entreprises et les organismes considèrent que les projets de R-D du CRIM :

Requête adressée au CRIM et sondage auprès des chercheurs, des entreprises et des organismes, MESI, décembre 2017.

Constats relatifs à la cible 2

La cible est dépassée. Les activités du CRIM sont regroupées en deux grandes catégories, soit la réalisation de projets (des activités de R‑D qui se traduisent par de la programmation informatique) et des activités de transfert de technologie et de connaissances (la détermination de pistes de solution techniques, technologiques ou scientifiques en fonction des besoins des clients).

On compte 147 clients des services du CRIM en moyenne par année, soit 82 clients pour ses activités de transfert technologique et 65 clients pour ses projets de R‑D (graphique 3.2). Le nombre de clients a augmenté de 22 %, passant de 136 en 2015 à 166 en 2017.

L'offre de service du CRIM cible toutes les catégories d'entreprises et d'organismes. Sa programmation vise à joindre un grand nombre d'organismes et d'entreprises, dont principalement des PME.

Une autre portion appréciable de sa clientèle provient des écoles et des commissions scolaires qui utilisent Le Solutionneur, un outil que le CRIM a développé pour la production des horaires de cours des élèves du secondaire et qui est utilisé dans la plupart des régions du Québec.

Le CRIM est un OBNL de membres et il en a eu 142 en moyenne, par année (voir le graphique 3.3 à la page suivante). La diminution du nombre de membres entre 2015 et 2017 (-17 %) découle de la cessation des activités du centre de formation et de transfert et du centre de tests logiciels. Plusieurs entreprises qui étaient devenues membres pour accéder à ces services n'ont pas renouvelé leur adhésion.

Le CRIM a eu 165 partenaires distincts dans la réalisation de ses projets et activités, en moyenne, par année. Cela totalise 904 participations (graphique 3.4). Le CRIM collabore avec des intervenants de l'écosystème d'innovation, principalement des laboratoires et des entreprises privées (40 organisations différentes, pour un total de 195 participations), des universités québécoises (13, pour un total de 172 participations) et hors Québec, des regroupements de recherche et des centres de recherche publics.

Graphique 3.2 : Les clients des services du CRIM

147 clients des services du CRIM en moyenne par année, soit :

Évolution 2015-2017 du nombre de clients : + 22 % (de 136 à 166)

R-D

Transfert

Source : Requête adressée au CRIM, MESI, décembre 2017.

Graphique 3.3 : Les membres du CRIM

142 membres du CRIM en moyenne par année

Évolution 2015-2017 du nombre de membres : - 17 % (de 170 à 141)

Source : Requête adressée au CRIM, MESI, décembre 2017.

Graphique 3.4 : Les partenaires du CRIM

165 partenaires du CRIM en moyenne par année

904 participations totales des partenaires dans les activités et les projets

Nombre

Participation

Source : Requête adressée au CRIM, MESI, décembre 2017.

Constats relatifs à la cible 3

La cible est atteinte. Le CRIM a un taux d'autofinancement de 50 % (graphique 3.5). Ses revenus externes, qui totalisent près de 12 M$, proviennent en majorité de ministères et organismes affiliés (municipalités, écoles et commissions scolaires, 40 %) et de PME (31 %).

Le CRIM demeure à l'affût de sources de financement pour ses projets. L'appariement de fonds fédéraux aux investissements du Ministère est fait par projet, lorsqu'il s'applique. Chaque année, plus de 20 % des revenus externes proviennent d'organismes subventionnaires fédéraux, tels que le Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG), le Programme d'aide à la recherche industrielle (PARI) et CANARIE. Un peu plus de 40 % des revenus externes sont de provenance industrielle.

Le taux d'autofinancement de l'organisme est la proportion de son financement de source autonome par rapport au financement obtenu pour son fonctionnement et ses projets, celui reçu pour son infrastructure informatique exclu. Les revenus de source autonome incluent les sommes de provenance publique prenant la forme de contrats ou de concours.

Graphique 3.5 : Le taux d'autofinancement

50,1 % de taux d'autofinancement, soit :

Provenance des revenus externes :

Source : Requête adressée au CRIM, MESI, décembre 2017.

Commentaires de l'évaluateur sur les résultats du critère 1 (Cibles 1 à 3)

Les résultats sont jugés très satisfaisants, car deux cibles sont dépassées et une est atteinte. Les activités de recherche de l'organisme correspondent aux objectifs du Ministère et plusieurs éléments du CRIM sont alignés avec les objectifs et les priorités énoncés dans les stratégies ministérielles. La clientèle de l'organisme, en forte augmentation, est constituée en grande majorité de PME. Ses partenaires, divers intervenants de l'écosystème d'innovation, correspondent aux attentes du Ministère. Avec une proportion de 40 % de revenus externes de provenance industrielle, le taux d'autofinancement de l'organisme, d'un peu plus de 50 %, se situe au centre de la fourchette ciblée.

3.2 Critère 2 – Le besoin continu de l'aide financière à l'organisme

Les cibles

Ce qui est attendu :

  1. La persistance des besoins d'intervention publique dans le secteur informatique et du logiciel et une concordance avec la mission, les orientations et les stratégies du Ministère.
  2. L'utilité et la valeur ajoutée des activités du CRIM clairement perçue par au moins 75 % des clients et des chercheurs externes.
  3. Un faible risque de concurrence ou de duplication avec d'autres organismes du système québécois d'innovation (complémentarité) et des caractéristiques distinctives manifestes.

Constats relatifs à la cible 4

La cible est atteinte. Les entreprises et les organismes clients visent à combler des besoins d'exploration de nouvelles façons de faire ou d'utilisation de nouvelles technologies (85 %). Ils cherchent aussi à améliorer leurs procédés, leurs produits ou leurs services (76 %) et à résoudre des problèmes particuliers en lien avec les TI ou le numérique (52 %) (graphique 3.6).

La très grande majorité des clients, soit 95 %, affirment que sans la présence et l'assistance du CRIM, ils n'auraient pas pu mener exactement la même recherche. Sans le CRIM, un peu moins des deux tiers des clients (62 %) auraient réalisé une recherche de moindre ampleur.

Le CRIM possède ses propres équipes de chercheurs et professionnels de recherche pour la réalisation de projets de R‑D, principalement des activités de développement logiciel. Son expertise est peu couverte par l'offre du marché

Graphique 3.6 : Les raisons de la participation des clients aux projets

95 % des entreprises et des organismes n'auraient pas pu réaliser entièrement la même recherche, sans la présence du CRIM

62 % auraient réalisé une recherche de moindre ampleur, sans la présence du CRIM

Source : Sondage auprès des entreprises et des organismes, MESI, décembre 2017.

Les champs d'action du CRIM sont complémentaires à ceux du monde universitaire. Le fonctionnement de son modèle présente un équilibre entre la poussée technologique (tech push) et la demande du marché (market pull). Afin que les chercheurs et les professionnels maîtrisent suffisamment les technologies émergentes pour résoudre des problèmes, ils doivent avoir la possibilité de travailler sur des projets de recherche exploratoires et non dirigés par des clients. Cela leur permet d'être en avance sur les demandes du marché et d'être prêts à y répondre au moment opportun.

Le CRIM porte une attention particulière au fait d'être complémentaire et non en concurrence avec l'offre du marché. Lorsque des créneaux d'expertise deviennent plus matures (et donc en principe aussi plus payants) et sont progressivement adoptés par l'industrie, le CRIM s'en retire graduellement pour développer de nouvelles expertises dans d'autres domaines porteurs.

Les interventions personnalisées de transfert de connaissances répondent à un besoin des organisations, particulièrement les PME. Ces interventions de courte durée ont un effet bénéfique pour les clients. Elles ne seraient pas rentables financièrement pour les entreprises clientes considérant les coûts de gestion, de suivi de projet et d'allocation de ressources. Le financement public du CRIM lui permet de maintenir et de promouvoir ces activités ayant un effet structurant sur elles.

Le CRIM réalise aussi des projets en lien avec les grands enjeux de société : l'accessibilité numérique, les changements climatiques, les villes intelligentes, l'utilisation des technologies pour l'amélioration des approches d'apprentissage, etc. De plus, il s'aligne sur les priorités du Ministère :

Constats relatifs à la cible 5

La cible est atteinte. Les chercheurs sont d'avis que si le CRIM disparaissait, la R‑D et son application dans les organisations, dans le secteur des TI au Québec, déclineraient. Les raisons principales mentionnées sont son leadership dans le domaine et son expertise unique, qu'aucune autre dans le secteur ne semble pouvoir remplacer. Les entreprises et les organismes n'ont pas eu à se prononcer sur la question, contrairement à ce qui était prévu.

Le CRIM fait ses propres sondages auprès de ses clients à la fin de leur projet. De 2015 à 2017, il a obtenu des résultats supérieurs à 90 % quant à la réponse aux besoins des clients, au transfert de connaissances et d'expertise, à la compétence de son personnel et à la qualité de ses livrables.

Graphique 3.7 : Perceptions des chercheurs quant à la disparition du CRIM

Tous les chercheurs considèrent que la recherche et développement et son application dans les entreprises et les organismes, dans le secteur des technologies de l'information (informatique et logiciel) au Québec, déclineraient si le CRIM disparaissait

Source : Sondage auprès des chercheurs, MESI, décembre 2017.

Constats relatifs à la cible 6

La cible est atteinte. Le CRIM a instauré 25 nouvelles initiatives de soutien à la mise en œuvre de stratégies gouvernementales, soit cinq en 2015 et dix lors de chacune des deux années suivantes (graphique 3.8). Il a aussi noué et maintenu 226 partenariats stratégiques, soit 125 avec le secteur public et 101 avec le secteur privé.

Plus de la moitié des chercheurs, des entreprises et des organismes considèrent que les services offerts par le CRIM sont uniques par rapport à ceux des organismes comparables ou actifs dans les mêmes secteurs de recherche et d'intervention.

L'expertise du CRIM est complémentaire à celle des autres centres de recherche et suscite des occasions de collaboration. Il travaille par exemple à des aspects en lien avec le manufacturier 4.0 en collaboration avec le Centre de recherche industrielle du Québec (CRIQ), à l'analyse de données qui proviennent de capteurs développés par l'INO, à la reconstruction 3D de données LIDAR pour des projets avec FPInnovations ou à la conception de l'architecture informatique et au développement de systèmes pour la manipulation de grandes quantités de données sur les changements climatiques, en collaboration avec Ouranos.

L'expertise du CRIM est complémentaire à celle d'autres centres en TI, comme le Centre interuniversitaire de recherche en analyse des organisations (CIRANO), qui se penche entre autres sur les modèles économiques et les études d'impact des TI.

Elle diffère aussi de celle du Centre facilitant la recherche et l'innovation dans les organisations (CEFRIO), qui s'intéresse principalement aux transformations organisationnelles et aux processus d'entreprise dans un contexte d'appropriation de nouvelles technologies de l'information.

Le CRIM se démarque des centres collégiaux de transfert de technologie (CCTT) par son expertise. La plupart des CCTT sont spécialisés dans un domaine précis. Leur expertise porte principalement sur l'application de techniques et de pratiques qui ont atteint un niveau élevé de maturité technologique et qui sont connues du milieu pour leur capacité à résoudre des problèmes ciblés en entreprise. De plus, les chercheurs des CCTT publient peu, alors que certains du CRIM se démarquent en obtenant, pour des projets de type universitaire, du financement accordé au mérite à la suite d'une évaluation par les pairs.

L'offre du CRIM s'inscrit dans un continuumentre la recherche universitaire et la recherche industrielle. L'organisme vise à mettre au point des solutions concrètes et pragmatiques qui tiennent compte des contraintes opérationnelles relatives aux produits et solutions de ses clients. Le fait qu'il ne fonctionne pas dans un contexte dépendant de la publication (publish or perish) est attrayant pour des entreprises et des organismes ayant des échéanciers à court ou à moyen terme pour développer et commercialiser des innovations qui exploitent les TI, particulièrement les PME.

Le CRIM réalise certains projets plus en amont avec des partenaires universitaires, en favorisant une approche synergique. Il collabore avec les chercheurs universitaires par la réalisation de projets. Il participe activement à des activités de diffusion des connaissances et à la communauté scientifique (comité organisateur de conférence, comité de revue de publications scientifiques, supervision d'étudiants, etc.). De plus, il a mis sur pied un programme de bourses qui appuie des travaux de recherche prometteurs d'étudiants.

Le CRIM est également reconnu pour son expertise scientifique et technologique. Il connaît les possibilités offertes par de nouvelles technologies, mais aussi leurs limites, particulièrement dans un contexte d'exploitation commerciale. Il conserve un discours modéré quant aux changements induits par des technologies émergentes, car les cycles de popularité associés à ces technologies lui sont familiers.

Le CRIM participe activement à l'écosystème d'innovation des TI constitué d'OBNL ayant des objectifs complémentaires – représentation de l'industrie (TechnoMontréal et Association québécoise des technologies [AQT]), financement de la recherche (Prompt), représentation des professionnels en TI (Réseau Action TI et Association québécoise des informaticiens et informaticiennes indépendants [AQIII]), évaluation et promotion des compétences en TI (TECHNOCompétences) – ainsi que des accélérateurs et incubateurs d'entreprises. Le CRIM se distingue par le fait qu'il possède son propre personnel effectuant de la R-D pour ses clients.

Les chercheurs du CRIM contribuent au rayonnement scientifique du Québec par leur implication active dans la communauté scientifique. Certains de ses créneaux d'expertise sont particulièrement reconnus mondialement, dont la reconnaissance de la parole, les approches de génie logiciel dirigées par les modèles ainsi que le traitement et l'analyse d'imagerie satellitaire. De plus, le CRIM collabore régulièrement avec des organismes de prospection à l'échelle internationale, principalement Montréal International et Investissement Québec, pour accueillir des délégations étrangères de passage au Québec et leur présenter l'écosystème d'innovation québécois en TI.

Graphique 3.8 : Initiatives et partenariats stratégiques

25 nouvelles initiatives instaurées pour soutenir la mise en œuvre de stratégies gouvernementales

226 partenariats stratégiques, soit :

Par rapport à ceux des organismes québécois comparables, les chercheurs, les entreprises et les organismes considèrent les services du CRIM comme :

Il y a 83 répondants au total.

Source : Sondage auprès des chercheurs, des entreprises et des organismes, MESI, décembre 2017.

Commentaires de l'évaluateur sur les résultats du critère 2 (Cibles 4 à 6)

Les résultats sont jugés satisfaisants, car les trois cibles sont atteintes. Les sondages réalisés et les données fournies par l'organisme démontrent que les besoins en TI persistent dans les organisations et que la présence du CRIM permet à ces dernières de réaliser des projets de recherche qu'elles ne pourraient entièrement mener par elles‑mêmes. Les projets et les activités du CRIM, alignés sur plusieurs orientations ministérielles, sont utiles et représentent une valeur ajoutée pour ses clients et pour les chercheurs externes qui y participent. Le CRIM a des caractéristiques distinctives qui font qu'il n'est pas en concurrence avec les autres organismes du système québécois d'innovation et ne duplique pas leurs services.

3.3 Critère 3 – L'efficience de l'aide financière du Ministère

Les cibles

Ce qui est attendu :

  1. Un effet de levier du financement du Ministère au moins égal à 1.
  2. Un ratio de rendement de la dépense publique au moins égal à 0,5.

Constats relatifs à la cible 7

La cible est atteinte. L'effet de levier du financement du Ministère, subvention pour les infrastructures exclue, est de 1 (voir le graphique 3.9 à la page suivante)1. Autrement dit, pour chaque dollar versé par le Ministère, le CRIM a obtenu un dollar de revenus externes. La moitié des revenus totaux du CRIM proviennent donc du Ministère, 30 % des organismes affiliés (ministère, OBNL, etc.) et un cinquième de l'industrie (voir le graphique 3.10 à la page suivante).

Le calcul de l'effet de levier présenté prend en compte uniquement les montants en espèces. Selon l'organisme, si on tenait aussi compte des contributions en nature des clients et des partenaires liés à ses projets de recherche, l'effet de levier serait supérieur à quatre.

Graphique 3.9 : Effet de levier de la subvention du Ministère

Source : Requête adressée au CRIM, MESI, décembre 2017.

Graphique 3.10 : Répartition de la provenance des revenus

23,8 M$ de revenus totaux

  • MESI : 50 %
  • OBNL et M/O affiliés : 30 %
  • Industrie : 20 %
  • Source : Requête adressée au CRIM, MESI, décembre 2017.

    Constats relatifs à la cible 8

    La cible est atteinte. Le ratio de rendement de la dépense publique du gouvernement du Québec au CRIM est estimé à 0,56 (graphique 3.11)2.

    Coût d'opportunité et taux d'actualisation (6 %) pris en compte, les coûts totaux de 21,2 M$ pour le gouvernement du Québec ont donné lieu à 11,9 M$ de retombées économiques, dont la plupart sont des revenus d'activités.

    Il faut souligner que ce modèle propose des analyses raisonnables. En effet, il sous-estime les retombées réelles et ultimes des activités et des projets du CRIM, car il n'inclut pas les retombées financières ou les externalités positives de ces activités et projets. Il considère uniquement les flux monétaires qui ont transité dans la réalisation des activités et des projets de l'organisme.

    Graphique 3.11 : Ratio de rendement de la dépense publique versée à l'organisme

    Retombées économiques :

    Coûts économiques de la dépense publique :

    Ratio de rendement de la dépense publique :

    Source : Requête adressée au CRIM, MESI, décembre 2017.

    Commentaires de l'évaluateur sur les résultats du critère 3 (Cibles 7 et 8)

    Les résultats sont jugés satisfaisants, car les deux cibles sont atteintes. L'effet de levier du financement du Ministère, si on exclut la subvention pour les infrastructures et qu'on considère uniquement les montants versés en espèces, est de 1. Le ratio de rendement estimé de la dépense publique est de 0,56, car, si on tient compte du coût d'opportunité et du taux d'actualisation (6 %), les coûts totaux de 21,2 M$ pour le gouvernement du Québec ont donné lieu à 11,9 M$ de bénéfices économiques (ce qui exclut des bénéfices externes, par exemple sur le chiffre d'affaires des entreprises clientes). À l'avenir, il serait opportun de demander au CRIM de suivre, dans la mesure du possible, les retombées pour les entreprises de la commercialisation des résultats de ses recherches.

    Chapitre 4 : L'efficacité du financement public

    4.1 Critère 4 – L'atteinte des résultats visés

    Les cibles

    Ce qui est attendu :

    1. La réalisation de projets de recherche et développement en collaboration avec des entreprises, des universités, des collèges ou d'autres intervenants en recherche.
    2. La réalisation d'une recherche qui fait l'objet d'une évaluation annuelle par un comité scientifique.
    3. Des entreprises et des organismes accompagnés dans leur démarche d'appropriation technologique et qui reçoivent de la formation pratique.
    4. La réalisation d'activités de transfert de technologies et de connaissances, incluant le maillage et le réseautage, notamment en collaborant avec les centres collégiaux de transfert de technologie (CCTT).
    5. La diffusion des connaissances.

    Constats relatifs à la cible 9

    La cible est dépassée. Des 258 projets de R‑D réalisés, 50 (une proportion de 19 %) l'ont été en collaboration avec des partenaires, soit la moitié (25) avec des OBNL ou des organismes et ministères affiliés, 16 avec des universités, des collèges ou des centres de recherche, sept avec des entreprises privées et deux avec des organismes d'appui à la recherche et à l'innovation (graphique 4.1). Pour la période d'évaluation, le taux de croissance annuel moyen des partenariats et des collaborations est de 11 %.

    Le terme partenariat renvoie à une entente formelle signée entre au moins deux parties, dans le but de mettre en commun dans un projet des ressources financières, humaines ou autres. Un échange de ressources contre facturation (par exemple un contrat entre un client et un fournisseur) n'est pas un partenariat.

    Une des caractéristiques fondamentales du CRIM est son ouverture aux collaborations. Il établit des partenariats pour la réalisation de projets de recherche et d'activités scientifiques, de diffusion de connaissances et de maillage.

    Graphique 4.1 : Partenariats et collaborations en R-D

    50 projets de R-D réalisés en collaboration, soit :

    19 % des projets de R-D sont réalisés en collaboration (50 sur 258)

    Source : Requête adressée au CRIM, MESI, décembre 2017.

    Constats relatifs à la cible 10

    La cible est dépassée. Tous les projets de R-D en cours de réalisation ou terminés ont fait l'objet d'une évaluation par un comité scientifique, soit 71 en 2015, 92 en 2016 et 95 en 2017.

    Tous les projets sont évalués annuellement par un comité scientifique externe international. Le CRIM produit un rapport des activités qui décrit l'ensemble des projets réalisés et explique comment ils s'inscrivent dans les axes et les thèmes de la programmation scientifique. Le comité est donc en mesure d'évaluer cette programmation en fonction des indicateurs traditionnels (par exemple, les publications scientifiques et la création de nouvelles connaissances) et de se prononcer sur la pertinence et les retombées des activités réalisées pour les entreprises et les organismes, en lien avec les thèmes.

    Graphique 4.2 : Évaluation des projets de R-D par un comité scientifique

    TOUS les projets de R-D en cours de réalisation ou terminés (258) ont fait l'objet d'une évaluation par un comité scientifique

    Source : Requête adressée au CRIM, MESI, décembre 2017.

    Constats relatifs à la cible 11

    La cible est dépassée. Presque toutes les entreprises clientes, soit 99 % d'entre elles (266 sur 268), et la grande majorité des organismes clients, soit 92 % (160 sur 173), ont reçu un accompagnement du CRIM dans une démarche d'appropriation technologique (graphique 4.3).

    Un peu plus du cinquième des projets de recherche, soit 22 % (58 sur 258), ont impliqué un transfert sous forme de formation pratique, avec la participation active d'employés des entreprises clientes.

    Les chercheurs externes, les entreprises et les organismes sondés confirment à 100 % qu'il y a eu une participation du personnel des clients dans la réalisation des projets de recherche.

    Un peu plus du tiers (36 %) des entreprises et des organismes affirment qu'ils ont reçu un accompagnement du CRIM dans leur appropriation de nouvelles connaissances ou façons de faire. En outre, plus du quart d'entre eux (28 %) affirment qu'il y a eu de la formation offerte à leur personnel de recherche, principalement dans les cas de développement de logiciel collaboratif.

    Le transfert est fait de trois façons par le CRIM :

    Dans le dernier cas, les professionnels du CRIM aident l'équipe du client à s'approprier de nouveaux cadres de développement logiciel, à se familiariser avec de nouvelles technologies et à mettre en place de nouveaux processus d'innovation. Cela se traduit par une formation pratique axée sur le développement de savoir‑faire pratique, la livraison de logiciels développés par le CRIM et le transfert des connaissances et du savoir‑faire en lien avec ces logiciels. Ainsi, la quasi-totalité des entreprises et des organismes clients (OBNL, ministères, etc.) ont bénéficié d'un accompagnement technologique par un transfert de connaissances ou une livraison de logiciel.

    Graphique 4.3 : Accompagnement dans la démarche d'appropriation technologique

    99 % des entreprises clientes et 92 % des organismes clients ont reçu un accompagnement du CRIM dans leur démarche d'appropriation technologique

    22 % des projets de R-D ont donné lieu à un transfert sous forme de formation pratique

    Selon les chercheurs, les entreprises et les organismes sondés :

    Sources : Requête adressée au CRIM et sondage auprès des chercheurs, des entreprises et des organismes, MESI, décembre 2017.

    Constats relatifs à la cible 12

    La cible est atteinte. Quelque 86 % des projets de R‑D réalisés par le CRIM ont impliqué un transfert technologique vers les clients, et 59 % des chercheurs externes, des entreprises et des organismes sondés ont obtenu des services du CRIM comprenant des activités de transfert de connaissances ou de savoir‑faire (graphique 4.4). Tous les projets réalisés pour des clients externes comportent un transfert technologique.

    Le CRIM a réalisé 680 activités de transfert. Ce nombre inclut 330 exercices de maillage et de réseautage, 247 licences accordées ou transférées aux entreprises et 103 droits d'utilisation de propriété intellectuelle. Un peu plus de la moitié des 680 activités de transfert de technologie et de connaissances, soit 353 (52 %), ont été réalisées en collaboration avec des partenaires.

    En création de propriété intellectuelle, la principale activité du CRIM porte sur la conception de logiciels qui traitent des données de façon intelligente dans divers contextes d'application. La création de ces logiciels est régie par la Loi sur le droit d'auteur. Chaque employé du CRIM cède au CRIM les droits d'auteur sur les logiciels qu'il développe par son contrat d'embauche.

    Le CRIM possède plusieurs logiciels protégés par le droit d'auteur. Au cours de la période d'évaluation, il a détenu 507, 562 et 614 titres de droit d'auteur selon les années, pour une moyenne de 561 par année. L'augmentation est de 21 % entre 2015 et 2017.

    Les brevets ne sont pas un véhicule de commercialisation des technologies privilégié par le CRIM. Le système de protection de propriété intellectuelle par brevet n'est pas parfaitement adapté à la réalité des TI. Il pose des défis quant à la description d'une invention brevetable et au respect des droits de brevet par de tierces parties. Dans le domaine du logiciel, la distribution de code exécutable sans divulgation du code source est un mécanisme de protection efficace, plus rapide et moins coûteux que les brevets. Le CRIM favorise une prise de brevet par les entreprises, qui sont en meilleure position pour élaborer les revendications de leurs brevets en fonction des caractéristiques des marchés. Des licences d'exploitation commerciale de droits de brevets attribuées à des entreprises par des universités peuvent constituer un frein à l'innovation en raison des délais de négociation de ces licences.

    Néanmoins, le CRIM dépose occasionnellement, dans le cadre de projets non dirigés de nature exploratoire, des brevets pour certains projets et certaines technologies pour lesquels il n'y a pas encore de clients preneurs, mais dont le potentiel d'innovation à moyen terme est élevé.

    Le système typiquement universitaire de déclarations d'invention ne s'applique pas à la réalité du CRIM. La propriété intellectuelle des créations développées par ses employés lui appartient dès la conception et le système de gestion de projet fait que l'organisme a une vision totale des projets réalisés par ses employés. Pour les projets clients, les droits de propriété intellectuelle sont régis par les clauses des contrats.

    En ce qui concerne le transfert de technologie et de connaissances, il y a toujours, dans les projets de R-D avec livraison de logiciel, une licence explicite ou implicite. En moyenne, pour chaque projet de R-D avec transfert, 1,5 licence est attribuée. Il peut aussi y avoir pour quelques projets une licence qui donne des droits d'utilisation de la propriété intellectuelle préexistante du CRIM dans le projet.

    Le CRIM exploite Le Solutionneur, un logiciel qu'il a développé pour la conception d'horaires scolaires dans les écoles secondaires. Plusieurs écoles et commissions scolaires utilisent chaque année ce logiciel pour établir les horaires de leurs élèves. Le CRIM leur attribue une licence d'utilisation annuelle. Il en a accordé 34 en moyenne.

    Graphique 4.4 : Activités de transfert technologique, de maillage et de réseautage

    680 activités de transfert réalisées, soit :

    Sources : Requête adressée au CRIM et sondage auprès des chercheurs, des entreprises et des organismes, MESI, décembre 2017.

    Constats relatifs à la cible 13

    La cible est atteinte. Le CRIM a réalisé près de 1 000 activités de diffusion des résultats de sa recherche, dont 125 colloques et ateliers, 63 actes de conférence, 29 rapports techniques et 22 articles scientifiques (graphique 4.5). De plus, il a fait l'objet de 725 citations (information obtenue par Google Scholar en août 2017). Citations exclues, les activités de diffusion des résultats de recherche de l'organisme ont diminué de 5,5 % entre les deux premières années (91 lors de chacune) et la dernière (86).

    Un peu plus des deux tiers (68 %) des chercheurs externes, des entreprises et des organismes sondés ont reçu du CRIM des livrables sous la forme de rapports. Un peu plus du quart (27 %) des clients ont reçu des livrables sous la forme de logiciels.

    Le CRIM contribue activement à la communauté scientifique par des publications et diverses activités de transfert de connaissances qu'il organise ou auxquelles il prend part.

    Graphique 4.5 : Diffusion des résultats de la recherche

    993 activités de diffusion des résultats de la recherche, soit :

    Source : Requête adressée au CRIM, MESI, décembre 2017.

    Commentaires de l'évaluateur sur les résultats du critère 4 (Cibles 9 à 13)

    Les résultats sont jugés satisfaisants, car trois cibles sont dépassées et deux sont atteintes. Un cinquième des projets de recherche de l'organisme sont réalisés en collaboration avec une variété d'intervenants en innovation, dont des entreprises, des universités et des collèges. Tous les projets de recherche ont fait l'objet d'une évaluation par un comité scientifique. Plus d'un cinquième des projets de recherche donnent lieu à un transfert sous forme de formation pratique pour les employés des clients. La très grande majorité des entreprises et des organismes qui font de la recherche avec le CRIM sont accompagnés par ce dernier dans leur démarche d'appropriation technologique. La très grande majorité des projets de recherche ont impliqué un transfert technologique vers les clients, et les activités de transfert incluent du maillage, du réseautage, des transferts de licences et des logiciels protégés par le droit d'auteur. Enfin, l'organisme diffuse ses connaissances et les résultats de sa recherche, principalement par le biais de colloques, d'ateliers, de conférences et de publications.

    4.2 Critère 5 – Les pratiques de gouvernance et de gestion de l'organisme

    Les cibles

    Ce qui est attendu :

    1. La présence de saines pratiques de gestion.
    2. Une utilisation des fonds alloués par le Ministère conforme aux conventions de subvention.
    3. Des frais administratifs et de gestion égaux ou inférieurs à 20 % des dépenses totales.
    4. Un taux de satisfaction d'au moins 75 % des entreprises, des organismes et des chercheurs externes qui participent aux projets et aux activités.
    5. Un conseil d'administration qui représente adéquatement l'industrie et le milieu de la recherche dans son domaine et un comité scientifique composé d'acteurs représentatifs des milieux scientifiques et sectoriels pertinents.

    Constats relatifs à la cible 14

    La cible est dépassée. En 2017, le CRIM comptait 49 employés en équivalents temps complet (ETC), soit 43 à temps plein et 15 à temps partiel (graphique 4.6). Entre 2015 et 2017, le nombre d'employés ETC du CRIM a diminué de 12 %, passant de 56 à 49. De ce nombre d'employés en 2017, 41 étaient affectés à la recherche réalisée par l'organisme, soit 34 chercheurs, six employés de soutien et un gestionnaire.

    Le CRIM détient une certification ISO 9001. L'ensemble de ses processus de gestion sont consignés et appliqués avec traces écrites à l'appui. Ses activités s'inscrivent dans le cadre de sa planification stratégique, mise à jour annuellement.

    La période d'évaluation est couverte par le Plan stratégique 2014-2019 et une nouvelle planification stratégique a été élaborée pour la période 2017-2022. Le CRIM utilise une approche de gestion par projets, c'est-à-dire que tous les projets (internes et externes) sont suivis individuellement sur le plan du budget et du respect des échéanciers. Tous les projets sont revus mensuellement par l'équipe de direction et des actions correctives sont mises en place, si nécessaire. Pour le suivi financier, des résultats intérimaires complets sont produits mensuellement (états des résultats mensuels et cumulatifs, bilan et flux de trésorerie) et présentés périodiquement au comité de direction et au C. A., ce qui permet de mesurer la progression des objectifs financiers en fonction du budget et de prendre les mesures correctives appropriées, s'il y a lieu.

    Pour les contrôles financiers, des auditeurs financiers externes revoient annuellement l'ensemble des opérations financières et produisent les états financiers vérifiés. Le CRIM possède une politique d'autorisation des dépenses qui nécessite deux signataires pour l'ensemble des dépenses d'importance. En ce qui concerne les ressources humaines, il existe un ensemble de politiques (embauche, évaluation, formation continue, bonne conduite et éthique, départ, plan de relève, rémunération et promotion). De plus, tous les employés remplissent systématiquement des feuilles de temps, ce qui permet à l'organisme de suivre l'utilisation de ses ressources. Des embauches permanentes ou temporaires sont faites en fonction des besoins de l'organisme, par exemple pour des projets ponctuels. Le CRIM intègre les éléments de la gestion des risques à toutes les procédures de son système qualité afin de se conformer aux nouvelles exigences de la norme ISO 9001. Par exemple, pour réduire le risque de dommages physiques ou de destruction de sa salle informatique, il y a mise à jour constante d'un site de relève miroir, à l'extérieur de ses locaux, avec les données des serveurs de l'organisme.

    Graphique 4.6 : Employés du CRIM en 2017

    49 employés en ETC

    41 employés affectés à la recherche, soit :

    Source : Requête adressée au CRIM, MESI, décembre 2017.

    Constats relatifs à la cible 15

    La cible est atteinte. Les fonds alloués par le Ministère dans le cadre des conventions de subvention servent à financer une partie des coûts liés à ses activités et à des projets de recherche ainsi qu'une portion de ses frais de fonctionnement. Le CRIM a utilisé les fonds alloués en conformité avec l'énoncé.

    Des 11,9 M$ alloués par le Ministère, 8,6 M$ (72 %) ont été utilisés pour la recherche et le développement et 3,3 M$ (28 %) ont servi au fonctionnement de l'organisme (graphique 4.7).

    Graphique 4.7 : Utilisation des fonds alloués par le Ministère

    Tous les fonds alloués par le MESI ont été utilisés, soit :

    Source : Requête adressée au CRIM, MESI, décembre 2017.

    Constats relatifs à la cible 16

    La cible est dépassée. Les frais administratifs et de gestion du CRIM, d'un montant total de 2,7 M$, représentent 11,3 % des dépenses totales de l'organisme, de l'ordre de 24,2 M$ (graphique 4.8).

    Les frais administratifs et de gestion sont, pour la plupart, des coûts fixes jugés incontournables, tels que les frais d'électricité et d'entretien, les assurances, les taxes (municipales, scolaires, etc.), les dépenses de bureau.

    Graphique 4.8 : Proportion (%) des frais administratifs et de gestion dans les dépenses totales

    11,3 % de frais administratifs et de gestion, soit :

    Constats relatifs à la cible 17

    La cible est dépassée. Tous les éléments sondés en lien avec le CRIM et la qualité de ses services obtiennent des taux de satisfaction supérieurs à 90 % de la part des chercheurs externes, des entreprises et des organismes (graphique 4.9). La collaboration avec le CRIM, les ententes sur la propriété intellectuelle et l'expertise des chercheurs et des professionnels de l'organisme satisfont tous les répondants.

    Graphique 4.9 : Taux de satisfaction des chercheurs, des entreprises et des organismes

    Chercheurs, entreprises et organismes :

    Entreprises et organismes :

    Source : Sondage auprès des chercheurs, des entreprises et des organismes, MESI, décembre 2017.

    Constats relatifs à la cible 18

    La cible est atteinte. Le CRIM est un OBNL dont les membres sont des organisations et non des individus. Le C. A. est composé de 12 membres, dont les deux tiers (huit) viennent du milieu industriel (graphique 4.10).

    Pour une bonne représentation des parties prenantes, les règlements exigent un minimum de quatre membres de la catégorie entreprise et de quatre membres de la catégorie université et OBNL d'appui à l'innovation. Les mandats des administrateurs sont de deux ans, avec possibilité de trois renouvellements. Le comité de sélection tient compte de critères comme la parité hommes-femmes, la répartition géographique, la taille des entreprises et leurs activités (développeurs ou utilisateurs).

    En 2017, le C. A. était composé de trois membres universitaires, dont une université en région, d'une société de valorisation et de huit entreprises, soit une grande, une moyenne du domaine des services-conseils et d'impartition en TI et six PME (trois ayant des équipes de développement en TI, une de l'aéronautique, une des communications et une des arts médiatiques).

    Les membres du C. A., non rémunérés, révisent et approuvent les grandes orientations de l'organisme (le budget, le plan stratégique, le rapport scientifique, les états financiers, etc.) et contribuent aux discussions stratégiques. Un conseiller juridique est attitré au C. A. et participe aux réunions en tant qu'observateur.

    Le comité scientifique est constitué de six membres. Ces chercheurs accomplis sont choisis en fonction de leur expertise pointue dans les domaines en lien avec les axes et les thèmes de la programmation scientifique. Pour la constitution du comité scientifique, les candidatures sont soumises au Ministère pour approbation. Chaque année, le CRIM analyse les recommandations du comité scientifique et, lorsque cela est approprié, met en place de nouvelles initiatives ou ajuste certains processus. Les réponses aux recommandations du comité scientifique de l'année précédente sont incluses dans le rapport soumis aux membres du comité scientifique.

    Graphique 4.10 : Composition du C. A. et du comité scientifique en 2017

    12 administrateurs au C. A. :

    6 membres au comité scientifique :

    Source : Requête adressée au CRIM, MESI, décembre 2017.

    Commentaires de l'évaluateur sur les résultats du critère 5 (Cibles 14 à 18)

    Les résultats sont jugés satisfaisants, car trois cibles sont dépassées et deux sont atteintes. L'organisme a de saines pratiques de gestion, utilise les fonds alloués par le Ministère conformément aux conventions de subvention et a des frais administratifs et de gestion qui représentent une proportion de ses dépenses inférieure à 20 %. Ses activités et ses projets de recherche satisfont ses clients à un haut niveau. Son C. A. représente adéquatement l'industrie et le milieu de la recherche dans le domaine des TI. Son comité scientifique, composé de six chercheurs expérimentés, est représentatif du milieu scientifique en TI.

    Chapitre 5 : Les retombées du financement public

    5.1 Critère 6 – Les effets sur la recherche et le développement

    Les cibles

    Ce qui est attendu :

    1. La participation de chercheurs externes aux projets de recherche et développement et une contribution à la formation d'étudiants.
    2. Des effets probants sur le milieu de la recherche dans ses secteurs d'activité.

    Constats relatifs à la cible 19

    La cible est atteinte. Une soixantaine de chercheurs externes participent aux projets de recherche du CRIM, en moyenne, par année. Ils totalisent 269 participations aux projets (graphique 5.1).
    En moyenne, par année, 22 étudiants, également répartis entre les trois cycles d'études, participent aux projets de recherche. Après une stabilité en 2015 et en 2016 (23 et 24 étudiants), le nombre d'étudiants participants a diminué de 25 % en 2017 (18).
    Environ le tiers des chercheurs externes sondés (quatre sur 13) considèrent que les activités et les projets de recherche du CRIM contribuent à la formation et au développement d'une masse critique de chercheurs dans le secteur des TI.

    Le CRIM ne développe pas des projets pour des chercheurs universitaires. Il possède plutôt ses propres équipes de chercheurs et de professionnels pour réaliser des projets. Des chercheurs universitaires et industriels collaborent à certaines activités de ces projets lorsqu'ils nécessitent des expertises complémentaires.

    Graphique 5.1 : Participation de chercheurs externes et d'étudiants aux projets de recherche

    60 chercheurs externes participent aux projets de recherche en moyenne, par année

    269 participations de chercheurs externes aux projets de recherche

    22 étudiants participent aux projets de recherche en moyenne, par année, soit :

    4 chercheurs externes sur 13 sont d'avis que les projets de recherche du CRIM contribuent à la formation et au développement d'une masse critique de chercheurs

    Sources : Requête adressée au CRIM et sondage auprès des chercheurs, MESI, décembre 2017.

    Les projets industriels de R-D réalisés en partenariat avec des chercheurs universitaires sont relativement longs (de 24 à 48 mois) et incluent des activités de nature exploratoire et du travail par essai-erreur, ce qui permet la formation d'étudiants. Ils peuvent aussi servir d'outils de recrutement d'étudiants diplômés par des entreprises.

    Le CRIM rassemble une masse critique de chercheurs et de professionnels pluridisciplinaires, à vocation industrielle, qui ont la capacité de saisir les enjeux auxquels sont confrontés les entreprises et les organismes. Ils sont aussi en mesure de développer des solutions innovantes qui répondent à leurs besoins en tenant compte des contraintes d'utilisation des technologies, des budgets et des échéanciers.

    L'offre de service du CRIM s'inscrit dans un continuum entre la recherche universitaire et la recherche industrielle. Ses chercheurs travaillent sur certains projets de type universitaire et de nature exploratoire auxquels des étudiants et des chercheurs externes contribuent. L'organisme travaille également, pour d'autres projets, avec des chercheurs industriels et des étudiants, principalement aux études supérieures et au postdoctorat. Ainsi, ces derniers développent du savoir-faire pratique, complémentaire à leur formation générale, et se préparent à affronter le marché du travail. En moyenne, par année, 15 étudiants stagiaires et salariés ont participé aux projets (10 en 2015, 19 en 2016 et 17 en 2017) et six étudiants boursiers ont participé aux projets (dont 13 en 2015, une seule en 2017).

    Constats relatifs à la cible 20

    La cible est dépassée. Les chercheurs externes sondés relèvent plusieurs contributions bénéfiques des projets et des activités du CRIM pour le milieu de la recherche en TI.
    Ils reconnaissent principalement le développement de connaissances utiles et d'expertise (tous), l'augmentation de leur visibilité et de celle de leur établissement de recherche (80 %), l'obtention d'une meilleure connaissance des divers besoins des clients en matière de R‑D (77 %) et le développement de partenariats entre établissements de recherche et entre chercheurs (70 %) – graphique 5.2. De plus, tous les chercheurs externes (13) sont d'avis que le CRIM, par ses projets et ses activités, a contribué au développement de la recherche et à son application dans les entreprises et les organismes.

    Le CRIM s'implique activement dans la communauté scientifique en organisant des activités de diffusion de connaissances pour ses chercheurs et permet ainsi aux autres acteurs de la recherche de se mettre en valeur. Il contribue au rayonnement international du Québec dans certains créneaux d'expertise, assez nichés, dans lesquels il se démarque.

    Des collaborations universitaires québécoises sont liées au fait que des étudiants passent au CRIM pour réaliser certaines portions de projets de recherche, ce qui contribue à leur formation pratique. La proximité du CRIM avec le monde industriel donne aussi l'occasion à des chercheurs et à leurs étudiants de se faire connaître à un auditoire non universitaire lors d'événements qu'il organise.

    Un autre axe d'intervention du CRIM dans la communauté scientifique est la mise à profit de son expertise pour le développement d'outils informatiques de pointe qui répondent aux besoins de divers milieux de recherche. Ces solutions leur permettent d'accélérer la manipulation, le traitement et l'analyse de leurs données. Le CRIM se consacre aussi au développement et au déploiement de plateformes de recherche conçues en fonction des besoins et des séquences de traitement et de manipulation des données de divers milieux de recherche. Ces projets d'envergure lui permettent d'encapsuler et de rendre disponibles à de nombreux utilisateurs plusieurs algorithmes de traitement et de manipulation de données non structurées. Vu leur adaptabilité à la quantité de données et la relative facilité avec laquelle les séquences de traitement de données peuvent être réorganisées en fonction des besoins de nouveaux utilisateurs, ces plateformes offrent un grand potentiel de transfert technologique. Les deux plateformes sont présentées à l'annexe 2.B.

    Graphique 5.2 : Contributions des projets de recherche du CRIM au milieu de la recherche

    Perceptions des chercheurs externes quant à la contribution des projets de recherche :

    Tous les chercheurs externes considèrent que le CRIM a contribué au développement de la recherche et à son application dans les entreprises et les organismes, dans les secteurs de l'informatique et du logiciel au Québec

    Source :  Sondage auprès des chercheurs, MESI, décembre 2017.

    Commentaires de l'évaluateur sur les résultats du critère 6 (cibles 19 et 20)

    Les résultats sont jugés très satisfaisants, car une cible est dépassée et une est atteinte. La réalisation de projets de R‑D par l'organisme implique plusieurs participations de chercheurs externes et contribue à la formation d'étudiants dans le secteur des TI, dont des stagiaires et des boursiers. Les chercheurs externes reconnaissent plusieurs contributions bénéfiques des projets et des activités de l'organisme pour le milieu de la recherche en TI, principalement le développement de connaissances utiles et d'expertise. Les chercheurs externes reconnaissent tous la contribution du CRIM au développement de la recherche et à son application dans les entreprises et les organismes. Cependant, seulement le tiers considèrent que les activités et projets contribuent à la formation et au développement d'une masse critique de chercheurs dans le secteur des TI.

    5.2 Critère 7 – Les effets sur les entreprises et les organismes clients

    Les cibles

    Ce qui est attendu :

    1. L'amélioration de la capacité d'innovation technologique pour la majorité des entreprises et des organismes clients.
    2. Une majorité d'entreprises participantes aux projets de recherche et aux activités qui sont plus productives et plus compétitives à la suite de leur participation.

    Constats relatifs à la cible 21

    La cible est atteinte. Les sondages menés auprès des entreprises et des organismes clients révèlent qu'en majorité, ils se sont approprié des connaissances ou des façons de faire nouvelles (83 %) et ont reçu de la formation ou ont pu procéder à l'amélioration des compétences de leurs employés (64 % – graphique 5.3 à la page suivante). De plus, la majorité des entreprises ont pu réduire leurs temps ou leurs coûts de développement de produits (55 %) et ont pu innover ou améliorer leurs produits ou leurs procédés (50 %).

    Ces résultats sont généralement cohérents avec ceux présentés à la cible 4 (les raisons de la participation des clients aux projets de recherche du CRIM) :

    Plus modestes, les résultats en matière d'effets des projets sur les clients sont liés à l'embauche de personnel spécialisé (12 %) ainsi qu'à l'appropriation et à l'utilisation de technologies innovantes ou émergentes (25 %).

    Graphique 5.3 : Effets des projets de recherche sur les entreprises et les organismes clients

    Selon les entreprises et les organismes :

    Selon les entreprises uniquement :

    Source : Sondage auprès des entreprises et des organismes, MESI, décembre 2017.

    Constats relatifs à la cible 22

    La cible est atteinte. Moins de la moitié (49 %) des entreprises clientes sondées affirment être plus productives à la suite de leur participation aux projets de recherche du CRIM (graphique 5.4). Par contre, comme constaté précédemment au graphique 5.3, 55 % des entreprises ont réduit leurs temps ou leurs coûts de développement de produits, ce qui signifie des gains de productivité.

    Graphique 5.4 : Amélioration de la productivité et de la compétitivité des entreprises clientes

    Source : Sondage auprès des entreprises, MESI, décembre 2017.

    La grande majorité (92 %) des entreprises clientes se disent plus compétitives à la suite de leur participation aux projets de recherche.

    Commentaires de l'évaluateur sur les résultats du critère 7 (Cibles 21 et 22)

    Les résultats sont jugés satisfaisants, car les deux cibles sont atteintes. En participant aux activités et aux projets de recherche du CRIM, la grande majorité des clients ont amélioré leur capacité d'innovation technologique. Ils se sont approprié des connaissances ou de nouvelles façons de faire, ont reçu de la formation ou ont pu procéder à l'amélioration des compétences de leurs employés. De plus, la majorité des entreprises ont pu réduire leurs temps ou leurs coûts de développement de produits et ont pu innover ou améliorer leurs produits ou leurs procédés. La grande majorité des entreprises clientes se disent plus compétitives à la suite de leur participation aux projets de recherche. Cependant, moins de la moitié affirment être plus productives après y avoir participé.

    5.3 Critère 8 – Les retombées socioéconomiques pour le Québec

    Les cibles

    Ce qui est attendu :

    1. Des effets probants sur le chiffre d'affaires et l'emploi des entreprises clientes.
    2. Des retombées économiques notables et des cas à succès.

    Constats relatifs à la cible 23

    Il est impossible d'estimer l'effet du CRIM sur le maintien et la croissance des ventes ou de l'emploi dans les entreprises clientes. Seulement 25 entreprises sondées ont donné leur chiffre d'affaires en 2016 et son taux moyen de croissance annuelle lors des trois dernières années. Cela ne correspond qu'à 40 % des 62 entreprises qui ont répondu au sondage et 14 % des 180 entreprises de la liste fournie. De même, seulement 29 entreprises ont donné leur nombre d'employés en 2016 et son taux moyen de croissance annuelle lors des trois dernières années. Cela ne correspond qu'à 47 % des 62 entreprises qui ont répondu au sondage et 16 % des 180 entreprises de la liste fournie.

    Constats relatifs à la cible 24

    La cible est dépassée. L'outil Le Solutionneur, développé par le CRIM pour les écoles secondaires et les commissions scolaires, obtient de très bonnes appréciations de la part des clients (graphique 5.5).

    Graphique 5.5 : Appréciation de l'outil Le Solutionneur

    Selon les commissions scolaires et les écoles clientes, Le Solutionneur :

    100 % de satisfaction générale envers l'outil

    Source : Sondage auprès des écoles et des commissions scolaires, MESI, décembre 2017.

    Toutes les écoles et les commissions scolaires considèrent que Le Solutionneur est un outil précis qui augmente la qualité des horaires produits, réduit leur temps de production et maximise la satisfaction des élèves.

    Tous les clients de l'outil en sont satisfaits; 27 des 30 répondants s'en disent même très satisfaits. Les commentaires généraux d'appréciation des répondants et leurs suggestions d'amélioration sont à l'annexe 2.B.

    Le CRIM présente des cas à succès de ses projets et activités ayant des retombées probantes.

    Des visites interactives

    Le programme de visites interactives, financé par le Programme d'aide à la recherche industrielle (PARI) du Conseil national de recherches Canada (CNRC), offre à des entreprises innovantes des interventions personnalisées adaptées à leurs besoins afin de résoudre un problème technique, technologique ou scientifique.

    Dans le cadre du programme, les entreprises ont l'occasion de rencontrer des experts du CRIM afin d'obtenir de l'information et des pistes de solution en lien avec leur problème. Lors des trois dernières années, 170 visites interactives ont été réalisées. Ces activités donnent aux utilisateurs un accès aux connaissances scientifiques. Les entreprises visitées sont principalement des PME qui désirent intégrer, à la mesure de leurs capacités, les plus récentes avancées scientifiques et technologiques.

    Le succès de ces activités requiert des interactions constantes et des mécanismes collaboratifs avec les intervenants du PARI. D'un point de vue de gestionnaire, selon une analyse purement financière, les visites interactives sont peu rentables en raison des coûts qu'engendrent tous ces suivis en lien avec des activités de très courte durée. Toutefois, les retombées de telles interventions peuvent être très élevées : les recommandations d'une visite interactive peuvent faire épargner des efforts de R-D à une entreprise en lui évitant un mauvais choix technologique ou l'utilisation d'une mauvaise approche.

    La contribution au succès de PME québécoises

    Le CRIM travaille sur des aspects complexes et avancés de solutions ou de produits d'entreprises innovantes, dont voici des exemples :

    De l'expertise de pointe pour un projet mobilisateur

    Module novateur pour le rétablissement de réseaux électriques dans les cas de panne majeure – CGI : Le CRIM s'implique dans le projet mobilisateur Équation (Écolo TIC), qui vise le développement et la démonstration de nouveaux produits de l'industrie des TI qui réduiront les émissions de CO2, favoriseront la réduction de la consommation énergétique et permettront le développement d'autres systèmes à effet bénéfique sur l'environnement.

    CGI et le CRIM ont conçu en partenariat l'Intelligent Decision Support System for Storms, un module novateur pour le rétablissement de réseaux électriques dans les cas de panne majeure. Ce module, maintenant intégré à la solution PragmaSMART de CGI, sert à assurer le fonctionnement des réseaux de distribution d'électricité et à lui affecter la main-d'œuvre nécessaire, afin d'améliorer la gestion des effectifs en temps réel. Le CRIM a mis à profit son expertise en recherche opérationnelle, en architecture et développement logiciel, en méthodologie agile et en données massives (big data) pour développer, avec son partenaire, une solution répondant aux besoins des entreprises de distribution électrique dans un contexte commercial. Ce projet est innovant par sa capacité à traiter des problèmes qui comportent une grande quantité de données ainsi que par sa mise en œuvre d'algorithmes de recherche opérationnelle. Le projet a été colauréat du prix Innovation – partenariat technologique de l'Association pour le développement de la recherche et de l'innovation du Québec (ADRIQ) en 2015.

    Commentaires de l'évaluateur sur les résultats du critère 8 (Cibles 23 et 24)

    Les résultats sont jugés très satisfaisants, car la cible est dépassée. L'outil Le Solutionneur développé par le CRIM pour la conception d'horaires d'élèves obtient de très bonnes appréciations de la part des écoles et des commissions scolaires clientes. De plus, le CRIM a décrit des cas à succès de ses projets et activités et montré leurs retombées diversifiées : il a fait état de visites interactives, de contributions au succès de PME québécoises et du recours par une grande entreprise à son expertise de pointe pour un projet mobilisateur qui vise des effets bénéfiques pour l'environnement. Il est cependant impossible d'estimer l'effet du CRIM sur le maintien et la croissance des ventes ou de l'emploi dans les entreprises clientes, en raison des petits nombres d'entreprises qui ont fourni leur chiffre d'affaires et leur nombre d'employés de 2016 ainsi que les taux moyens de croissance annuelle qui leur sont associés pour les trois dernières années.

    Chapitre 6 : Les conclusions de l'évaluation

    6.1 Principaux constats

    Le tableau ci-dessous présente une synthèse des principaux constats pour chacun des critères évalués et l'appréciation des résultats obtenus par le programme au regard des attentes du gouvernement.

    Principaux résultats du CRIM ─ Degré d'atteinte des cibles et des critères
    Du 1er mai 2014 au 31 mars 2017

    La pertinence du financement public
    Critère 1 : La compatibilité avec les objectifs du Ministère
    Critère 2 : Le besoin continu de l'aide financière à l'organisme
    Critère 3 : L'efficience de l'aide financière du Ministère
    L'efficacité du financement public
    Critère 4 : L'atteinte des résultats visés
    Critère 5 : Les pratiques de gouvernance et de gestion de l'organisme
    Les retombées du financement public
    Critère 6 : Les effets sur la recherche et le développement
    Critère 7 : Les effets sur les entreprises et les organismes clients
    Critère 8 : Les retombées socioéconomiques pour le Québec

    6.2 Réponses aux questions de l'évaluation

    L'examen des huit critères considérés pour évaluer la performance du CRIM permet d'apporter des éléments de réponse aux trois questions posées dans le cadre du mandat.

    L'organisme répond-il à des besoins?

    L'évaluation permet de conclure que le CRIM répond à des besoins en TI des organisations québécoises. Ses activités de recherche correspondent aux objectifs du Ministère et sont alignées sur les objectifs et les priorités énoncés dans ses stratégies ministérielles, dont la Stratégie numérique. La clientèle de l'organisme, en forte augmentation et en grande majorité constituée de PME, de même que ses partenaires, composés de divers intervenants du milieu de la recherche en TI, correspondent aux attentes du Ministère.

    Il y a, chez les entreprises et les organismes, une persistance de besoins en TI, en grande partie comblés par la présence du CRIM. Les projets et les activités, alignés sur plusieurs orientations ministérielles, sont utiles et apportent une valeur ajoutée pour les clients et pour les chercheurs externes qui y participent. Le CRIM a des caractéristiques distinctives, n'est pas en concurrence avec les autres organismes du système québécois d'innovation et ne duplique pas leurs services.

    L'organisme est-il efficace dans ses activités?

    L'évaluation constate que le CRIM est efficace dans la réalisation de ses activités. Une bonne part de ses projets de recherche sont réalisés en collaboration avec divers intervenants québécois en innovation, dont des entreprises, des universités et des collèges. Ses projets de recherche ont tous fait l'objet d'une évaluation par un comité scientifique et une part non négligeable d'entre eux impliquent un transfert sous forme de formation pratique pour les employés des clients. La grande majorité des clients sont accompagnés dans leur démarche d'appropriation technologique et la grande majorité des projets de recherche impliquent un transfert technologique vers les clients. Les activités de transfert incluent du maillage, du réseautage, des transferts de licences et des logiciels protégés par le droit d'auteur. L'organisme diffuse largement ses connaissances et les résultats de sa recherche, principalement par le biais de colloques, d'ateliers, de conférences et de publications. L'organisme a de saines pratiques de gestion, utilise les fonds alloués par le Ministère conformément aux conventions de subvention, et ses frais administratifs et de gestion représentent une proportion raisonnable de ses dépenses totales. Les activités et les projets de recherche du CRIM satisfont ses clients à un très haut niveau. Le C. A. de l'organisme représente adéquatement l'industrie et le milieu de la recherche en TI et son comité scientifique est représentatif du milieu scientifique en TI.

    1. Les retombées sont-elles suffisamment probantes?

    L'évaluation démontre que les retombées des activités du CRIM sont suffisamment probantes. Les activités de recherche qu'il réalise suscitent de nombreuses participations de chercheurs et d'étudiants. Les activités de l'organisme contribuent donc à la formation essentielle d'étudiants, bien que leur nombre de participations ait diminué au cours de la période d'évaluation, tandis que les participations de chercheurs externes sont restées stables.

    Les chercheurs externes reconnaissent plusieurs contributions bénéfiques des projets et des activités de l'organisme pour le milieu de la recherche en TI, principalement le développement de connaissances utiles et d'expertise. L'organisme a concouru au développement de partenariats entre les établissements de recherche et entre les chercheurs participants. Il a de plus contribué au développement de la recherche dans le secteur des TI au Québec, au développement de connaissances utiles et d'expertise de même qu'à l'augmentation de la visibilité des chercheurs et de leur établissement de recherche. Il permet aussi d'obtenir une meilleure connaissance des besoins des entreprises et des organismes clients.

    Les clients ont amélioré leur capacité d'innovation technologique et les entreprises clientes sont plus compétitives à la suite de leur participation aux projets de recherche. Cependant, moins de la moitié des entreprises sondées affirment être plus productives après leur participation. Pourtant, 55 % des entreprises sondées ont réduit leurs temps ou leurs coûts de développement de produits, une forme de gain de productivité. Le CRIM présente des cas à succès de ses projets et activités qui ont des retombées, soit des visites interactives, des contributions au succès de PME et une expertise mise à profit dans un projet mobilisateur qui vise des effets bénéfiques pour l'environnement. Enfin, l'outil Le Solutionneur est utile et très apprécié par les écoles et les commissions scolaires qui l'utilisent.

    6.3 Appréciation générale des résultats

    Les résultats obtenus par le CRIM sont jugés satisfaisants. Les principaux objectifs du Ministère sont atteints, et les projets et activités réalisés répondent aux besoins et aux attentes des clients, des chercheurs et des partenaires qui y participent.

    La figure ci‑contre présente le pointage calculé pour chacun des trois critères considérés. Le CRIM obtient 88 sur 100, et l'appréciation qualitative est « résultats satisfaisants ».

    Les résultats détaillés sont présentés à l'annexe 2.A – Tableau de pointage.

    Annexe 1 : Compléments méthodologiques

    1.A Modèle logique

    Le modèle logique ci-après présente les objectifs, les activités et les attentes gouvernementales à l'égard des résultats et des retombées du PSR (volet 1), dans lequel s'inscrit le financement du CRIM par le MESI.

    Les objectifs de l'intervention et les activités soutenues par le PSR (volet 1)

    1. Raison d'être
      Le besoin de favoriser l'excellence et la pérennité du capital humain, matériel et organisationnel voué aux activités de recherche et d'innovation, de soutenir les initiatives et partenariats sur le plan national et international et d'assurer un environnement de qualité approprié au contexte actuel de la société.
    2. Cibles de l'intervention
    3. Objectifs
    4. Nature de l'intervention
      Pour les cinq années financières 2012-2013 à 2016-2017, le financement consenti au CRIM par le MESI est de 21,6 M$ pour son fonctionnement et ses activités de recherche ainsi que de 1,89 M$ pour ses infrastructures informatiques.
    5. Activités

    Les résultats attendus du PSR (volet 1) et du CRIM

    1. Extrants
    2. Effets

    Les autres retombées du PSR (volet 1) et du CRIM

    1. Retombées pour le Québec

    1.B Méthode d'appréciation des résultats

    Les critères d'évaluation et les cibles de résultats déterminés découlent d'un examen de la documentation administrative relative à l'organisme ainsi que des orientations du Ministère et des politiques gouvernementales dans le domaine. Lorsque l'information disponible ne fournit aucune indication sur les cibles, celles-ci reflètent les pratiques habituelles d'évaluation du MESI.

    Pour l'évaluation de la performance de l'organisme, un pointage de 0 à 100 est attribué aux résultats constatés, en fonction des écarts par rapport aux cibles. Ce pointage permet de qualifier les résultats de l'organisme selon l'une des quatre appréciations présentées dans le tableau A.1. Par ailleurs, le pointage est effectué suivant la pondération présentée au tableau A.2.

    Les critères comportent deux, trois ou quatre cibles selon le cas. L'atteinte des cibles pour chaque critère est évaluée en fonction des pointages suivants :

    Tableau A.1 : Échelle d'appréciation des résultats
    Appréciation qualitative Intervalle
    Résultats très satisfaisants 90-100
    Résultats satisfaisants 70-89
    Résultats insatisfaisants 50-69
    Résultats très insatisfaisants 0-49
    Tableau A.2 : Pondération appliquée aux thèmes considérés
    Thèmes Poids en pourcentage
    La pertinence du financement 35
    L'efficacité de l'organisme 35
    Les retombées du financement 30

    1.C Sources de données

    Conformément aux pratiques d'évaluation en vigueur au MESI, plusieurs sources de données ont été utilisées, de façon à croiser l'information pour en vérifier l'exactitude.

    1. Une requête d'information adressée au CRIM

    Deux formulaires ont été transmis par courriel aux dirigeants du CRIM : un formulaire (fichier Excel) qui permet de recueillir des informations de nature quantitative et un autre, de nature qualitative (fichier Word). La requête a été transmise par courriel aux dirigeants de l'organisme. Les documents ont été remplis par ces derniers et les données recueillies ont été croisées avec l'information disponible, notamment les rapports annuels d'activités, les états financiers et toute information pertinente transmise par les représentants du CRIM. Par ailleurs, le formulaire Word informe le CRIM de l'échelle de pointage utilisée par l'évaluateur pour apprécier l'atteinte des résultats.

    2. Des sondages téléphoniques

    Un sondage téléphonique a permis de joindre les quatre populations à l'étude, soit les entreprises clientes des services du CRIM, les autres organisations clientes du CRIM, c'est-à-dire celles auxquelles des livrables sont transférés ou des services sont facturés, les chercheurs externes (ou collaborateurs de recherche) qui participent aux projets de recherche du CRIM ainsi que les commissions scolaires qui ont participé au projet Le Solutionneur ou qui utilisent ce logiciel de génération automatique d'horaires adapté aux écoles secondaires du Québec. Les listes de répondants potentiels ont été fournies par l'organisme.

    3. Examen de la documentation relative au PSR et aux centres de recherche appliquée

    La documentation administrative officielle relative aux centres de recherche appliquée et au programme qui permet au Ministère de les financer a été examinée. Différents documents et des données statistiques provenant des responsables de l'organisme et de sites Internet des ministères du gouvernement du Québec ont été consultés.

    1.D Limites de l'évaluation

    La réalisation du mandat comporte certaines limites techniques. Des stratégies visant à atténuer leurs effets ont été utilisées.

    Tableau A.3 : Les limites de l'évaluation du CRIM et les stratégies d'atténuation de leurs effets
    Limites de l'évaluation Stratégies d'atténuation de leurs effets
    Certaines cibles ne sont pas accompagnées d'attentes précises de résultats dans les conventions de subvention.
    • Les actes administratifs (décrets et conventions) et la documentation du CRIM ont des orientations qui peuvent être traduites en cibles de tendance (croissance ou maintien) ou en cibles dichotomiques (présence ou absence).
    • Les attentes habituelles du Ministère, quelle que soit l'intervention évaluée, peuvent être utilisées.

    Il n'existe pas de données précises sur les retombées économiques auprès des entreprises clientes de l'organisme.

    L'absence de données précises peut être compensée par l'utilisation d'estimateurs calculés à l'aide des comptes économiques de Statistique Canada et de techniques économétriques appliquées aux données d'enquête.

    Annexe 2 : Compléments d'information

    2.A Tableau de pointage

    Évaluation du CRIM – Pointage final des résultats sur 100

    Pertinence du financement public
      Score obtenu Maximum possible
    Critère 1 : La compatibilité avec les objectifs du Ministère 11,02 11,67
    Critère 2 : Le besoin continu de l'aide financière à l'organisme 9,72 11,67
    Critère 3 : L'efficience de l'aide financière du Ministère 9,33 11,67
    Sous-total pertinence (sur 35 points) 30,07 35,00

    Efficacité du financement public
      Score obtenu Maximum possible
    Critère 4 : L'atteinte des résultats visés 15,52 17,50
    Critère 5 : Les pratiques de gouvernance et de gestion de l'organisme 15,17 17,50
    Sous-total efficacité (sur 35 points) 30,69 35,00

    Retombées du financement public
      Score obtenu Maximum possible
    Critère 6 : Les effets sur la recherche et le développement 8,83 10,00
    Critère 7 : Les effets sur les entreprises et les organismes clients 8,00 10,00
    Sous-total retombées (sur 30 points) 26,83 30,00

    Total : 73,65 sur 100.

    2.B Données détaillées de certains indicateurs

    Les 140 membres du CRIM, selon les catégories de membres (au 31 mars 2017)

    PME (65)
    Établissements (R-D et enseignement) (20)
    Ministères, associations et villes (46)
    Grandes entreprises (9)

    Les deux plateformes de recherche

    Pôle d'analyse et de visualisation de l'information climatique et scientifique (PAVICS)

    PAVICS facilite le flux de travail des scientifiques du climat. Fonctionnant sur des superordinateurs en réseau, la plateforme soulage les scientifiques de la charge de travail associée à la récupération et à l'archivage de pétaoctets de données et fournit des outils de calcul parallèle permettant d'analyser, de modifier et de visualiser de gros volumes de données climatiques. Les projections climatiques jouent un rôle primordial dans l'évaluation des conséquences des changements climatiques ainsi que des vulnérabilités et des possibilités qui y sont associées. L'augmentation continue de la résolution spatiale et temporelle des modèles de climat, le nombre grandissant de simulations modélisées et la complexité accrue des méthodes d'analyse de données font que l'effort de calcul requis pour l'analyse de pointe des données climatiques s'accélère à un rythme effréné.

    La plateforme, dont le développement est piloté par Ouranos en collaboration avec le CRIM, permet de rationaliser la chaîne de travail du climatologue. Intégrée à des superordinateurs en réseau, elle fournit les outils nécessaires à l'analyse et à la visualisation d'une grande quantité de données climatiques à l'intention des usagers. L'accent est mis sur les besoins les plus pressants, dont la création de scénarios climatiques standards et personnalisés pour les études d'impact et d'adaptation, l'exploration, l'analyse et la validation des simulations de modèles de climat ainsi que la visualisation des scénarios climatiques. La plateforme permet aux climatologistes de concevoir et de visualiser des scénarios sur mesure du changement climatique afin d'en étudier les répercussions et les possibilités d'adaptation. Les chercheurs peuvent analyser et modifier des pétaoctets de données et visualiser des simulations de modèles climatiques. PAVICS a pour objectif de transformer l'accès aux données massives et aux traitements répétitifs en un exercice aussi simple que l'usage d'une souris pour cliquer, glisser et coller. La plateforme est réalisée en collaboration avec les développeurs de l'Earth System Grid Federation (ESGF) en vue de concrétiser leur vision du travail impliquant des données distribuées sur plusieurs serveurs à travers le monde. Des applications de visualisation Web seront également créées pour que les usagers puissent accéder à l'information climatique de façon interactive et dans un format adapté à leurs besoins.

    VESTA (VidÉo : Système de traitement d'annotation)

    VESTA est une plateforme Web collaborative d'annotation de contenu multimédia basée sur le concept de bande chronologique (timeline). Elle offre un ensemble intégré d'outils informatiques innovants pour l'analyse et l'annotation d'enregistrements audio et vidéo. Ces outils accélèrent considérablement l'analyse et l'annotation d'enregistrements. Les analyses et les annotations peuvent être rendues accessibles à d'autres chercheurs, ce qui augmente la coopération et ouvre la porte à des études multipartenaires à grand déploiement. L'utilisation de VESTA entraîne des gains considérables de productivité par une réduction appréciable du temps d'analyse associée à une augmentation de la cohérence. VESTA offre cinq services de traitement avancé des données :

    La plateforme VESTA a été développée par le CRIM pour le réseau LEADS (Learning Environments Across Disciplines), un partenariat de recherche international en sciences de l'éducation. La plateforme répond aux besoins du milieu de la recherche en sciences de l'éducation et peut s'appliquer à de nombreux autres domaines qui nécessitent l'analyse de bandes audio et vidéo.

    Les commentaires ouverts (en fin de sondage)

    Les commentaires généraux en lien avec Le Solutionneur

    Les suggestions d'amélioration de l'outil Le Solutionneur

    Notes et références

    Note 1 : Étant donné que le calcul de l'effet de levier n'inclut pas les contributions en nature des clients et des partenaires, la comparaison des résultats de l'organisme avec ceux qu'il a obtenus lors d'une précédente évaluation, ou avec tout autre organisme dont le résultat inclurait les contributions en nature n'est pas appropriée.

    Note 2 : Étant donné que le calcul du ratio de rendement n'inclut pas les retombées pour les entreprises, la comparaison des résultats de l'organisme avec ceux qu'il a obtenus lors d'une précédente évaluation, ou avec tout autre organisme dont le résultat inclurait les retombées pour les entreprises, n'est pas appropriée.