Ma première ligne numérique en santé (MPLNS) - Rapport d'évaluation

Pour la période du 1er avril 2012 au 31 mars 2016

Notes au lecteur

  1. À moins d'avis contraire, les résultats présentés dans le document concernent la période allant du 1er avril 2012 au 31 mars 2016.
  2. Le sigle MPLNS renvoie, selon le cas, au projet mobilisateur ou à l'organisme qui en coordonne la mise en œuvre.
  3. Dans ce document, le sigle PME est défini d'après la convention de subvention, c'est‑à‑dire qu'il désigne toute entreprise établie au Québec, qu'elle soit de l'industrie manufacturière ou qu'elle possède des capacités de R‑D, et qui compte, au Québec et à l'étranger, 249 employés ou moins; cette définition ne tient pas compte de son chiffre d'affaires ou de la valeur de ses actifs. De plus, dans ce rapport, une entreprise est considérée comme telle dans la mesure où elle est enregistrée au Registre des entreprises du Québec.
  4. Le terme solutions technologiques se réfère indifféremment aux innovations logicielles ou matérielles développées grâce à la subvention du ministère de l'Économie, de la Science et de l'Innovation (MESI) et aux produits existants de TELUS Santé et d'Audisoft qui intègrent ces innovations.
  5. Les données relatives aux indicateurs financiers sont agrégées, par exemple sous forme de moyenne ou de total. Consulter les annexes pour trouver les données annuelles correspondantes.
  6. Sauf avis contraire dans le texte, toutes les sommes indiquées sont en dollars canadiens. Les symboles suivants sont utilisés : k$ pour milliers de dollars et M$ pour millions de dollars.
  7. Selon l'indicateur considéré, le total des résultats peut comporter un écart de ± 1 % pour les pourcentages ou de ± 1 pour les autres valeurs. Cet écart s'explique par l'arrondissement des résultats présentés.

L'évaluation des résultats du projet mobilisateur Ma première ligne numérique en santé (MPLNS) est réalisée à la demande du Secteur des industries stratégiques, des projets économiques majeurs et des sociétés d'État (ISPEMSE) et en vertu de la convention de subvention signée avec le Ministère, pour la période du 1er avril 2012 au 31 mars 2016.

Elle vise à apprécier les résultats de l'aide financière de 9 M$ accordée du 1er avril 2012 au 31 mars 2016 dans le cadre de ce projet.

La présente évaluation a été réalisée conformément à la Politique ministérielle d'évaluation de programme et à la Charte de l'évaluation de programme, disponibles à l'adresse suivante : www.economie.gouv.qc.ca/evaluation.

Auteur du rapport

Ibrahima Thiongane
Évaluateur de programmes
Recherche et rédaction

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

Ce document est disponible sur demande auprès de cette direction.

Pour nous joindre

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

710, place D'Youville, 7e étage
Québec (Québec) G1R 4Y4
Téléphone : 418 691-5698, poste 5972

Pour plus d'information :

gar@economie.gouv.qc.ca

Version définitive – décembre 2016
© Gouvernement du Québec

Remerciements

Le présent document est le fruit de la collaboration de plusieurs personnes; sans elles, les travaux n'auraient pu être menés à leur terme. Nous tenons donc à remercier toutes les personnes associées de près ou de loin à la réalisation du présent rapport d'évaluation, notamment le personnel du Secteur des ISPEMSE et le personnel de MPLNS.

Un comité d'évaluation, constitué à l'occasion de la présente évaluation, avait pour objectif d'obtenir l'assurance que les constats du rapport d'évaluation seraient valides et fidèles à la réalité et que les appréciations qui en découleraient seraient objectives. Plus précisément, les membres du comité, présentés ci-après, devaient valider le cadre et le rapport d'évaluation et conseiller l'évaluateur sur l'orientation des travaux et la stratégie générale d'évaluation, tout en apportant un éclairage sur des questions importantes qui peuvent se poser en cours de réalisation du mandat.

Nous tenons à adresser nos plus sincères remerciements aux membres du comité, qui ont été sélectionnés en fonction de leurs connaissances et de leur expérience concernant MPLNS et l'évaluation de programmes.

Les membres du comité d'évaluation

François Maxime Langlois
Directeur
Direction de la coordination, de l'évaluation et de la planification

Christophe Marchal
Évaluateur principal et chef d'équipe d'évaluation
Direction de la coordination, de l'évaluation et de la planification

Sommaire

La présente évaluation visait à apprécier les résultats de l'aide financière de 9 M$ accordée par le Ministère pour le projet mobilisateur Ma première ligne numérique en santé (MPLNS) en fonction des objectifs précisés dans sa convention de subvention, du 1er avril 2012 au 31 mars 2016. Le financement ministériel s'inscrit dans le cadre de la Stratégie québécoise de la recherche et de l'innovation (SQRI) 2010‑2013 et a été accordé à la suite d'un appel à projets lancé à l'été 2011.

Les résultats de MPLNS sont jugés satisfaisants. L'évaluation confirme la pertinence du projet, son efficacité, son efficience et ses effets positifs pour la clientèle visée et pour l'économie du Québec. Les principaux résultats constatés sont les suivants :

Pertinence

Efficacité

Effets

Conclusions

L'évaluation constate les faits suivants :

Table des matières

Chapitre 1 - Le contexte de l'évaluation

1.1 L'origine du mandat d'évaluation

Du 1er avril 2012 au 31 mars 2016, le ministère de l'Économie, de la Science et de l'Innovation (MESI) a accordé un montant maximal de 9 M$ à l'organisme Ma première ligne numérique en santé (MPLNS) pour la réalisation du projet mobilisateur du même nom. Le financement ministériel s'inscrit dans le cadre de la Stratégie québécoise de la recherche et de l'innovation (SQRI) 2010‑2013 et a été accordé à la suite d'un concours de projets mobilisateurs lancé à l'été 2011.

L'évaluation du projet a été effectuée à la demande du Secteur des industries stratégiques, des projets économiques majeurs et des sociétés d'État (ISPEMSE). Le sous-ministre adjoint de ce secteur a confié la réalisation de l'évaluation des résultats de MPLNS à la Direction de la coordination, de l'évaluation et de la planification (DCEP). L'évaluation visait aussi à satisfaire aux exigences de reddition de comptes du Secrétariat du Conseil du trésor et à participer au processus de suivi des résultats des aides financières du Ministère.

1.2 Les objectifs de l'évaluation

Cette évaluation avait pour but de rendre compte des résultats obtenus par le projet mobilisateur MPLNS. L'examen des critères d'évaluation et des indicateurs élaborés dans le cadre de cet exercice a permis de répondre aux trois questions ci-dessous :

Le protocole d'évaluation utilisé pour répondre à ces trois questions est présenté au tableau 1.1.

Tableau 1.1 - Protocole d'évaluation des résultats de l'aide financière accordée dans le projet MPLNS

Pertinence (question 1)

Critères à évaluer :

  1. L'intérêt pour le projet
  2. La réponse à des besoins
  3. L'efficience du projet
Efficacité (question 2)

Critères à évaluer :

  1. La mise en œuvre du projet et la satisfaction à son égard
  2. L'utilisation des fonds alloués au projet
  3. La gestion et la gouvernance du projet
Effets (question 3)

Critères à évaluer :

  1. Les effets en matière de recherche et d'innovation
  2. Les effets sur le plan de la mobilisation
  3. Les retombées socioéconomiques du projet

1.3 Les clients et les parties prenantes

Les autorités et les gestionnaires responsables du projet au Ministère sont les principaux clients du mandat. Les autorités sont le sous-ministre en titre et le sous-ministre adjoint du Secteur des ISPEMSE. Les gestionnaires sont les personnes responsables du projet à la DTIC.

Les parties prenantes associées à cette évaluation sont MPLNS ainsi que la DTIC et la DCEP du Ministère.

Les résultats de cette évaluation seront aussi accessibles à l'ensemble du personnel du Ministère.

1.4 La portée et les limites du mandat

En vertu de la convention de subvention signée entre le Ministère et MPLNS, la présente évaluation porte sur les quatre années financières de réalisation du projet, c'est-à-dire sur la période allant du 1er avril 2012 au 31 mars 2016. Cela permet de couvrir les activités relatives au projet, dont la fin était prévue le 30 septembre 2015, ainsi que les activités de l'organisme, se terminant le 31 mars 2016. La période d'évaluation retenue permet aussi de tenir compte des avenants signés en cours de projet et visant à prolonger l'échéance initiale, qui arrivait après trois ans. Pour simplifier la lecture, les années financières ont été converties dans les années calendaires suivantes :

Il faut préciser que l'évaluation des résultats de MPLNS consiste à rendre compte aux autorités du Ministère des résultats obtenus et à juger ces résultats au regard des objectifs et des attentes liés au financement consenti.

Plusieurs limites techniques se sont posées dans la réalisation de ce mandat d'évaluation. Les principales stratégies prévues pour atténuer les effets de ces limites sont présentées au tableau 1.2.

Tableau 1.2 - Les limites de l'évaluation et les stratégies d'atténuation de leurs effets

Limites de l'évaluation Stratégies d'atténuation de leurs effets
Certaines cibles n'étaient pas accompagnées d'attentes précises de résultats dans les conventions de subvention.
  • Les actes administratifs (conventions) et la documentation relative au projet ont des orientations qui ont été traduites en cibles de tendance (croissance ou maintien) ou en cibles dichotomiques (présence ou absence).
  • Les données d'évaluation de mesures comparables à MPLNS ont été utilisées à titre de comparaison pour l'indicateur 5.

1.5 La méthode d'évaluation

La méthode d'évaluation utilise les principes de l'analyse multicritère. Cette méthode consiste à comparer les résultats du projet aux résultats attendus par le Ministère. L'appréciation des écarts conduit, pour chacun des critères, à l'une des appréciations qualitatives présentées en annexe. Par la suite, une grille de pointage est utilisée en vue d'attribuer un score de 0 à 100 à la performance du projet évalué, le score de 70 correspondant à un niveau de résultats jugé satisfaisant. La méthode de pointage est détaillée à l'annexe 3.

Dans ce rapport, le terme résultats attendus est synonyme du terme cibles. Le comité d'évaluation a validé les cibles définies dans le présent rapport.

Plusieurs sources de données ont été utilisées, de façon à rendre disponible une information qualitative et quantitative. Un avantage de cette approche est qu'elle permet de vérifier la fiabilité des données en croisant de multiples sources. Les sources de données utilisées dans cette évaluation sont les suivantes :

Tableau 1.3 - Principaux résultats des sondages
Populations Population initiale Entrevues effectuées Taux de réponse
Milieux d'expérimentation 21 14 67 %
Partenaires 12 9 75 %
PME 9 5 56 %
Total : 42 28 67 %

Les pourcentages sont présentés dans ce tableau à titre d'information, pour faciliter la lecture. Ils ne sont pas utilisés dans les constats, car ils portent sur des effectifs réduits (environ 20 ou moins).

Voici la composition des populations sondées :

Chapitre 2 - La description du projet

2.1 Les objectifs et les résultats attendus

MPLNS était un projet d'innovation sociale visant à démontrer que les soins de santé de première ligne pouvaient être optimisés grâce aux technologies de l'information et des communications (TIC).

Plus précisément, les objectifs du projet étaient les suivants : favoriser l'appropriation citoyenne de la santé et faciliter les collaborations entre les patients et les intervenants du milieu de la santé.

Dans ce contexte, les résultats suivants, qui constituent également les deux volets du projet, étaient attendus :

2.2 La gestion et la mise en œuvre du projet

L'organisme MPLNS

Son rôle consistait à coordonner la mise en œuvre du projet conformément aux obligations édictées par le Ministère dans la convention de subvention. L'organisme devait, notamment, répondre aux obligations ministérielles liées à la composition de son conseil d'administration et à la reddition de comptes.

Les partenaires industriels

À titre de partenaires industriels, TELUS Santé et Audisoft1 devaient travailler étroitement avec des PME, pour développer des solutions qui permettraient aux citoyens de participer activement au suivi de leur état de santé. De plus, ces solutions étaient destinées à soutenir les divers intervenants dans leur travail auprès des patients, notamment par le partage d'information et la collaboration.

Outre leurs responsabilités relatives à la réalisation du projet, TELUS Santé et Audisoft partageaient avec l'organisme certaines obligations, dont celles qui étaient liées aux conditions d'utilisation de l'aide financière du Ministère, à l'implication du secteur privé dans la mise en œuvre du projet et à la reddition de comptes au Ministère.

Autres partenaires du projet

Outre TELUS Santé et Audisoft, il était prévu que les solutions développées soient implantées dans différents milieux d'expérimentation. De plus, les deux partenaires industriels devaient s'appuyer sur le Centre facilitant la recherche et l'innovation dans les organisations (CEFRIO) pour susciter la participation des milieux d'expérimentation concernés et coordonner les activités. En collaboration avec les partenaires industriels, des équipes de recherche associées au CEFRIO et au Centre interuniversitaire de recherche en analyse des organisations (CIRANO) ont traité des facteurs d'acceptation sociale de la prise en charge citoyenne des soins de santé, ainsi que d'analyses coûts‑bénéfices et de retombées économiques. Enfin, les partenaires industriels collaboreront avec le Centre de recherche informatique de Montréal (CRIM)2 sur les aspects liés à l'interopérabilité des technologies et aux éventuels besoins de certification.

Par ailleurs, la convention de subvention prévoyait la participation de PME québécoises, du ministère de la Santé et des Services sociaux (MSSS), de la Régie de l'assurance maladie du Québec (RAMQ) et de la Fédération des médecins omnipraticiens du Québec (FMOQ).

2.3 les participants au projet

MPLNS visait quatre types de participants :

2.4 les activités et les dépenses admissibles

Lors de la réalisation du projet, plusieurs activités majeures devaient se dérouler, selon des étapes prédéfinies :

D'un montant maximal de 450 k$ pour l'ensemble du projet, soit 150 k$ pour chacune des trois années prévues, les dépenses admissibles de l'organisme sont constituées de :

En ce qui concerne les partenaires, les dépenses admissibles concernent celles qui sont effectuées pour des activités ayant eu lieu au Québec : ce sont entre autres les salaires de la main-d'œuvre résidant au Québec directement liés au projet, le coût des essais et de l'homologation, le coût de l'acquisition et de la location d'équipements, ainsi que le coût des services spécialisés et de la sous-traitance.

2.5 L'aide financière accordée

Pour la période du 1er avril 2012 au 31 mars 2016, le Ministère a accordé un montant maximal de 9 M$ pour le projet MPLNS. Ce montant équivaut à 50 % des dépenses admissibles à une aide financière du Ministère dans le cadre de la convention de subvention. Le graphique 2 présente les montants accordés pour les trois années initialement prévues dans la convention de subvention. Les montants sont calculés par l'application d'un ratio de 50 % aux dépenses prévues dans le cadre du projet.

Graphique 2.1 - Financement accordé par le Ministère pour le projet MPLNS (en K$)
2013 2014 2015
Subvention du MESI pour MPLNS 3 461 3 135 2 404

Source : Convention de subvention, MESI, avril 2016.

2.6 L'illustration de l'intervention gouvernementale

Les objectifs de l'intervention et les activités soutenues
Raison d'être
  • Besoin pour le Québec de soutenir la recherche et l'innovation réalisées en synergie, notamment dans le domaine des TI en santé.
Cibles de l'intervention
  • Innovation technologique et sociale.
  • Mobilisation d'entreprises, d'acteurs de la recherche et du milieu clinique.
  • Développement durable
Objectifs
  • Accélérer l'innovation et sa commercialisation, afin d'offrir un avantage compétitif aux entreprises du Québec.
  • Renforcer les collaborations entre grandes entreprises, PME et milieu de la recherche.
  • Contribuer au développement d'une économie verte.
Nature de l'intervention
  • Financement accordé par le Ministère à l'organisme MPLNS pour la réalisation du projet mobilisateur du même nom.
Intrants
  • Du 1er avril 2012 au 31 mars 2016, une subvention totale de 9 M$ pour le fonctionnement de l'organisme, ainsi que pour la réalisation des activités relatives au projet mobilisateur.
Activités Partenaires :
  • Investissements dans le projet.
  • Développement de solutions technologiques.
  • Collaboration avec des PME québécoises et des acteurs de la recherche.
  • Expérimentations des solutions élaborées.
  • Études de faisabilité et d'impact.
Organisme :
  • Liaison entre le Ministère et les partenaires.
  • Gestion de l'aide financière.
  • Consultation de partenaires gouvernementaux.
  • Coordination de la reddition de comptes auprès du Ministère.
Les résultats attendus
Extrants
  • Investissements effectués dans le projet.
  • Solutions technologiques développées.
  • Collaborations instaurées avec des PME et des acteurs de la recherche.
  • Expérimentations concluantes.
  • Études de faisabilité et d'impact réalisées.
  • Titres de propriété intellectuelle déposés ou obtenus.
  • Liaison assurée entre le Ministère et les partenaires.
  • Aide financière gérée.
  • Partenaires gouvernementaux consultés.
  • Reddition de comptes effectuée.
Effets
  • Augmentation des investissements en recherche sur les TI en santé.
  • Nouvelles connaissances, expertises et savoir-faire dans les TI en santé.
  • Augmentation des innovations dans les TI en santé.
  • Meilleure adoption des TI en santé par les patients et les professionnels.
  • Diminution des visites et des déplacements effectués par les patients et les professionnels.
Les autres retombées souhaitées
Retombées pour le Québec
  • Amélioration de l'accès aux soins de santé.
  • Amélioration de la compétitivité des entreprises québécoises.
  • Amélioration de la performance environnementale.
  • Création d'emplois et de richesse au Québec.

Chapitre 3 - La pertinence de l'aide accordée

3.1 L'intérêt pour le projet

Les cibles

  1. La participation d'au moins sept partenaires au projet.
  2. La participation d'au moins dix PME au projet.
  3. La présence de participants aux expérimentations, hors pharmacies.
  4. Un budget total d'au moins 18 M$.
  5. Constats relatifs aux cibles 1 et 2

    Les deux cibles sont atteintes.

    Huit partenaires ont collaboré au projet, dont trois partenaires gouvernementaux (le MSSS, la FMOQ et la RAMQ), trois partenaires de recherche (le CEFRIO, le CIRANO et le CRIM) et deux partenaires industriels (TELUS Santé et Audisoft). Toutefois, Audisoft et le CRIM se sont retirés du projet en 2014 (voir section 2.2).

    Selon la définition du Ministère (voir partie « Notes au lecteur »), dix PME admissibles ont participé au projet sur un total de douze sous‑traitants, dont Audisoft. Deux PME avaient entre 50 et 99 employés, deux entre six et dix employés, quatre entre un et cinq employés, et deux n'avaient aucun employé. Deux sous‑traitants n'ont pas été considérés comme des PME admissibles, car l'un était introuvable dans le Registre des entreprises du Québec, tandis que l'autre n'avait pas de capacité de R‑D et était une émanation d'Audisoft.

    Constats relatifs à la cible 3

    La cible est dépassée. Au total, 802 personnes ont participé aux expérimentations hors pharmacies, dont 748 parents et patients à l'expérimentation Espace santé personnel. Deux expérimentations sur cinq n'ont pas été menées à terme, en raison de changements dans le réseau de la santé (voir constats relatifs à la cible 13). Par ailleurs, 1 005 participants ont pris part aux expérimentations dans les pharmacies.

    Graphique 3.2 - Nombre de participants aux expérimentations hors pharmacies
    Total
    Personnel d'encadrement 7
    Professionnels de la santé 47
    Patients 249
    Parents 499
    Total 802

    Source : Requête d'information adressée à MPLNS, MESI, août 2016.

    Constats relatifs à la cible 4

    La cible est atteinte. Le budget total de MPLNS est de 18 143 k$, dont la moitié a été assumée par le Ministère. Parmi les partenaires industriels, TELUS Santé a effectué 88 % des dépenses admissibles, soit 7 685 k$.

    Graphique 3.3 - Budget total du projet MPLNS
    MESI 9 000 k$
    TELUS Santé 7 685 k$
    Audisoft 1 090 k$
    Autres 368 k$
    Total 18 143 k$

    Source : Requête d'information adressée à MPLNS, MESI, août 2016.

    Cibles 1 à 4 - Commentaires de l'évaluateur sur les résultats du critère 1

    Les résultats sont jugés satisfaisants, car une cible est dépassée et trois sont atteintes.

    3.2 La réponse à des besoins

    Les cibles

  6. Une analyse de MPLNS par rapport à d'autres modèles d'intervention du gouvernement.
  7. Une analyse de la démarche de sélection des partenaires du projet.
  8. Au moins 70 % des réponses confirmant que MPLNS constitue une valeur ajoutée.
  9. Constats relatifs à la cible 5

    La cible est atteinte. Le projet répond à l'appel à projets lancé par le Ministère en 2011 dans le cadre de la SQRI 2010‑2013.

    Voici les résultats d'un étalonnage de projets mobilisateurs ailleurs dans le monde (les liens en bas de page ont été consultés en août 2016). Ces projets ont tous été présentés dans la SQRI 2010‑2013 comme des cas exemplaires. Généralement, MPLNS diffère de ces expériences par le fait qu'il dérive d'un appel à projets du Ministère, qu'il a reçu des montants plus modestes et que l'innovation sociale était l'une des retombées attendues.

    Créé en 2007 et géré par le Department of Energy (États-Unis), le SunShot Initiative's Incubator Program3veut accélérer l'innovation afin de réduire les coûts de production des panneaux solaires photovoltaïques. Il a financé plus de 250 entreprises en phase de prédémarrage et de démarrage. De plus, celles-ci ont accès à plusieurs centres de recherche nationaux. Depuis 2007, le programme a accordé 104 M$ US d'aide, qui ont entraîné 1,8 G$ US de financement privé, soit un effet de levier de 18. Grâce à ces apports financiers, les panneaux solaires photovoltaïques ne coûtaient plus, en 2012, que 1 % du prix en vigueur 35 ans plus tôt. Une égalisation du coût de l'électricité conventionnelle était quant à elle prévue vers 20154.

    Active depuis 20115, la Exascale Initiative (États‑Unis) vise à renforcer la compétitivité du pays par le développement de superordinateurs pour 2023. Le budget 2017 de l'initiative prévoit 358 M$ pour le volet « R‑D » et 154 M$ pour le volet « Exécution et livraison »6. La phase conceptuelle de l'initiative, qui durera jusqu'en 2020, associe le milieu industriel à la détermination des composants technologiques. Une dizaine d'agences gouvernementales financent l'initiative. Parmi celles-ci, trois la gèrent (le Department of Energy, le Department of Defense et la National Science Foundation), deux se chargent de la R‑D et cinq autres (dont la NASA et le FBI) des expérimentations. Des entreprises privées (ex. : AMD, IBM, Intel et NVIDIA) ainsi que, potentiellement, des États étrangers sont partenaires du projet.

    Lancé pour la période 2006‑2017, le programme américain The Cancer Genome Atlas vise à comprendre les causes de centaines de types de cancer, à les prévenir et à les guérir en procédant à un séquençage complet de l'ADN. Doté d'un financement public de 375 M$ US7, le programme est basé sur le partenariat de deux agences gouvernementales, le National Cancer Institute et le National Human Genome Research Institute. Grâce au séquençage de l'ADN de plus de 11 000 patients, le programme a permis de comprendre les mutations génétiques liées à 33 types de cancer8. Il a aussi permis la mise en place d'une base de données accessible au public grâce à la collaboration d'une vingtaine de centres de recherche et de groupes de chercheurs aux États-Unis et au Canada.

    Dans le cadre du Programme d'investissements d'avenir (PIA), l'État français a chargé la Caisse des dépôts et consignations de gérer le volet « Ville de demain »9. La mise en œuvre de ce volet, doté d'un budget de 668 M€, s'étend sur la période 2010‑2017. Il vise à financer des projets urbains intégrés et exemplaires sur le plan de l'excellence environnementale et de l'innovation. Le soutien financier prend la forme de subventions, de fonds d'amorçage et de prises de participation. Les projets sont portés par des acteurs publics ou privés dans des métropoles ou de grandes agglomérations. À la suite d'appels à projets, une trentaine de territoires labellisés ÉcoCité bénéficiaient du soutien financier du programme en 201510.

    Lancé en 2010, « Véhicule du futur », un autre volet du PIA, soutient les projets de réduction de la consommation et des émissions des véhicules11. Le budget du volet est de 1 G€, c'est-à-dire 750 M€ pour la construction automobile, 150 M€ pour la construction ferroviaire et 100 M€ pour la construction navale. Un tiers du budget global consiste en des subventions, et deux tiers en des avances remboursables, des prêts ou des prises de participation. La gestion du volet a été confiée au Commissariat général à l'investissement. Les initiatives financées (projets pilotes, projets de R‑D et de transfert) sont dirigées par le milieu industriel associé à des PME et à des centres de recherche publics. Les projets mis en œuvre incluent le développement d'infrastructures de recharge rapide pour les voitures électriques et l'allègement des véhicules. Il est prévu que le financement gouvernemental suscite 1,5 G$ d'apports privés.

    Constats relatifs à la cible 6

    La cible est partiellement atteinte, en raison d'une évaluation insuffisante de la viabilité financière des partenaires industriels par MPLNS. Voici les commentaires de l'organisme en ce qui concerne la prise en compte, par le consortium qui a proposé le projet, de critères jugés importants par le Ministère :

    Le mode de recrutement des partenaires

    Le CEFRIO a sondé l'intérêt de différents acteurs à participer à MPLNS. Les partenaires ont ensuite communiqué avec différentes parties prenantes du projet. Plusieurs rencontres tenues avec des acteurs du gouvernement ainsi que des domaines des sciences sociales, des sciences de la santé et de l'industrie des TIC visaient à prendre connaissance de l'expertise et de l'intérêt des participants à l'égard d'un tel projet. De plus, ces rencontres permettaient d'explorer de grands axes de travail en vue de répondre à l'appel à projets.

    L'expertise et la spécialisation des partenaires dans le domaine des technologies de la santé

    Le consortium a ciblé des partenaires investisseurs, des centres de recherche et d'expertise et des PME avec lesquels il y aurait un arrimage technologique ou une vision commune du projet. Par exemple, afin de réduire la durée et les coûts du projet, il fallait utiliser majoritairement des technologies existantes.

    La viabilité financière des partenaires industriels

    En tant que plus important fournisseur de services de TI en santé au Canada, TELUS génère des produits d'exploitation annuels de 12,6 G$ et compte plus de 12,4 millions de connexions de clients. La technologie d'Audisoft présentait aussi un potentiel innovant pour le réseau de la santé et des services sociaux. Une analyse diligente des risques a été effectuée pour s'assurer de la viabilité financière des entreprises, mais il était impossible de prévoir la faillite d'Audisoft en raison de son rachat, en cours de projet, par une société française. Pour sa part, le CRIM a collaboré à la démarche de référencement et de vérification d'Audisoft, en plus de communiquer à ce sujet avec le Ministère.

    La présence du siège social de l'entreprise ou d'une de ses filiales au Québec

    TELUS Santé et Audisoft ont leurs sièges sociaux respectivement à Montréal et à Longueuil.

    Par ailleurs, selon l'organisme, une entente de collaboration visant à convenir du rôle de chacun des participants au projet a été signée en 2012 entre les centres de recherche et d'expertise et les partenaires industriels. Un comité de direction, un conseil d'administration ainsi que des sous-comités de pilotage ont été mis en place, notamment afin d'assurer la réalisation des activités du projet.

    Constats relatifs à la cible 7

    La cible est atteinte. Selon 77 % des répondants, MPLNS constitue une valeur ajoutée pour le milieu de la santé au Québec. Les intervenants cliniques soulignent surtout l'accessibilité aux informations médicales ainsi que le gain d'efficacité et d'efficience dans la prestation de soins. Les partenaires abondent dans le même sens, tout en ajoutant que le projet permet de lutter contre la surcharge de travail dans la première ligne de soins. Toutefois, un tiers des partenaires estiment que le projet a manqué de ressources financières et que plusieurs technologies ne seront pas utilisées. Le gain de temps pour faire les renouvellements est le bénéfice le plus important pour les patients (93,5 %), alors que l'augmentation des communications avec le pharmacien est considérée comme le bénéfice le moins important (26,7 %).

    Tableau 3.4 - Valeur ajoutée du projet MPLNS selon les répondants aux sondages

    Source : Analyse documentaire et sondages auprès de partenaires des PME et des milieux d'expérimentations, MESI, juin-juillet 2016.

    * Ces éléments ont été considérés comme équivalents à la valeur ajoutée.

    Cibles 5 à 7 - Commentaires de l'évaluateur sur les résultats du critère 2

    Les résultats sont jugés satisfaisants, car deux cibles sont atteintes et l'autre est partiellement atteinte.

    3.3 L'efficience du projet

    Les cibles

  10. Un effet de levier du financement du Ministère au moins égal à 1.
  11. Un ratio de rendement de la dépense publique au moins égal à 1.
  12. Constats relatifs à la cible 8

    La cible est atteinte. L'effet de levier de 1,1 du financement du Ministère signifie que pour chaque dollar versé par le Ministère, 1,1 $ a été obtenu d'autres sources. Ainsi, la subvention de 9 000 k$ du Ministère a été complétée par des investissements supplémentaires de 9 661 k$, dont voici la composition :

    Constats relatifs à la cible 9

    La cible est atteinte. La dépense publique de 13,1 M$ allouée pour le projet a généré des retombées économiques 1,26 fois supérieures, c'est-à-dire de 16,6 M$. Outre les appariements en nature et en espèces des différents partenaires dans le projet, le calcul du ratio de rendement de la dépense publique tient compte des revenus attribuables au projet qu'ont obtenus les partenaires industriels et les PME. La méthodologie de calcul appliquée est présentée à l'annexe 2.

    Constats relatifs à l'indicateur 10

    Étant donné qu'il n'y avait aucune cible relative à cet indicateur, les données sont fournies à titre d'information.

    Du point de vue du Ministère, le coût de revient de chacune des solutions technologiques développées dans le cadre de MPLNS est de 2,1 M$. Ce coût est le résultat du rapport entre la subvention ministérielle et le nombre de solutions technologiques développées (voir constats relatifs à la cible 21). Pour tenir compte des versements effectués à des années différentes, la subvention du Ministère a été actualisée au taux de 6 % et convertie en dollars enchaînés de 2013. Elle s'élève ainsi à 8,5 M$ au total.

    Cibles 8 et 9 - Commentaires de l'évaluateur sur les résultats du critère 3

    Les résultats sont jugés satisfaisants, avec deux cibles atteintes : un effet de levier du financement du Ministère de 1,1 et un ratio de rendement de la dépense publique de 1,26.

    Chapitre 4 - L'efficacité du projet

    4.1 La mise en oeuvre du projet et la satisfaction à son égard

    Les cibles

  13. Une démarche claire de planification des activités majeures.
  14. La réalisation des livrables pour soutenir la mise en oeuvre du projet.
  15. Un niveau d'avancement de 100 % pour toutes les activités majeures.
  16. Un taux de satisfaction d'au moins 75 % des répondants.
  17. Constats relatifs à la cible 11

    La cible est dépassée. Tous les éléments de gestion de projet considérés ont été pris en compte par l'organisme lors de la planification. La présence de ces éléments a pu être confirmée après l'analyse de plusieurs documents, dont certains sont présentés dans le tableau 4.1.

    Tableau 4.1 - Résultats de l'analyse de la démarche de planification des activités majeures du projet
    Éléments de gestion de projet vérifiés Résultats Exemples de sources
    Titre de l'activité majeure Présent Description du projet mobilisateur et annexe A de la convention de subvention
    Description de l'activité présentant les principales étapes de réalisation Présent Plan de projet CSSS du Sud‑Ouest–Verdun
    Positionnement de l'activité par rapport au projet Présent Matrice d'attribution des responsabilités
    Désignation des partenaires concernés dans la réalisation de l'activité Présent Description du projet mobilisateur et matrice d'attribution des responsabilités
    Ressources prévues pour réaliser l'activité Présent Description du projet mobilisateur
    Échéancier de réalisation de l'activité Présent Plan de projet Angus
    Résultats attendus Présent Description du projet mobilisateur

    Constats relatifs à la cible 12

    La cible est dépassée. Tous les types de livrables de mise en œuvre du projet attendus ont été réalisés. Au total, 91 livrables ont été fournis. Parmi ceux-ci, 38 (soit 42 %) sont des documents de gestion générale du projet, constitués notamment de matériel de promotion, de référence, de soutien et de formation pour les différentes expérimentations. Présentes dans 36 cas, soit 40 % du total, les stratégies de sensibilisation ou de généralisation sont également un des principaux types de livrables de mise en œuvre réalisés. Elles consistent en des plans de transition, des documents de présentation ou des lettres de bilan de projet.

    Graphique 4.1 - Livrables de mise en oeuvre du projet réalisés
    Plans génériques 4
    Plans spécifiques aux terrains d'expérimentation 6
    Guides et outils relatifs à l'évaluation des impacts 7
    Stratégies de sensibilisation ou de généralisation 36
    Documents de gestion générale de projet 38

    Source : Requête d'information adressée à MPLNS, MESI, août 2016.

    Constats relatifs à la cible 13

    La cible est partiellement atteinte. Au 31 mars 2016, cinq activités majeures sur six étaient achevées, et l'autre était terminée à 75 %. L'organisme évoque plusieurs freins qui se sont présentés lors de la réalisation du projet, dont ceux-ci :

    Graphique 4.2 - Niveau d'avancement des activités majeures du projet (en pourcentage)
    2016
    Étape 1A ‑ Design des activités de R-D 100%
    Étape 1B ‑ Design des expérimentations terrain 100%
    Étape 2 ‑ Développement et intégration des solutions technologiques 100%
    Étape 3 ‑ Implantation des solutions technologiques 100%
    Étape 4 ‑ Évaluation, rétroaction, documentation et transfert 100%
    Étape 5 ‑ Stratégie de généralisation et de commercialisation 75 %

    Source : Requête d'information adressée à MPLNS, MESI, août 2016.

    Constats relatifs à la cible 14

    La cible est atteinte. Parmi les répondants, 84 % se sont déclarés satisfaits du projet.

    Chez les intervenants cliniques (14), le niveau de satisfaction allait de 7 sur 14 (le recrutement des patients pour les expérimentations) à 14 sur 14 (l'accompagnement offert dans le cadre des expérimentations) à l'égard de 6 aspects du projet.

    Chez les partenaires (9), le taux de satisfaction à l'égard des 9 éléments mesurés variait entre 5 sur 9 (les résultats et les livrables du projet par rapport aux attentes) et 9 sur 9 (la qualité des échanges avec le personnel de l'organisme).

    Chez les PME (5), le niveau de satisfaction à l'égard de chacun des 4 éléments mesurés (ex. : les conditions relatives à la propriété intellectuelle) était de 4 sur 5. Aucune PME ne s'est déclarée insatisfaite.

    Graphique 4.3 - Satisfaction à l'égard de MPLNS selon les répondants aux sondages
    Milieux 86%
    Partenaires 78%
    PME 100%
    Patients* 64%
    Pharmaciens 91%
    Moyenne 84%

    Source : Analyse documentaire et sondages auprès des partenaires, des PME et des milieux d'expérimentation, MESI, juin-septembre 2016.

    *L'utilité perçue d'Espace Pharma a été considérée comme représentative du niveau de satisfaction.

    L'élément pour lequel les intervenants cliniques étaient le plus insatisfaits est la maniabilité des outils et des technologies développés (5 sur 14), notamment parce que le volet informatique du projet n'était pas prêt pour les expérimentations, que les outils ne fonctionnaient pas ou étaient rigides et qu'il aurait fallu plus de flexibilité pour les adapter à la réalité des milieux. Le plus haut niveau d'insatisfaction des partenaires (3 sur 9) était à l'égard des résultats et des livrables du projet, en raison de l'asymétrie entre les ressources et le temps investis dans le projet, et à cause du peu de résultats obtenus ainsi que de la difficulté pour les partenaires industriels à maintenir leur engagement à l'égard de MPLNS.

    Cibles 11 à 14 - Commentaires de l'évaluateur sur les résultats du critère 4

    Les résultats sont jugés satisfaisants, avec trois cibles dépassées ou atteintes et une cible partiellement atteinte. Toutefois, une activité majeure n'est pas achevée et, selon un tiers des intervenants cliniques et des partenaires, les résultats du projet sont plutôt mitigés, particulièrement en raison de technologies non fonctionnelles et de la faillite d'Audisoft.

    4.2 L'utilisation des fonds alloués au projet

    Les cibles

  18. Une valeur des contrats accordés au milieu de la recherche représentant au moins 5 % du budget total admissible du projet.
  19. Une valeur des contrats accordés à des PME québécoises non partenaires du projet représentant au moins 5 % du budget total admissible du projet.
  20. Une valeur des équipements et des matières premières acquis équivalent au plus 25% du budget total admissible du projet.
  21. Constats relatifs à la cible 15

    La cible est atteinte, car 9 % du budget admissible du projet consiste en des contrats accordés au milieu de la recherche. Une proportion de 71 % de la valeur des contrats a été dépensée en 2015 et en 2016, du fait de besoins plus importants en recherche. Au total, le CEFRIO a obtenu 60 % de la valeur des contrats (soit 956 k$), le CIRANO 10 %, le CRIM 9 % et d'autres acteurs de la recherche 21 %.

    Constats relatifs à la cible 16

    La cible est atteinte, car la valeur des contrats de sous‑traitance accordés par les partenaires industriels à des PME admissibles représente 7 % du budget du projet, soit 1,2 M$. Ce montant exclut les contrats accordés à des sous‑traitants non admissibles. C'est dans les deux dernières années du projet, soit en 2015 et en 2016, que se concentrent 78 % de ces dépenses. Audisoft et le sous‑traitant qui lui est lié (voir cible 2) ont obtenu 44 % des dépenses totales de 1,2 M$ déclarées dans le rapport final du projet.

    Constats relatifs à la cible 17

    La cible est dépassée. Au total, 47 k$, soit 0,3 % du budget admissible du projet, a été dépensé pour l'acquisition d'équipements et de matières premières hors Québec. Effectués essentiellement par TELUS Santé, ces achats concernaient majoritairement des tablettes numériques nécessaires pour des expérimentations dans les cliniques.

    Cibles 15 à 17 - Commentaires de l'évaluateur sur les résultats du critère 5

    Les résultats sont jugés satisfaisants, car deux cibles sont atteintes et une est dépassée. En considérant l'ensemble des sous‑traitants, la valeur des contrats qui leur ont été accordés représente 9 % du budget admissible. Toutefois, deux sous‑traitants qui ont obtenu 285 k$ ont été jugés non admissibles selon la définition ministérielle d'une PME.

    4.3 La gestion et la gouvernance du projet

    Les cibles

  22. Le suivi des résultats du projet auprès du Ministère.
  23. Un conseil d'administration formé selon les attentes du Ministère.
  24. Au plus 150 k$ de frais annuels de gestion du projet par l'organisme.
  25. Constats relatifs à la cible 18

    La cible est atteinte. Étant donné qu'il s'agissait d'évaluer le suivi des résultats du projet auprès du Ministère, ce sont les rapports d'étape qui ont été analysés. Voici les principaux constats :

    Critères relatifs au contenu :

    Tableau 4.1 - Prise en compte ou non de certains critères de gestion de projet dans seize rapports d'étape adressés au Ministère par MPLNS et les partenaires industriels
      Oui Non +/-
    Correspondance entre les activités réalisées et celles qui ont été approuvées par les partenaires 16/16 0/16  
    Stade d'avancement des activités par rapport à la planification initiale 14/16 2/16  
    But et description des activités réalisées 10/16 5/16 1/16
    Positionnement des activités réalisées dans la planification globale du projet 6/16 10/16  

    Source : Analyse documentaire, MESI, août 2016.

    Il faut noter que les gabarits de rapport d'étape fournis par le Ministère dans la convention de subvention ont été utilisés par l'organisme et les partenaires industriels lors des suivis de résultats de MPLNS. Toutefois, ces gabarits donnent plus d'indications claires et systématiques sur la justification de l'utilisation des fonds que sur le déroulement des activités. De même, peu de cibles chiffrées figurent dans la convention de subvention, rendant plus difficiles le suivi des résultats ainsi que leur évaluation. En revanche, les rapports annuels de l'organisme ainsi que le rapport final du projet donnent plus de détails sur les activités réalisées.

    Critères relatifs à la collaboration avec le Ministère :

    Sur cet aspect, l'organisme a déclaré avoir reçu 51 demandes d'information du Ministère relativement au projet. Des réponses à l'ensemble de ces demandes ont été fournies, dans un délai moyen de 4,2 jours. Pour sa part, la direction responsable du projet au Ministère a estimé avoir obtenu toutes les informations demandées dans un délai raisonnable. En ce qui concerne le respect des délais de livraison des documents de suivi des résultats et de reddition de comptes exigés par le Ministère, les informations fournies par l'organisme dénotent la conformité.

    Constats relatifs à la cible 19

    La cible est dépassée. Toutes les exigences du Ministère relatives à la composition du conseil d'administration de l'organisme ont été respectées. En moyenne, douze personnes ont siégé au C. A., avec une représentation des partenaires et de la clientèle (soit la FMOQ) et de PME de l'industrie québécoise. De plus, selon l'organisme, les décisions du C. A. respectaient le quorum exigé par le Ministère. Ainsi, les partenaires industriels, soit TELUS Santé et Audisoft, détenaient un vote majoritaire, ceci impliquant que le poids de chacun de leurs votes était de deux plutôt que de un.

    Graphique 4.7 - Douze représentants siégeant au C.A. de l'organisme en moyenne chaque année

    Source : Requête d'information adressée à MPLNS, MESI, août 2016.

    Constats relatifs à la cible 20

    La cible est dépassée. Chaque année, l'organisme a dépensé en moyenne 112,5 k$ pour gérer le projet, pour un total de 450 k$. Cela signifie que malgré la prolongation du projet, l'organisme a pu fonctionner une année de plus sans demander de montants supplémentaires au Ministère. Sur 112,5 k$ de frais annuels moyens de gestion, 72 % (soit 82 k$) ont servi à payer des salaires et des honoraires professionnels de conseillers externes.

    Graphique 4.8 - Frais annuels moyens de gestion de MPLNS par l'organisme
    Moyenne %
    Salaires 41 863 $ 37%
    Honoraires professionnels de conseillers externes 39 859 $ 35%
    Déplacements, communications et vérification 19 750 $ 18%
    Création de l'organisme et démarrage du projet 11 029 $ 10%
    Total 112 500 $ 100%

    Source : Requête d'information adressée à MPLNS, MESI, août 2016.

    Cibles 18 à 20 - Commentaires de l'évaluateur sur les résultats du critère 6

    Les résultats sont jugés satisfaisants, car deux cibles sont dépassées et l'autre est atteinte. Le suivi des résultats du projet a été convenablement effectué par l'organisme. Le C. A. de l'organisme était diversifié et, malgré la prolongation de la durée de MPLNS, les frais de gestion du projet n'ont pas excédé le maximum autorisé. De plus, la majorité des critères évalués ont été respectés dans le suivi des résultats du projet effectué par l'organisme auprès du Ministère. Toutefois, peu d'indications sont fournies quant au positionnement des activités réalisées dans la planification globale du projet. Ainsi, les travaux, quand ils sont décrits, ne sont souvent pas nommément rattachés à une activité majeure, ce qui rend plus difficile le suivi des résultats. De plus, les gabarits développés par le Ministère ne donnent pas d'indications claires sur la description des activités réalisées. De même, la convention de subvention fournit peu de cibles chiffrées qui puissent faciliter le suivi et l'appréciation des résultats du projet.

    Chapitre 5 - Les effets de l'aide accordée

    5.1 Les effets en matière de recherche et d'innovation

    Les cibles

  26. La réalisation de livrables découlant du projet.
  27. Au moins 50 % de solutions technologiques prêtes à être commercialisées.
  28. La description de solutions technologiques développées.
  29. L'obtention et l'attribution de titres relatifs à la propriété intellectuelle.
  30. Constats relatifs à la cible 21

    La cible est atteinte. Au total, seize livrables découlent du projet, dont quatre solutions technologiques (voir annexe 1).

    Constats relatifs à la cible 22

    La cible est atteinte. Deux des quatre solutions technologiques développées, soit 50 %, sont prêtes à être commercialisées. Par solutions technologiques prêtes à être commercialisées, l'on entend celles qui peuvent être classées au huitième ou au neuvième niveau de maturité technologique.

    Graphique 5.1 - Seize livrables découlant du projet

    Source : Requête d'information adressée à MPLNS, MESI, août 2016.

    Constats relatifs à la cible 23

    La cible est atteinte. L'organisme a pu présenter trois solutions technologiques. Pour rappel, ces solutions devaient avoir été réalisées en collaboration, avoir fait l'objet d'une expérimentation concluante et avoir été implantées, avoir été commercialisées ou avoir fait l'objet d'une entente de commercialisation. Voici les exemples fournis :

    1. L'Espace santé personnel (ESP) connecté au dossier médical électronique (DME) KinLogix personnalisé pour une clientèle pédiatrique et chronique. Cette solution permet l'amélioration du partage de l'information, de la qualité des échanges et de la collaboration, par une meilleure communication entre le citoyen et l'équipe de sa clinique de première ligne. Cette nouvelle plateforme a permis d'étendre l'accès aux services d'authentification et de combler les lacunes touchant l'expérience utilisateur des comptes Microsoft et Live ID. De plus, combinée aux services Web étendus du nouvel outil d'inscription, cette technologie offre un meilleur contrôle des paramètres d'inscription transmis par le DME.
    2. Intégration bidirectionnelle entre le DME et l'ESP. Plusieurs changements ont dû être apportés au DME KinLogix afin de faciliter l'intégration des données et des flux de travail pour accommoder l'implication du patient dans le suivi de sa maladie chronique et dans les visites de suivi pédiatrique. Les changements de configuration des plateformes technologiques en expérimentation ont permis le transfert des données cliniques de KinLogix (DME) sélectionnées par le médecin (ex. : médicaments, allergies, tension artérielle, pouls, poids, résultats de tests de laboratoire) vers le portail patient, ainsi que le transfert de certaines informations cliniques inscrites par le patient dans son ESP (ex. : questionnaires ABCDaire) vers le DME de la clinique.
    3. Une plateforme Web – Espace pharma. Les solutions de pharmacie ont connu plusieurs ajouts de fonctionnalités, avec un accent sur les services de collaboration entre médecins et pharmaciens. TELUS Santé a déployé un service électronique de demande de renouvellement et de messagerie sécurisée du pharmacien vers le médecin traitant du patient. Bien que déployée de façon limitée aujourd'hui, cette fonctionnalité permettra une amélioration significative de la communication entre le médecin et le pharmacien relativement au suivi de la médication du patient.

    Constats relatifs à la cible 24

    La cible est atteinte. Au total, 65 licences ont été attribuées. Elles étaient requises pour la mise en œuvre de solutions technologiques sur les terrains d'expérimentation ainsi que pour l'utilisation de produits des partenaires industriels. Parmi les 40 licences liées à la technologie d'Audisoft, 25 ont été attribuées aux utilisateurs. Parmi les 25 licences de TELUS Santé attribuées, 20 ont été accordées pour le volet relatif aux patients.

    Cibles 21 à 24 - Commentaires de l'évaluateur sur les résultats du critère 7

    Les résultats sont jugés satisfaisants, car les quatre cibles sont atteintes. Seize livrables découlent du projet, et la moitié des solutions technologiques développées sont prêtes pour la commercialisation. De plus, l'organisme a pu présenter trois exemples de solutions technologiques développées.

    5.2 Les effets sur le plan de la mobilisation

    Les cibles

  31. La participation d'étudiants, de chercheurs et d'autres employés au projet.
  32. La réalisation d'activités de partage et de transfert.
  33. Des activités et des livrables à la réalisation desquels plusieurs ont collaboré.
  34. Constats relatifs à la cible 25

    La cible est dépassée. Toutes les catégories de personnel attendues ont participé au projet. Pour les trois premières années du projet, en moyenne 124 étudiants, chercheurs et professionnels ont participé aux activités. Pour l'année 2016, 36 étudiants, chercheurs et professionnels ont été impliqués dans le projet (dont 22 dans les PME), ce nombre reflétant le stade de finalisation de MPLNS.

    Graphique 5.3 - 124 étudiants, chercheurs et professionnels ayant participé au projet (moyenne de 3 ans)

    Source : Requête d'information adressée à MPLNS, MESI, août 2016.

    Constats relatifs à la cible 26

    La cible est dépassée. Tous les types d'activités de partage et de transfert attendus ont été réalisés. Au total, 136 de ces activités ont été mises en œuvre, dont 110 séances de transfert (ex. : ateliers, réunions et rencontres à distance), 22 outils de partage, de collaboration ou de communication (séances de tournage) et quatre publications (ex. : guides et bulletins). Par ailleurs, des dépliants, des affiches et un site Internet ont été élaborés.

    Constats relatifs à la cible 27

    La cible est dépassée. Au total, 80 % des activités et des livrables de MPLNS ont été élaborés conjointement entre partenaires, collaborateurs et acteurs des terrains d'expérimentation. Ainsi, les décideurs et les porteurs de projet ont été impliqués dans la réalisation et le suivi des activités, tandis que les gestionnaires, les cliniciens de première ligne ainsi que les usagers ont contribué à une meilleure compréhension des environnements pilotes. Les activités et les livrables réalisés en collaboration font partie, notamment, de ceux qui ont été comptabilisés aux cibles 12, 21 et 26.

    Graphique 5.5 - Proportion d'activités et de livrables réalisés en collaboration

    Source : Requête d'information adressée à MPLNS, MESI, août 2016.

    Cibles 25 à 27 - Commentaires de l'évaluateur sur les résultats du critère 8

    Les résultats sont jugés très satisfaisants, car les trois cibles sont dépassées. La mobilisation attendue grâce au projet a été atteinte, notamment avec l'implication des types de personnel visés, la réalisation de 136 activités de partage et de transfert ainsi que la collaboration des participants au projet dans la réalisation d'activités et de livrables.

    5.3 Les retombées socioéconomiques du projet

    Les cibles

  35. L'utilisation florissante des solutions technologiques développées.
  36. Le dénombrement des clients pour les solutions développés.
  37. La création et le maintien d'emplois liés au projet.

Constats relatifs à la cible 28

La cible est partiellement atteinte. Entre 2014 et 2016, les utilisateurs d'Espace pharma ont augmenté de 28 %. Toutefois, l'Espace santé personnel et l'appareil de télésoins n'ont enregistré que de faibles augmentations de leurs utilisateurs. L'organisme explique cela par la présence de contraintes logistiques et d'arrimage avec l'architecture technologique existante, ainsi que par le choix de nouvelles solutions technologiques dans le réseau de la santé. Aucune utilisation de la plateforme de télésoins à domicile n'a été constatée.

Graphique 5.6 - Utilisation des solutions technologiques développées
2014 2015 2016
Espace Pharma 350 000 utilisateurs - 447 858 utilisateurs
Espace santé personnel 0 utilisateur - 441 utilisateurs
Frontline Communicator 0 utilisateur 3 utilisateurs -

Source : Requête d'information adressée à MPLNS, MESI, août 2016.

Constats relatifs à la cible 29

La cible est atteinte. Les solutions technologiques développées dans le cadre du projet ont été vendues à 33 clients, dont 5 au Québec. Une proportion de 80 % des clients effectifs a acheté Espace pharma, 10 % la solution de télésoins (Frontline Communicator) et 10 % Espace santé personnel. Les solutions issues de MPLNS intéressaient également 20 clients potentiels. Selon l'organisme, la valeur totale des contrats et des ententes de commercialisation au Québec était de 21 M$. La part de cette valeur attribuable au projet était estimée à 23 %, soit à 4,8 M$ (voir annexe 2).

Par ailleurs, selon l'organisme, le projet a produit des externalités positives, dont un chiffre d'affaires hors Québec de plus de 27 M$ généré de 2013 à 2015 grâce à la vente des trois solutions, surtout au ministère de la Santé de la Colombie-Britannique, au gouvernement de la Saskatchewan, au groupe Loblaw-Pharmaprix, à Metro en Ontario ainsi qu'à près de 100 pharmacies communautaires indépendantes au Canada. L'évaluation estime qu'une part de 3 % du chiffre d'affaires hors Québec est attribuable au projet (voir annexe 2).

Constats relatifs à la cible 30

La cible est atteinte. En moyenne, 13 emplois ont été créés et 17 ont été maintenus chaque année en lien avec le projet. Les 13 emplois créés au sein des centres de recherche et de TELUS Santé ont été entièrement générés par MPLNS. Selon l'organisme, les emplois créés ne seront probablement pas maintenus à la fin du projet, étant donné que le besoin de main-d'œuvre ne se fera plus sentir.

Cibles 28 à 30 - Commentaires de l'évaluateur sur les résultats du critère 9

Les résultats sont jugés satisfaisants, car deux cibles sont atteintes et une troisième est partiellement atteinte. Les solutions technologiques développées dans le cadre du projet ont été intégrées à des produits qui ont été acquis par au moins 33 clients. De plus, 13 emplois ont été créés et 17 ont été maintenus chaque année grâce au projet. Toutefois, la hausse du nombre d'utilisations des solutions technologiques développées paraît modeste, car seule la plateforme Espace pharma connaît une augmentation importante de ses utilisateurs. L'information disponible sur les deux autres solutions ne permet pas de conclure à une hausse notable de l'utilisation. Par ailleurs, aucune donnée relative à l'utilisation de la quatrième solution n'a été fournie. Par conséquent, il est difficile de constater une adoption de l'ensemble ou de la majorité des solutions développées par les utilisateurs. Enfin, les retombées financières sont induites par les solutions technologiques, et pas forcément attribuables en entier aux solutions technologiques développées. En effet, les partenaires industriels tiraient des revenus de certaines des solutions technologiques existant avant le lancement du projet, et ces mêmes partenaires ont investi des montants substantiels dans le développement de ces technologies avant et pendant le projet. Les revenus attribuables au projet obtenus par les partenaires industriels sont estimés à 8,3 M$ (voir annexe 2), dont 5,6 M$ sont relatifs au chiffre d'affaires réalisé hors Québec.

Chapitre 6 - Les conclusions de l'évaluation

6.1 Les principaux constats

Principaux résultats de MPLNS – Degré d'atteinte des critères et des cibles
Du 1er avril 2012 au 31 mars 2016
Atteinte des résultats
La pertinence de l'aide accordée
Critère 1 : L'intérêt pour le projet
  • Huit partenaires différents hors PME ont participé au projet.
  • Dix PME admissibles ont participé à MPLNS.
  • 802 personnes ont participé aux expérimentations dans les cliniques.
  • Le budget total du projet était de 18 143 k$.



Critère 2 : La réponse à des besoins
  • MPLNS se distingue des autres projets mobilisateurs analysés.
  • La démarche de sélection des partenaires ne répond pas à toutes les attentes du Ministère.
  • Parmi les répondants, 77 % estiment que MPLNS constitue une valeur ajoutée.

±
Critère 3 : L'efficience du projet
  • L'effet de levier du financement du Ministère est de 1,1.
  • Le ratio de rendement de la dépense publique est de 1,26 et les retombées économiques, de 16,6 M$.

L'efficacité du projet
Critère 4 : La mise en œuvre du projet et la satisfaction à son égard
  • La démarche de planification des activités majeures est considérée comme claire.
  • Tous les types de livrables de mise en œuvre du projet attendus ont été réalisés.
  • Cinq activités majeures sur six ont été conduites à leur terme.
  • Une proportion de 84 % des répondants sont satisfaits du projet.


±
Critère 5 : L'utilisation des fonds alloués au projet
  • 9 % du budget du projet a été consacré à des contrats avec le milieu de la recherche
  • 7 % du budget du projet a été consacré à des PME québécoises non partenaires.
  • 0,3 % du budget a servi à l'acquisition d'équipements et de matières premières hors Québec


Critère 6 : La gestion et la gouvernance du projet
  • Le suivi des résultats du projet répond aux attentes du Ministère.
  • Le conseil d'administration a été formé selon les exigences du Ministère.
  • Chaque année, l'organisme a dépensé 112,5 k$ en moyenne pour gérer le projet.


Les effets de l'aide accordée
Critère 7 : Les effets en matière de recherche et d'innovation
  • Seize livrables découlent du projet, dont quatre solutions technologiques.
  • Deux des quatre solutions développées sont prêtes à être commercialisées.
  • Trois solutions technologiques répondant aux attentes du Ministère ont été décrites.
  • 65 licences ont été attribuées dans le cadre du projet.



Critère 8 : Les effets sur le plan de la mobilisation
  • 124 étudiants, chercheurs et professionnels ont participé à MPLNS en moyenne chaque année.
  • 136 activités de partage et de transfert ont été mises en œuvre.
  • 80 % des activités et des livrables de MPLNS ont été réalisés en collaboration.


Critère 9 : Les retombées socioéconomiques du projet
  • Une solution sur quatre a enregistré une hausse significative du nombre d'utilisateurs.
  • 33 clients, dont 5 au Québec, ont acheté les technologies développées.
  • 13 emplois ont été créés et 17 ont été maintenus en moyenne chaque année.
±

Légende : ↑ pour cible dépassée; ✓ pour cible atteinte; ± pour cible partiellement atteinte; X non atteinte

6.2 Les réponses aux questions de l'évaluation

  1. L'intervention gouvernementale est-elle appropriée?
  2. L'intervention gouvernementale est appropriée, car il existait un intérêt pour le projet de la part des milieux visés. MPLNS répondait à l'appel à projets lancé par le Ministère en 2011 et se démarquait d'expériences étrangères. Même si la sélection des partenaires du projet ne répondait pas à toutes les attentes du Ministère, 77 % des personnes sondées ont estimé que le projet constituait une valeur ajoutée pour le milieu de la santé au Québec. De plus, le projet s'est révélé efficient, avec un effet de levier de 1,1 et un rendement annuel de 6,5 % de la dépense publique.

  3. Dans son application, le projet est-il un succès?
  4. Dans son application, le projet est un succès. Il a été mis en œuvre selon les attentes du Ministère. De plus, les différents participants en sont satisfaits dans une proportion moyenne de 84 %. L'utilisation des fonds alloués à MPLNS s'est faite conformément aux attentes du Ministère, tout comme la gestion et la gouvernance du projet. Toutefois, une des six activités majeures n'a pas été conduite à son terme.

  5. Les effets visés sont-ils atteints?
  6. Les effets visés sont atteints. Par exemple, deux des quatre solutions technologiques développées sont prêtes à être commercialisées et trois solutions ont été décrites par l'organisme. Toutefois, la hausse du nombre d'utilisations n'a pu être observée que pour une solution sur quatre.

6.3 L'appréciation générale des résultats

Généralement, l'intervention gouvernementale s'avère appropriée. L'organisme a géré le projet conformément aux attentes ministérielles, et la plupart des effets visés ont été atteints. Comme le montre le tableau ci‑dessous, le projet obtient une note globale de 77 sur 100, correspondant à l'appréciation qualitative « résultats satisfaisants ».

Protocole d'évaluation – Pointage des résultats sur 100
  Pointage final pondéré
  Score Maximum
Pertinence
Critère 1 : L'intérêt pour le projet 8,75 11,67
Critère 2 : La réponse à des besoins 7,41 11,67
Critère 3 : L'efficience du projet 8,55 11,67
Sous-total pertinence (sur 35 pts) 24,71 35,00
Efficacité
Critère 4 : La mise en œuvre du projet et la satisfaction à son égard 7,92 10,00
Critère 5 : L'utilisation des fonds alloués au projet 8,89 10,00
Critère 6 : La gestion et la gouvernance du projet 8,33 10,00
Sous-total efficacité (sur 30 pts) 25,14 30,00
Effets
Critère 7 : Les effets en matière de recherche et d'innovation 8,75 11,67
Critère 8 : Les effets sur le plan de la mobilisation 10,50 11,67
Critère 9 : Les retombées socio-économiques du projet 7,90 11,67
Sous-total effets (sur 35 pts) 27,15 35,00
Total sur 100 77,00 100,00

Annexe 1 - Compléments d'information

Les données détaillées sur certains indicateurs

Critère 1 et 3

Tableau A1 - Budget total du projet (en k$) et effet de levier du financement du Ministère
Indicateurs 4 et 8 2013 2014 2015 2016 Total
Aide financière du MESI 3 190 3 605 1 865 341 9 000
Dépenses de contrepartie de Telus Santé 2 325 3 242 1 803 315 7 685
Dépenses de contrepartie d'Audisoft 800 290 - - 1 090
Autres dépenses pour le projet 52 77 124 115 368
Total par année 6 367 7 213 3 792 771 18 143
Appariements en nature des autres partenaires 314 204 518
Effet de levier 1,0 1,0 1,2 1,9 1.1

Source : Requête d'information adressée à MPLNS, MESI, août 2016.

Critère 5

Tableau A2 - Montants des contrats reçus par le milieu de la recherche (en k$)
(Indicateur 15) 2013 2014 2015 2016 Total
CEFRIO - 289 358 309 956
CIRANO - 5 - 155 160
CRIM - 144 10 - 154
Milieu universitaire 10 - 119 79 208
Autres acteurs de la recherche 8 22 48 44 122
Total 18 460 535 587 1 600
Budget total admissible 6 315 7 137 3 667 656 17 775
Part par rapport au budget admissible 0,3 % 6,5 % 14,6 % 89,5 % 9,0 %

Source : Requête d'information adressée à MPLNS, MESI, août 2016.

Tableau A3 - Proportion du budget du projet consacrée à des PME québécoises non partenaires (en k$)
(Indicateur 16) 2013 2014 2015 2016 Total
Montants versés aux sous-traitants 120 288 559 560 1 527
Montants versés aux PME admissibles* 120 153 456 513 1 243
Budget total admissible 6 315 7 137 3 667 656 17 775
Part du budget versée aux PME 1,9 % 2,2 % 12,4 % 78,2 % 7,0 %

* Cette ligne exclut le contrat de 285 k$ accordé à deux sous-traitants non admissibles au projet.

Source : Requête d'information adressée à MPLNS, MESI, août 2016.

Tableau A4 - Part des équipements et des matières premières acquis hors Québec dans le budget du projet (en k$)
(Indicateur 17) 2013 2014 2015 2016 Total
Valeur des équipements et des matières premières acquis hors Québec 30 2 15 0 47
Budget total admissible 6 315 7 137 3 667 656 17 775
Part par rapport au budget 0,5 % 0,0 % 0,4 % 0,0 % 0,3 %

Source : Requête d'information adressée à MPLNS, MESI, août 2016.

Critère 6

Tableau A5 - Frais de gestion du projet par l'organisme
(Indicateur 20) 2013 2014 2015 2016 Moyenne
Salaires 21 299 58 555 57 598 30 000 41 863
Honoraires professionnels de conseillers externes 67 000 48 000 36 000 8 434 39 859
Déplacements, communications et vérification 19 016 23 680 22 700 13 604 19 750
Création de l'organisme et démarrage du projet 21 756 15 223 7 135 0 11 029
Total 129 071 145 458 123 433 52 038 112 500

Source : Requête d'information adressée à MPLNS, MESI, août 2016.

Critère 7

Indicateurs 21 et 22

Tableau A6 - Solutions technologiques développées et prêtes à être commercialisées
# Technologies développées Expérimentation Commercialisables?
1 Espace santé personnel connecté au Dossier médical électronique (DME) KinLogix personnalisé Achevée Oui
2 Améliorations des fonctionnalités de la plateforme de télésoins à domicile Non achevée Oui
3 Outil portable de télésoins (Frontline Communicator) Non achevée Non
4 Plateforme Web Espace pharma intégrée à des solutions de gestion d'officine Achevée Oui

Source : Requête d'information adressée à MPLNS, MESI, août 2016.

Indicateur 21

Tableau A7 - Rapports, documents et études découlant du projet MPLNS
# Rapports, documents et études Auteur Provenance
1 Enquête sur l'utilisation d'Espace pharma de TELUS Santé Équipe de projet Enquête (dir. Claire Bourget) CEFRIO
2 Analyse de cas : Dossiers patients numériques et soins pédiatriques de 1re ligne : le cas d'un Groupe de médecine familiale Claude Sicotte Université de Montréal
3 Les enjeux et risques juridiques des échanges d'information dans la relation patient-médecin dans l'Espace santé TELUS Pierre Trudel Université de Montréal
4 Téléassistance professionnelle à domicile pour le traitement des plaies complexes au CIUSSS Sud-Ouest-Verdun : les aspects économiques Stéphanie Boulenger CIRANO
5 La participation des patients à leurs soins soutenue par les technologies de l'information : l'implantation d'un dossier de santé personnel électronique pour le suivi et la gestion des maladies chroniques au Québec Jean-Paul Fortin Université Laval / CIUSS de la Capitale-Nationale
6 Analyse économique de l'implantation d'un dossier santé personnel à la clinique médicale Nouvelle-Beauce Stéphanie Boulenger CIRANO
7 Rapport synthèse du projet Ma première ligne numérique en santé Josée Beaudoin et Sabrina Boutin CEFRIO

Source : Requête d'information adressée à MPLNS, MESI, août 2016.

Annexe 2 - Notes méthodologiques relatives à l'analyse avantages-coûts

L'analyse vise à quantifier sur une même base monétaire (le dollar) les retombées (ou avantages) économiques procurées par les activités relatives à MPLNS et les coûts économiques de l'aide financière gouvernementale allouée au projet de 2013 à 2016. Voici la formule appliquée pour calculer le ratio bénéfices-coûts (RBC) :

Les composantes détaillées de la formule présentée ci-dessus sont les suivantes :

Ratio bénéfices-coûts : correspondant aux lettres « RBC » dans la formule ci-dessus, il désigne le ratio de rendement de la dépense publique, présenté au critère 3 dans ce rapport. Cet indicateur permet de répondre à la question suivante : pour chaque dollar dépensé par le gouvernement, à combien s'élèvent les retombées économiques générées par MPLNS?

Retombées économiques, correspondant au terme « bénéfices » dans la formule ci‑dessus, regroupent ces éléments :

Coûts économiques, correspondant au terme « coûts » dans la formule c-‑dessus, regroupent l'aide financière du Ministère pour la réalisation du projet mobilisateur MPLNS.

Coût d'opportunité lié à la dépense publique : il correspond à l'expression « (1 + δ) » dans la formule ci‑dessus. Les investissements publics ne sont possibles que parce qu'il y a des recettes fiscales. Or, le prélèvement de ressources financières par l'impôt est coûteux du point de vue de l'efficacité socioéconomique, et ce coût doit être répercuté sur les dépenses que ces ressources permettent de financer. Cela conduit à introduire la mesure du coût d'opportunité des fonds publics sous la forme d'un coefficient multiplicateur appliqué à tout dollar public dépensé. Dans notre cas, ce coefficient correspond à l'inefficacité de la taxation gouvernementale servant à financer le projet (ou toute forme de programme public). Le paramètre d'inefficacité est en moyenne de 0,543 pour la période évaluée, selon les données du ministère des Finances du Québec. Ainsi, le coût réel d'une dépense publique de 100 000 $ est de 100 000 $ x (1 + 0,543) = 154 300 $.

Taux d'actualisation et indice implicite des prix du PIB (IIPP) : le taux d'actualisation correspond à la lettre « r » dans le modèle. Le CIRANO suggère d'utiliser un taux d'actualisation de 6 %. L'utilisation du taux réel entraîne la conversion des flux financiers en dollars enchaînés. L'IIPP est utilisé pour éliminer la composante inflationniste des flux financiers. En d'autres termes, l'IIPP permet de convertir les dollars exprimés en valeur nominale en dollars exprimés en valeur réelle (ou dollars enchaînés). Nous l'avons calculé à l'aide des tableaux de données du PIB (selon les dépenses) de l'Institut de la statistique du Québec.

Les résultats de l'analyse avantages-coûts

Le tableau A8 présente les différents éléments considérés dans l'analyse. La dépense publique de 13,1 M$ a généré des retombées économiques de 16,6 M$, produisant ainsi une valeur actuelle nette positive de 3,5 M$ et un ratio de rendement de 1,26. Cela équivaut à un rendement annualisé de 6,5 % (soit 26 % en 4 ans).

Tableau A8 - Rendement de la dépense publique allouée au projet MPLNS (en k$; années considérées : 2013 à 2016)
Retombées économiques du projet MPLNS Total (en k$)
Retombées économiques directes
- Appariements en espèces des partenaires dans le projet 8 775
- Appariements en nature des partenaires dans le projet 518
- Autres apports 368
Sous-total des retombées économiques directes 9 661
Retombées économiques indirectes
- Revenus des PME attribuables au projet 101
- Revenus des partenaires industriels attribuables au projet 8 334
Sous-total des retombées économiques indirectes 8 435
Total des retombées économiques (dollars nominaux) 18 096
Total des retombées économiques actualisées (année de référence 2013) 16 562
Coûts économiques du projet MPLNS
Subventions publiques
- Aide financière du MESI 9 000
- Coût d'opportunité lié à la subvention publique (inefficacité de la taxation) 4 894
Total des coûts économiques (en dollars nominaux) 13 894
Total des coûts économiques actualisés (année de référence 2013) 13 110
 
Ratio de rendement de la dépense publique 1,26
Valeur actuelle nette 3 452

Sources : Requête d'information adressée à MPLNS, sondages auprès des partenaires et des PME et analyse documentaire, MESI, août 2016.

L'analyse de sensibilité

Une analyse de sensibilité (voir page suivante) basée sur la méthode de Monte-Carlo a été effectuée à l'aide du logiciel @RISK. Le taux d'actualisation a été soumis à des variations sur une plage de valeur allant de 3 % à 6 %. De même, les revenus attribuables au projet obtenus par les partenaires ont été soumis à des variations allant de 750 k$ à 2,5 M$ par année, compte tenu d'une moyenne effective de 2,1 M$ par année. Ainsi :

L'analyse de Monte-Carlo indique que les probabilités d'une VAN inférieure à zéro (et par conséquent d'un ratio de rendement inférieur à 1) sont de 10 %. Elle permet de conclure que le degré de confiance dans les résultats de l'évaluation économique est de 90 %, ce qui confirme la solidité de l'approche adoptée.

Les deux graphiques à la page suivante illustrent l'analyse de sensibilité effectuée à l'égard du ratio de rendement de la dépense publique et de la création de richesse (ou VAN).

Les limites de l'analyse

L'analyse comporte des limites :

Annexe 3 - Documentation et méthode de pointage

Documentation consultée

Documents ministériels et gouvernementaux

Documents de MPLNS

La méthode d'appréciation des résultats

Les résultats du projet ont été notés sur 100, puis qualifiés selon les échelles du tableau A9. Le pointage final résulte de l'addition des scores obtenus en appliquant la pondération présentée au tableau A10.

Tableau A9 - Échelle d'appréciation des résultats
Appréciation qualitative Intervalle
Résultats très satisfaisants 90-100
Résultats satisfaisants 70-89
Résultats en partie satisfaisants 50-69
Résultats insatisfaisants 0-49
Tableau A10 - Pondération appliquée aux thèmes évalués
Éléments à évaluer Poids en %
La pertinence de l'aide accordée 35
L'efficacité du projet 30
Les effets de l'aide accordée 35

À chaque critère évalué, l'atteinte de chacune des cibles a été appréciée selon ces règles :

L'appréciation des critères a été faite en additionnant les scores obtenus pour chaque cible.

Table des matières

1. À la suite de sa faillite, Audisoft n'a plus été partenaire du projet à partir de 2014. Le Ministère a accepté le plan de contingence présenté par l'organisme, qui proposait de continuer le projet avec TELUS Santé tout en conservant la technologie d'Audisoft. Le projet a aussi été prolongé de six mois. Toutefois, Audisoft a été reprise par une ancienne employée et a continué à participer à MPLNS en tant que PME sous-traitante.

2. Après la décision du MSSS de réviser le processus de certification, y compris l'interopérabilité, le CRIM a dû fermer son centre d'interopérabilité et se retirer du projet en 2014. Par conséquent, le CEFRIO a assumé le volet « Recherche » de l'étude de la protection des renseignements personnels.

3. U.S. Department of Energy, « From Mind to Marketplace: The SunShot Initiative's Incubator Program ».

4. Maison-Blanche, « The Recovery Act: Transforming the American Economy Through Innovation », page 21.

5. Steve Binkley et Bob Meisner, Exascale Computing Initiative (ECI), document de présentation du 1er avril 2015.

6. Tiffany Trader, « Budget request reveals new elements of US Exascale Program », 12 février 2016.

7. Heidi Ledford, « End of cancer-genome project prompts rethink », Nature, 5 janvier 2015.

8. The Cancer Genome Atlas, Program Overview.

9. Rubrique « Ville de demain » du site Web de la Caisse des dépôts et consignations.

10. 31 territoires soutenus par le programme d'investissements d'avenir Ville de demain 2015‑2017, page 3.

11. « Investissements d'avenir. Le programme "Véhicule du futur" », 7 juillet 2010.