Centre de liaison sur l'intervention et la prévention psychosociale (CLIPP)

Rapport d'évaluation

Pour la période du 1er avril 2013 au 31 mars 2017

Préface

Notes au lecteur

  1. Sauf avis contraire dans le texte, toutes les sommes indiquées sont en dollars canadiens. Les symboles suivants sont utilisés : k$ pour milliers de dollars et M$ pour millions de dollars.
  2. Selon l'indicateur considéré, le total des résultats peut comporter un écart de ± 1 % pour les pourcentages ou de ± 1 pour les autres valeurs. Cet écart s'explique par l'arrondissement des résultats présentés.
  3. Dans le présent document, le terme PME désigne toute petite ou moyenne entreprise de moins de 250 employés, peu importe son chiffre d'affaires ou la valeur de ses actifs. Cette définition de la PME est plus adaptée au contexte québécois que celle de Statistique Canada (entreprise de moins de 500 employés). Elle correspond en outre à la définition de la PME en vigueur au sein de l'Union européenne (UE) et de l'Organisation de coopération et de développement économiques (OCDE).
  4. À moins d'avis contraire, les résultats présentés dans le document concernent la période du 1er avril 2013 au 31 mars 2017.

L'évaluation des résultats du Centre de liaison sur l'intervention et la prévention psychosociales (CLIPP) est réalisée à la demande du Secteur science et innovation et en vertu des conventions de subvention signées avec le Ministère pour la période du 1er juillet 2010 au 30 juin 2018.

Elle vise à apprécier les résultats de l'aide financière de 3,23 M$ accordée au CLIPP pour la période du 1er avril 2013 au 31 mars 2017.

En vertu de la directive concernant l'évaluation de programme dans les ministères et les organismes (2014), ce rapport d'évaluation doit être transmis au Secrétariat du Conseil du trésor (SCT).

La présente évaluation a été réalisée conformément à la Politique ministérielle d'évaluation de programme et à la Charte de l'évaluation des programmes, disponibles à l'adresse suivante : www.economie.gouv.qc.ca/evaluation.

Auteur du rapport

Jean-François Lizotte
Évaluateur de programmes
Recherche et rédaction

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

Ce document est disponible sur demande auprès de cette direction.

Pour nous joindre

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

710, place D'Youville, 7e étage
Québec (Québec) G1R 4Y4
Téléphone : 418 691-5698, poste 4902

Pour plus d'information : gar@economie.gouv.qc.ca

Version définitive – octobre 2017
© Gouvernement du Québec

Remerciements

Le présent document est le fruit de la collaboration de plusieurs personnes sans lesquelles les travaux n'auraient pu être menés à leur terme. À cet égard, nous tenons à remercier toutes les personnes associées de près ou de loin à la réalisation du présent rapport d'évaluation, notamment le personnel de la Direction des maillages et des partenariats industriels (DMPI) du ministère de l'Économie, de la Science et de l'Innovation (MESI) et celui du CLIPP).

Un comité constitué à l'occasion de l'évaluation devait s'assurer que les constats du présent rapport sont valides et fidèles à la réalité et que les appréciations qui en découlent sont objectives. Plus précisément, les membres du comité, nommés ci-après, devaient valider le cadre et le rapport d'évaluation et conseiller l'évaluateur sur l'orientation des travaux et la stratégie générale d'évaluation, tout en apportant un éclairage sur des questions importantes pouvant se poser en cours de mandat. Nous tenons également à leur adresser nos plus sincères remerciements.

Les membres du comité d'évaluation

François Maxime Langlois
Directeur
Direction de la coordination, de l'évaluation et de la planification

Christophe Marchal
Évaluateur principal et chef d'équipe d'évaluation
Direction de la coordination, de l'évaluation et de la planification

Sommaire

La présente évaluation vise à apprécier les résultats de l'aide financière de 3,23 M$ accordée au CLIPP du 1er avril 2013 au 31 mars 2017, par rapport aux attentes et aux résultats attendus dans les conventions de subvention.

Les résultats du CLIPP sont jugés satisfaisants. L'évaluation confirme la pertinence de l'aide financière accordée au CLIPP, son efficacité et ses effets positifs pour la clientèle visée et les innovations sociales dans le domaine de la prévention psychosociale au Québec. Les principaux résultats constatés sont les suivants :

Pertinence

Efficacité

Effets

Conclusion

L'évaluation constate que :

Tables des matières

Chapitre 1 : Le contexte de l'évaluation

1.1 Les objectifs de l'évaluation

L'évaluation a pour but d'apprécier les résultats de l'aide financière consentie par le Ministère de l'Économie, de la Science et de l'Innovation (MESI) au CLIPP. Pour ce faire, il est nécessaire d'évaluer la pertinence, l'efficacité et les effets du financement gouvernemental, en vue de répondre aux trois questions suivantes :

  1. L'aide financière accordée à l'organisme est-elle pertinente?
  2. L'efficacité de l'organisme est-elle satisfaisante?
  3. Les effets sont-ils convaincants?

La Direction de la coordination, de l'évaluation et de la planification (DCEP) du Ministère a été mandatée pour effectuer les travaux d'évaluation. Le protocole d'évaluation utilisé pour répondre aux trois questions précédemment mentionnées est présenté au tableau 1.1.

Tableau 1.1 : Protocole d'évaluation des résultats de l'aide financière accordée au CLIPP

La pertinence de l'aide financière à l'organisme (Question 1)

Critères à évaluer

  1. La compatibilité avec les objectifs et les résultats visés par le Ministère
  2. Le besoin continu de l'aide financière à l'organisme
  3. L'efficience du modèle d'intervention du Ministère
L'efficacité de l'organisme (Question 2)

Critères à évaluer

  1. L'atteinte des résultats visés
  2. Les pratiques de gestion de l'organisme
  3. Le modèle d'affaires et de gouvernance de l'organisme
Les effets de l'organisme (Question 3)

Critères à évaluer

  1. Les effets dans le domaine de la recherche
  2. Les effets des activités de l'organisme sur les milieux utilisateurs
  3. Les retombées socioéconomiques

Cette approche offre l'assurance de répondre aux besoins du client de l'évaluation.

Par ailleurs, l'évaluation du CLIPP doit répondre aux besoins de reddition de comptes du gouvernement, c'est à-dire :

1.2 Portrait de l'organisme

1.2.1 La mission et les objectifs du CLIPP

La mission du CLIPP est de rassembler les acteurs des milieux scientifiques et pratiques pour répondre aux besoins psychosociaux de manière innovante dans toutes les sphères de l'activité humaine.

Pour l'exercice 2015-2018, le CLIPP avait fixé les objectifs suivants :

Il est important de mentionner que le plan d'action 2017-2018 prévoit la production d'un plan stratégique quinquennal 2018-2023. Dans ce plan, le positionnement, les objectifs et les secteurs d'activité du CLIPP seront revus. Ainsi, dans le cadre du présent processus d'évaluation, les objectifs qui précèdent ne sont valides que pour la période 2015-2017.

1.2.2 L'offre de services et la clientèle visée

L'offre de service du CLIPP se compose de trois volets principaux en phase avec les besoins évolutifs des chercheurs et des praticiens :

Le mode de fonctionnement du CLIPP s'appuie sur des secteurs d'activité qui agissent en interdépendance et en interdisciplinarité :

1. Le secteur du transfert et de la mobilisation des connaissances

L'objectif du secteur du transfert et de la mobilisation des connaissances du CLIPP est de soutenir l'élaboration et l'amélioration continue d'interventions psychosociales grâce à la préparation, à la diffusion et au déploiement d'outils et de programmes conçus à partir des données scientifiques issues de la recherche psychosociale.

Ce secteur est constitué de spécialistes en transfert de connaissances. Les directions de projets du secteur sont le lien entre la personne ou l'équipe qui vise à transférer des connaissances et les milieux qui les utiliseront. Elles sont donc l'interface entre les collaborateurs et les autres secteurs d'activité du CLIPP. Elles coordonnent et assurent le déroulement des projets en proposant une démarche basée sur un processus itératif continu entre les milieux de pratique et les chercheurs.

Les principales activités du secteur sont les suivantes :

2. Le secteur des communications, de liaison et de marketing

C'est par ses activités de communication, de liaison et de marketing que le CLIPP assure sa visibilité dans les milieux de la pratique et de la recherche, ouvrant ainsi la voie à de nouveaux partenariats. Ces activités lui permettent en outre de mieux faire connaître sa mission, ses activités, ses services et ses produits.

Le CLIPP agit comme interface entre les producteurs et les utilisateurs de la recherche psychosociale, mettant en relation des représentants de divers milieux longtemps considérés comme des aimants qui se repoussent. C'est pourquoi le secteur des communications, de la liaison et du marketing agit de manière transversale, soit à la fois dans la stratégie globale du CLIPP et dans ses projets spécifiques. Ainsi, il s'appuie sur les complémentarités et non sur les disparités.

Par l'intermédiaire des médias sociaux, le secteur est à l'affût des nouvelles technologies afin de favoriser l'expansion de l'organisme. Il coordonne également la conception des livrables qui résultent des activités de transfert de connaissances en travaillant de près avec des fournisseurs externes, tels des graphistes, des vidéastes et des rédacteurs.

3. Le secteur de la gestion de l'information et des connaissances (SEGIC)

Le CLIPP se tient à jour à l'égard des principaux résultats de la recherche psychosociale et des enjeux psychosociaux présents dans la société québécoise. Par ses activités de veille et de gestion stratégique de l'information, le secteur de la gestion de l'information et des connaissances (SEGIC) fournit au CLIPP des outils d'aide à la décision, tant sur les thèmes à prioriser que sur les partenariats à établir avec les milieux utilisateurs et de la recherche.

Le SEGIC est l'un des piliers du CLIPP et sert à la fois à son personnel ainsi qu'à ses partenaires des milieux de la pratique et de la recherche. Sa mission est d'assurer la pérennité de l'information essentielle à la mise en œuvre et au succès des travaux du CLIPP et de consolider l'organisation de cette information afin que les utilisateurs puissent en disposer au moment opportun. Le SEGIC assure donc la gestion de l'information, qui prend en compte les trois dimensions suivantes :

Les responsables de ce secteur collaborent avec le secteur des communications, de la liaison et du marketing à la création d'outils Web (sites, plateformes collaboratives, applications, etc.) et à la gestion du site Internet du CLIPP. Ce site est à la fois une vitrine et un outil de communication permettant de diffuser l'ensemble des informations que le CLIPP désire mettre à la disposition de ses diverses clientèles.

4. Le secteur d'analyse et d'évaluation

Pour remplir adéquatement son mandat de valorisation de la recherche psychosociale, le CLIPP doit connaître les besoins des milieux avec lesquels il collabore ainsi que les effets de ses produits et services. La dimension évaluative des activités du CLIPP est donc incontournable et cette responsabilité incombe au secteur de l'analyse et de l'évaluation. À ce chapitre, le CLIPP se concentre sur l'étude des besoins des milieux en matière de transfert de connaissances, sur l'évaluation des activités et des stratégies de transfert et de mobilisation des connaissances qu'il déploie et sur l'analyse des effets de ces activités.

Pour connaître ces besoins ainsi que le degré de mise en œuvre et les effets des activités qu'il mène (seul ou en collaboration avec ses partenaires), le CLIPP a conçu des grilles d'évaluation. d'outils de plus en plus adaptés aux réalités des milieux ne peut se faire qu'à travers l'évaluation des retombées de la diffusion des connaissances sur les populations concernées.

En ce qui concerne la clientèle du CLIPP, ce sont les milieux utilisateurs qui la représentent. Les produits et les services du CLIPP s'adressent à un large éventail d'utilisateurs. Parmi eux, on compte des professionnels de la recherche, des praticiens ainsi que des intervenants des services publics et communautaires, des gestionnaires et des décideurs d'entreprises privées, publiques et parapubliques ainsi que des organismes à but non lucratif (OBNL) concernés par les problématiques abordées. Finalement, une partie des produits et services du CLIPP s'adresse directement au grand public et aux médias.

1.2.3 Le portrait financier de l'organisme

Le tableau suivant dresse le portrait des résultats financiers du CLIPP de 2014 à 2017.

Tableau 1.1 : Les résultats financiers du CLIPP (en milliers de dollars)
Revenus annuels 2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : États financiers audités du CLIPP.
Subvention PSVT v1 1 078 881 600 675 3 234
Subvention PSVT v2 117 155  - 99 371
Revenus autonomes 243 198 77 102 621
Contributions pour des projets et activités 441 289 150 94 974
Autres revenus 31 13 33 8 85
Contributions des autres ministères - - 21  66 87
Total des revenus 1 910 1 536 881 1 045 5 372

1.3 Chaîne des résultats attendus

À l'annexe 1, section 1.A – « Modèle logique du PSVT », vous trouverez l'illustration de l'intervention gouvernementale, plus communément appelée le modèle logique. Celui-ci montre la chaîne des résultats attendus par le Ministère et permet aussi la vérification de la cohérence interne des liens entre les composantes de l'intervention, notamment ses objectifs, ses extrants et ses effets attendus.

Le CLIPP est financé en vertu du Programme de soutien à la valorisation et au transfert (PSVT), dont la mission est de favoriser la valorisation des résultats de la recherche et leur transfert vers les organisations dans l'optique de soutenir l'innovation et le développement économique et social. Pour ce faire, le programme vise, entre autres, le transfert des résultats de recherche aux utilisateurs et la liaison entre les producteurs et les utilisateurs des recherches. Ultimement, les résultats attendus sont d'encourager et de renforcer la capacité d'innovation technologique des entreprises ou la capacité d'innovation sociale dans les milieux preneurs, de rapprocher et de mailler les producteurs et les utilisateurs des recherches ainsi que de recueillir l'information pertinente, de la traiter et de la diffuser auprès des clientèles.

1.4 Aide financière du Ministère

Du 1er avril 2013 au 31 mars 2017, l'aide financière (PSVT 1) a totalisé 3,23 M$. La répartition de cette aide par année est présentée au graphique 1.1. On peut constater qu'au cours de la période évaluée, le financement a diminué, pour augmenter par la suite.

Graphique 1.1 : Financement accordé par le Ministère (PSVT V1), du 1er avril 2013 au 31 mars 2017 (en milliers de dollars)

Aide totale : 3 234 k$

Source : Conventions de subvention du CLIPP, MESI.

1.5 Méthode d'évaluation

La méthode d'évaluation utilise les principes de l'analyse multicritère. Elle consiste à comparer les résultats obtenus par l'organisme à ceux qui sont visés dans la convention de subvention ou aux attentes habituelles du Ministère. L'appréciation des écarts conduit à une appréciation qualitative pour chacun des critères. Par la suite, à l'aide d'une grille de pointage, un score de 0 à 100 est attribué aux résultats de l'organisme évalué, 70 étant synonyme d'un résultat jugé satisfaisant. La méthode de pointage est détaillée à l'annexe 1, section 1.B – « Méthode d'appréciation des résultats ».

Les sources d'information utilisées comportent, entre autres, les éléments suivants : les données administratives du CLIPP, celles fournies par sa direction lors de la visite de ses installations, la documentation du Ministère relative à l'organisme et les données de l'enquête téléphonique réalisée auprès des partenaires et collaborateurs, des chercheurs et des utilisateurs. Plus de détails sont présentés à l'annexe 1, section 1.C – « Sources de données ».

Voici une brève description de chacun des types de clientèles :

1.6 Portée et limites de l'évaluation

L'évaluation porte sur les résultats du CLIPP obtenus au cours des quatre années financières suivantes : 2013-2014, 2014-2015, 2015-2016 et 2016-2017.

Dans le but de faciliter la présentation des résultats, les années financières évaluées sont converties selon les années calendaires suivantes :

Les limites de l'évaluation des résultats de l'organisme et les stratégies d'atténuation de leurs effets sont présentées à l'annexe 1, section 1.D – « Limites de l'évaluation ».

Chapitre 2 : La pertinence de l'aide financière

2.1 Critère 1 : La compatibilité avec les objectifs et les résultats visés par le Ministère

Les cibles

Il est attendu :

  1. l'adéquation de la mission et des activités de l'organisme avec les objectifs du Ministère;
  2. une clientèle de l'organisme correspondant à celle attendue par le Ministère;
  3. des revenus autonomes de l'organisme.

Constats relatifs à la cible 1

La cible 1 est atteinte. Au cours de la période évaluée, le CLIPP a su faire la démonstration de l'adéquation de sa mission et de ses activités avec les objectifs du Ministère. En effet, comme en témoignent les données présentées dans le tableau 2.1, le CLIPP répond clairement aux objectifs du PSVT. Il a notamment contribué à favoriser la valorisation des résultats de recherche et leur transfert vers les organisations en vue de soutenir l'innovation et le développement économique et social. De plus, en consultant les objectifs du PSVT à l'annexe 1.A et en comparant ceux-ci avec la mission et les activités du CLIPP, une forte correspondance s'en dégage.

Tableau 2.1 : Nombre d'utilisations des produits et services du CLIPP
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CLIPP, MESI, juillet 2017.
* Le CLIPP a calculé cet élément en fonction des projets et non des individus.
** Cette catégorie est composée des visites du site Web du CLIPP, des consultations du blogue Vigie psychosociale et de celui du CLIPP et des abonnés de l'infolettre.
Nombre d'utilisations d'outils de transfert 2 936 1 555 706 923 6 120
Nombre d'utilisateurs des services de consultation* 17 23 13 27 80
Nombre de consultations d'autres produits et services** 63 661 57 178 49 377 43 495 213 711
Nombre de participations à des projets et à des activités 3 071 1 679 843 1 054 6 647

Constats relatifs à la cible 2

La cible 2 est atteinte. La clientèle visée par le Ministère est celle des partenaires et collaborateurs, des chercheurs et des utilisateurs. La clientèle totale (6 830) du CLIPP entre 2014 et 2017 consiste dans 6 120 utilisateurs, 447 chercheurs et 263 partenaires et collaborateurs.

Toutefois, cette clientèle a diminué de 65 % au cours de la période évaluée, passant de 3 126 en 2014 à 1 089 en 2017. Dans le même ordre d'idée, le nombre de participations à des événements et à des activités de formation est passé de 456 en 2014 à 282 en 2017.

Le nombre d'organismes impliqués annuellement dans la valorisation des résultats de recherche a lui aussi diminué de 2014 à 2017. Pour l'ensemble de la période évaluée, il s'élève à 663. Tous les types de partenaires et collaborateurs visés par le Ministère (académique, industriels, publics et OBNL) ont pris part au montage de projets. D'ailleurs, on peut compter parmi les partenaires et collaborateurs du CLIPP des producteurs de recherche universitaire, collégiale, institutionnelle ou organisationnelle, des observatoires, des établissements du réseau de la santé et des services sociaux, des organisations du milieu de la petite enfance ainsi que certains ministères.

Graphique 2.2 : Participations à des événements ou à des activités de 2014 à 2017

Source : Requête d'information CLIPP Juillet 2017.

Constats relatifs à la cible 3

La cible 3 est atteinte. Cependant, il est possible d'observer, au tableau 2.2, une diminution des revenus autonomes de 2014 à 2017. Ces changements s'expliquent, en partie, par les variations dans les ventes d'outils, de licences de produits ou d'autres services ainsi que par une chute des autres revenus. Malgré des sources de revenus diversifiés, le CLIPP explique cette diminution par une baisse de son financement ainsi que de celui de ses partenaires et collaborateurs en innovation sociale et du milieu psychosocial.

Tableau 2.2 : Contributions aux projets et aux activités, revenus autonomes et autres revenus du CLIPP (en milliers de dollars)
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CLIPP, juillet 2017.
Contributions en espèces à des projets, à des activités, à des mandats et autres 441 289 150 94 8
Revenus autonomes (ventes d'outils, de licences de produits et autres) 243 198 77 102 621
Autres revenus 31 13 33 8 85
Total 715 500 260 204 1 680

Commentaires de l'évaluateur sur les résultats du critère 1 (Cibles 1 à 3)

Les résultats sont jugés satisfaisants, car les trois cibles sont atteintes.

La cible 1 est atteinte, puisque la preuve de l'adéquation de la mission et des activités de l'organisme avec les objectifs du Ministère a été faite. La cible 2 est atteinte, puisque la correspondance entre la clientèle du CLIPP et celle visée par le Ministère a été démontrée. Cependant, il serait important de mettre en place des mesures afin d'arrêter la diminution de la clientèle (-65 %). La cible 3 est, elle aussi, atteinte. Toutefois, l'évaluation a constaté une diminution des revenus autonomes au cours de la période évaluée; il serait donc important d'observer un maintien, voire une augmentation de cet indicateur lors de la prochaine évaluation.

2.2 Critère 2 : Le besoin continu de l'aide financière à l'organisme

Les cibles

Il est attendu :

  1. la persistance des besoins d'intervention publique en matière de prévention psychosociale et concordance avec la mission, les orientations et les stratégies du Ministère;
  2. l'utilité et la valeur ajoutée des activités du CLIPP clairement perçue par au moins 70 % des partenaires et collaborateurs, des chercheurs et des utilisateurs;
  3. la complémentarité avec les autres organismes de la chaîne d'innovation.

Constats relatifs à la cible 4

La cible 4 est atteinte. La Politique québécoise de la jeunesse 2030, intitulée Ensemble pour les générations présentes et futures, invite tous les Québécois à considérer la jeunesse avec un regard neuf, à s'intéresser à sa vision et aux orientations qu'elle propose et à en tenir compte dans leurs processus de prise de décision. Dans cette politique, le gouvernement souligne que les défis résultant des changements démographiques doivent être relevés par un dialogue intergénérationnel où les particularités régionales sont considérées. Il y définit le cadre de son action en faveur des jeunes autour de cinq axes d'intervention, dont le premier a pour but de faire en sorte que les jeunes Québécoises et Québécois acquièrent de saines habitudes de vie, dans un environnement sécuritaire.

Cet axe de la politique s'articule autour des cinq objectifs suivants :

Ces cinq objectifs illustrent parfaitement la persistance du besoin auquel répond l'intervention publique en matière de prévention psychosociale. Comme l'horizon temporel de la Politique s'étendant jusqu'en 2030, cela démontre également que la persistance des besoins d'intervention publique dans le secteur de la prévention psychosociale sera également présente et importante dans l'avenir.

De plus, dans le budget 2017-20181, le gouvernement du Québec s'est engagé à injecter des sommes additionnelles importantes dans les secteurs prioritaires suivants :

Dans cette optique, il n'y a pas de doute que les engagements budgétaires du gouvernement du Québec en matière de services psychosociaux concordent avec la mission, les orientations et les stratégies du Ministère.

Constats relatifs à la cible 5

La cible 5 n'est pas atteinte, compte tenu du taux de reconnaissance de la valeur ajoutée qui est inférieur à 70 %. Le graphique 2.3 présente les résultats du sondage sur l'utilité du CLIPP mené auprès des utilisateurs, des chercheurs ainsi que des partenaires et collaborateurs. Parmi ces types de clientèles, ce sont les chercheurs qui présentent le taux de reconnaissance le plus faible, bien qu'une forte proportion d'entre eux (14/17) considèrent le CLIPP comme indispensable ou très utile pour la réalisation de leurs activités.

Graphique 2.3 : Utilité des activités du CLIPP

considèrent le CLIPP comme indispensable ou très utile pour la réalisation de leurs activités

Source : Sondage auprès des chercheurs, des partenaires et collaborateurs et des utilisateurs du CLIPP, MESI, septembre 2017.

Ces mêmes clientèles ont été questionnées sur certains aspects précis des activités de l'organisme. Pour ce qui est de la pertinence de ses produits, services et activités par rapport aux besoins de la clientèle, le CLIPP a été jugé comme très ou assez utile par 94 % des utilisateurs, par 14 chercheurs sur 17 et par 93 % des partenaires et collaborateurs. En ce qui a trait à son rôle de liaison avec les autres acteurs du domaine de la prévention psychosociale, il est considéré comme étant très ou assez utile par 79 % des utilisateurs, par 15 chercheurs sur 17 et par 91 % des partenaires et collaborateurs.

Le taux de reconnaissance de la valeur ajoutée du CLIPP est moins élevé que celui relatif à son utilité, comme en témoigne le graphique 2.4. En effet, 59 % des partenaires et collaborateurs, 63 % des utilisateurs et 14 chercheurs sur 17 considèrent le CLIPP comme un organisme à valeur ajoutée. Lorsque les répondants ont été appelés à préciser leur pensée, ils mentionnaient le plus souvent les formations offertes par le CLIPP en tant qu'élément contribuant à cette valeur ajoutée.

Graphique 2.4 : Valeur ajoutée du CLIPP

considèrent le CLIPP comme un organisme étant à valeur ajoutée

Source : Sondage auprès des chercheurs, des partenaires et collaborateurs et des utilisateurs du CLIPP, MESI, septembre 2017.

Constats relatifs à la cible 6

La cible 6 est atteinte. La redéfinition des pratiques professionnelles dans le réseau de la santé et des services sociaux (RSSS), la maltraitance des tout-petits, le bien-être au travail, le dépistage du VIH, le vieillissement, l'intimidation ou encore la violence conjugale en contexte homosexuel sont autant de problématiques et d'enjeux auxquels le CLIPP a contribué à trouver des solutions au cours des quatre dernières années. De plus, par son implication dans les divers réseaux de la recherche et de l'intervention psychosociale et par sa participation aux initiatives de concertation du Ministère, le CLIPP est une partie prenante active du milieu de l'innovation. À titre d'exemple, l'organisme :

La complémentarité du CLIPP dans la chaîne d'innovation est également confirmée par sa clientèle. Le graphique 2.5 illustre, pour chaque type de clientèle, le pourcentage ou la proportion de celle-ci qui ne connaît pas d'autres organismes ou fournisseurs québécois comparables au CLIPP ou qui considère ce dernier comme complémentaire aux autres organismes ou fournisseurs québécois. Les données présentées au graphique 2.5 permettent d'affirmer que le CLIPP est complémentaire aux autres organismes de la chaîne d'innovation. Lorsqu'on leur a demandé de préciser les aspects qui différencient le CLIPP des autres organismes, la plupart des répondants ont mentionné sa prise en considération des connaissances issues de la recherche, les compétences de son personnel, son réseau de relations ainsi que la qualité et la diversité de ses produits, services et activités.

Graphique 2.5 : Complémentarité du CLIPP avec les autres organismes de la chaîne d'innovation

Utilisateurs

Partenaires et collaborateurs

Chercheurs

Source : Sondage auprès des chercheurs, des partenaires et des collaborateurs et des utilisateurs du CLIPP, MESI, octobre 2017.

Commentaires de l'évaluateur sur les résultats du critère 2 (Cibles 4 à 6)

Les résultats sont jugés partiellement satisfaisants, car deux des trois cibles sont atteintes. Au total, 87 % de la clientèle perçoit l'utilité et la valeur ajoutée du CLIPP. Cependant, si le taux de reconnaissance de son utilité dépasse le seuil visé de 70 %, ce n'est pas le cas de celui de sa valeur ajoutée (62 %). C'est pour cette raison que la cible 5 n'est pas atteinte.

La cible 4 est atteinte, puisque la démonstration de la persistance du besoin auquel répond l'intervention publique en matière de prévention psychosociale a été démontrée, notamment grâce aux objectifs que s'est fixés le gouvernement du Québec dans la Politique québécoise de la jeunesse 2030 Ensemble pour les générations présentes et futures. La cible 6 est elle aussi atteinte, puisque la complémentarité du CLIPP et des autres organismes de la chaîne d'innovation a été démontrée. De plus, par l'intermédiaire du sondage, les trois types de clientèles du CLIPP se sont prononcés sur l'unicité et la complémentarité de l'organisme. Les utilisateurs ont fortement reconnu la complémentarité du CLIPP. Toutefois, l'opinion des chercheurs et des partenaires et collaborateurs est beaucoup plus nuancée. Le CLIPP est invité à démontrer qu'il est complémentaire des autres organismes de la chaîne d'innovation auprès de ces deux types de clientèles

2.3 Critère 3 : L'efficience du modèle d'intervention du Ministère

Les cibles

Il est attendu :

  1. un effet de levier de l'aide financière du Ministère d'au moins 0,50;
  2. des coûts de revient jugés raisonnables des principaux résultats obtenus.

Constats relatifs à la cible 7

La cible 7 est atteinte. Le financement du MESI étant de 3,23 M$ et tous les autres revenus de 2,04 M$, l'effet de levier de l'aide financière du Ministère est de 0,63.

À titre d'information complémentaire, l'effet de levier de l'aide financière gouvernementale est calculé en faisant le rapport entre les revenus autonomes additionnés aux apports des collaborateurs et des partenaires et divisé par le l'ensemble de l'aide financière des différents paliers gouvernemental. Cette dernière est de 0,47. Le calcul est basé sur des revenus autonomes et des apports des collaborateurs et des partenaires de 1,68 M$ et un financement de l'aide gouvernementale de 3,59 M$.

Constats relatifs à la cible 8

La cible 8 est atteinte. Entre 2014 et 2017, 105 projets ont été réalisés et 447 chercheurs ont participé aux activités du CLIPP. Le coût de revient de ces deux éléments a été calculé en fonction de l'aide financière du Ministère. Comme le présente le graphique 2.8, en moyenne, le coût de revient est de 7 234 $ par chercheur participant et de 30 796 $ par projet réalisé. Par rapport aux coûts de revient des deux autres organismes de liaison et de transfert en innovation sociale (OLTIS) financés par le Ministère, le CLIPP fait bonne figure tant pour les projets réalisés que pour les chercheurs participants (soit les deux catégories pour lesquelles des données sur le coût de revient sont disponibles).

Commentaires de l'évaluateur sur les résultats du critère 3 (Cibles 7 à 8)

Les résultats sont jugés satisfaisants, car les deux cibles sont atteintes et l'effet de levier du financement du Ministère (cible 7) est de 0,63, soit une valeur supérieure à 0,50. Le second effet de levier calculé est quant à lui de 0,47.

La cible 8 est également atteinte, puisque les coûts de revient des deux éléments analysés sont raisonnables. Il est important de rappeler que l'évaluation n'a pas calculé le coût de revient pour rejoindre la clientèle. En effet, la collecte des données du CLIPP n'était pas compatible avec les données requises par l'évaluation. À ce propos, il serait pertinent de modifier la collecte de données interne du CLIPP par rapport à la clientèle rejointe afin d'être en mesure de calculer le coût de revient de rejoindre la clientèle lors de la prochaine évaluation.

Chapitre 3 : L'efficacité de l'organisme

3.1 Critère 4 : L'atteinte des résultats visés

Les cibles

Il est attendu :

  1. la réalisation de cinq des six grandes orientations de la planification stratégique 2015-2018;
  2. la présence d'activités, des produits et des services de liaison, de veille et de transfert;
  3. l'utilisation des produits et des services acquis par les milieux preneurs;
  4. un taux de satisfaction de 75 % des partenaires, des chercheurs et des utilisateurs.

Constats relatifs à la cible 9

La cible 9 est atteinte. Au cours de la période évaluée, le CLIPP a modifié, de concert avec le Ministère, les objectifs de son plan triennal. Ceux-ci sont passés de cinq à six, en plus de changer d'orientation. La cible a donc été amendée afin de tenir compte de cette nouvelle réalité. Les nouveaux objectifs du plan triennal sont les suivants :

Les six objectifs du plan triennal du CLIPP ont été atteints. D'ailleurs, plusieurs indicateurs de la présente évaluation sont en lien direct avec ces objectifs. L'atteinte des cibles reliées à ces indicateurs démontre une fois de plus le degré de réalisation (100 %) des grandes orientations du plan triennal. À titre indicatif, voici les cinq objectifs du plan d'action 2015-2018 qui ont été remplacés par les six précédemment mentionnés :

Constats relatifs à la cible 10

La cible 10 est atteinte. Comme le démontre la partie supérieure du tableau 3.1, les activités, produits et services de liaison ont connu une augmentation entre 2014 et 2017, pour atteindre un total de 100. De plus, une hausse spectaculaire a eu lieu en 2015, en partie grâce au nombre élevé de consultations du CLIPP à titre d'expert-conseil. En ce qui concerne les livrables de veille et de transfert, ils ont été plutôt stables au cours de la période évaluée, passant de 90 en 2014 à 92 en 2017, pour un total de 294. Concrètement, la veille et le transfert se traduisent, entre autres, par l'organisation d'évènements, comme la journée TRASSS ou les Midis TC (transfert de connaissances), la participation à des rencontres Wisdom2Action du réseau canadien CYCC, le soutien à des demandes de subvention de chercheurs ou encore l'implication dans l'Équipe RENARD (Recherche sur les effets non académiques de la recherche et ses déterminants), qui compte une soixantaine de partenaires de la recherche et de la pratique en transfert de connaissances.

Tableau 3.1 : Inventaires des activités, produits et services de liaison, de veille et de transfert du CLIPP
Activité, produits et services de liaison
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CLIPP, juillet 2017.
Articles de presse et autres communications grand public 8 13 11 13 45
Activités de diffusion d'information 2 3 - 2 7
Consultations à titre d'expert-conseil 6 18 5 12 41
Autres activités, produits et services de diffusion 2 3 2 - 7
Sous-total 18 37 18 27 100

Livrables de veille et de transfert
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CLIPP, juillet 2017.
Nombre de projets de transfert réalisés ou en cours de réalisation 27 27 29 26 105
Nombre de produits spécifiques de transfert 3 8 3 1 15
Nombre de bulletins d'informations électroniques ou format papier 10 11 12 11 44
Nombre de publications associées à des activités de transfert 10 2 - 3 15
Nombre d'activités de formation 11 27 23 12 73
Nombre d'activités de transfert 11 5 8 15 39
Nombre de produits de veille - 1 1 1 3
Autres activités, produits et services de veille et de transfert - - - - -
Sous-total 72 81 76 69 294
Total 90 118 94 92 394

Total des activités, produits et services de liaison, de veille et de transfert du CLIPP
2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CLIPP, juillet 2017.
90 118 94 92 394

Constats relatifs à la cible 11

La cible 11 est atteinte. En analysant les données présentées dans le tableau 3.2, il est possible d'observer une diminution dans le nombre de produits et services acquis par les milieux utilisateurs. Le CLIPP explique en partie cette tendance par l'arrêt de la vente de certaines trousses dont les données n'étaient plus à jour et pour lesquelles les chercheurs du projet original n'avaient plus d'intérêt. En outre, la demande est plus forte pour les activités de soutien et d'accompagnement, qui ont gagné en importance dans les dernières années.

Tableau 3.2 : Nombre de produits et services acquis par les milieux utilisateurs
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CLIPP, juillet 2017.
Trousses 308 257 164 152 881
Guides 330 301 148 171 950
Formations 11 27 23 12 73
Dépliants - - - - -
Autres produits et services 2 287 970 371 588 4 216
Total 2 936 1 555 706 923 6 120

Constats relatifs à la cible 12

La cible 12 est atteinte. Les clientèles du CLIPP sont satisfaites de l'ensemble de leur collaboration avec ce dernier. En effet, les 17 chercheurs interrogés se sont dits très ou assez satisfaits, 96 % des partenaires et collaborateurs ont la même opinion, tandis que 81 % des utilisateurs se considèrent comme très ou assez satisfaits de l'ensemble de leur collaboration avec l'organisme.

Les clientèles du CLIPP ont également été interrogées sur certains aspects précis de leur collaboration avec ce dernier. Les éléments qui ont obtenu les plus hauts taux de satisfaction sont la qualité des projets et des activités, la qualité des échanges avec le personnel ainsi que le soutien du CLIPP.

Commentaires de l'évaluateur sur les résultats du critère 4 (Cibles 9 à 12)

Les résultats sont jugés satisfaisants, car les quatre cibles sont atteintes. Notons cependant que le taux de satisfaction des partenaires et collaborateurs, des chercheurs et des utilisateurs (cible 12) est de 83 %, ce qui est inférieur à 85 %.

La cible 9 est atteinte, puisque les six objectifs du plan triennal ont été réalisés. La cible 10 est également atteinte, vu la présence avérée d'activités, de produits et de services de liaison ainsi que de livrables de veille et de transfert. Enfin, la cible 11 est atteinte, car il a été possible de constater l'utilisation des produits et services acquis par les milieux preneurs. Toutefois, il serait intéressant d'arrêter la tendance qui a été observée dans l'importante diminution du nombre total de produits et services (voir tableau 3.2). Comme il a préalablement mentionné, cette diminution est fort probablement causée par la réorientation qu'a amorcée le CLIPP afin de mieux répondre aux besoins de sa clientèle de chercheurs. La prochaine évaluation pourra démontrer si cette réorientation a porté fruit.

3.2 Critère 5 : Les pratiques de gestion de l'organisme

Les cibles

Il est attendu :

  1. la présence de saines pratiques de gestion;
  2. pour les années 2015-2016 et 2016-2017, la présence de dépôt de projets au processus de sélection de projets du MESI représentant un minimum de 50 % de la subvention de fonctionnement;
  3. une part des frais d'administration et de gestion représentant au plus 10 % des dépenses totales;
  4. une utilisation des fonds alloués par le Ministère conforme aux conventions de subvention.

Constats relatifs à la cible 13

La cible 13 est atteinte. Depuis sa création, le CLIPP a toujours déposé des plans stratégiques et des plans d'action s'étalant sur un à trois ans. De plus, il s'est doté de politiques de ressources humaines. Au cours de l'exercice 2016-2017, une analyse de risques en bonne et due forme a été amorcée avec l'aide d'une experte de l'Université de Montréal.

Chaque année, le CLIPP ouvre ses portes à une firme de spécialistes en vérification comptable. En plus de son conseil d'administration (C. A.), il a un comité d'éthique ainsi qu'un comité des finances et des ressources humaines, tous deux formés de membres du C. A. Il est également doté d'un comité de direction interne composé de la direction générale, de la direction de l'évaluation et de la direction des communications.

Constats relatifs à la cible 14

La cible 14 est atteinte. Les projets de veille et de transfert naissent d'une demande des milieux utilisateurs ou des chercheurs. Quand une demande lui est acheminée, le CLIPP se réunit avec les personnes ou organismes concernés par le projet ou le besoin afin d'élaborer un projet qui correspond à la mission de l'organisme et aux réalités de toutes les parties.

En 2016, le CLIPP a déposé trois projets au processus de sélection du Ministère, pour un total de 625 394 $, ce qui représente 104 % des 600 k$ de la subvention de fonctionnement. Un des trois projets a été refusé, ce qui porte le montant total des projets acceptés à 469 922 $, soit 78,3 % de la subvention. En 2017, le CLIPP n'a pu soumettre de projet, puisque le Ministère n'a pas ouvert de concours.

Constats relatifs à la cible 15

La cible 15 n'est pas atteinte. Au cours de la période évaluée, le pourcentage des frais administratifs et de gestion par rapport aux dépenses totales de l'organisme est de 23 %, soit 13 % au-dessus de l'objectif de 10 %. Même en analysant séparément chacune des quatre années évaluées, on constate que les frais administratifs et de gestion n'ont jamais été inférieurs ou égaux à 10 %.

Constats relatifs à la cible 16

La cible 16 est atteinte. De 2014 à 2017, le ratio d'utilisation des fonds consentis par le Ministère au CLIPP est de 100 %. Comme cela est présenté dans le graphique 3.4, pour l'ensemble de la période évaluée, 19 % des 3,23 M$ reçus du Ministère ont été utilisés pour financer les activités de liaison, de veille et de transfert, et 24 % des fonds ont couvert les frais de gestion et de fonctionnement. Finalement, 57 % de la subvention a servi à d'autres dépenses.

Graphique 3.4 : Utilisation des fonds alloués par le Ministère

Montant total de la subvention reçue du MESI : 3,23 M$

Source : Requête d'information CLIPP Juillet 2017.

Commentaires de l'évaluateur sur les résultats du critère 5 (Cibles 13 à 16)

Les résultats sont jugés satisfaisants, car trois des quatre cibles sont atteintes. En effet, la cible 15 n'a pas été atteinte, puisque les frais administratifs et de gestion du CLIPP sont, pour la période évaluée, de 23 %, alors que la cible stipulait qu'ils devraient être d'au plus 10 %. Au cours des quatre années évaluées, ces frais ont diminué, passant de 24 % en 2014 à 20 % en 2017. Toutefois, cet indicateur n'a jamais été inférieur à 20 %. Il serait important de prendre certaines mesures afin de faire diminuer rapidement les frais administratifs et de gestion, étant donné qu'ils dépassent de 13 % l'objectif fixé.

La cible 13 est atteinte, car le CLIPP a su faire la démonstration qu'il a mis en place de saines pratiques de gestion. La cible 14 est également atteinte, puisqu'en 2016, l'organisme a déposé des projets au processus de sélection du Ministère qui représentaient 104 % de la subvention de fonctionnement. Un des projets a été refusé, ce qui fait en sorte que les projets acceptés équivalaient à 78,3 % de la subvention.

Enfin, la cible 16 est aussi considérée comme étant atteinte, étant donné que l'utilisation des fonds alloués au CLIPP par le Ministère s'est faite en conformité avec la convention de subvention. Toutefois, lors de la prochaine évaluation, il serait intéressant de diviser la catégorie « autres dépenses », compte tenu de son importance dans les dépenses totales.

3.3 Critère 6 : Le modèle d'affaires et de gouvernance de l'organisme

Le cibles

Il est attendu :

  1. un conseil d'administration représentatif des milieux preneurs;
  2. la présence de partenariats et de collaborations avec d'autres acteurs du système québécois d'innovation;
  3. que toutes les aides financières gouvernementales représentent un maximum de 80 % des dépenses totales du CLIPP;
  4. une proportion raisonnable des budgets des projets et des activités admissibles financés par les clients et les partenaires.

Constats relatifs à la cible 17

La cible 17 est atteinte. Le conseil d'administration regroupe huit administrateurs et deux observateurs. Les milieux de l'écosystème du CLIPP sont reflétés dans la composition de son conseil d'administration. Actuellement, on compte des membres issus des centres jeunesse, de l'Institut national d'excellence en santé et en services sociaux (INESSS), des universités, des fonds de recherche québécois et canadiens, du privé et du collégial. En plus d'être soucieux de cette représentativité, le CLIPP s'assure de composer un C. A. interdisciplinaire. Ainsi, quand un membre du C. A. quitte ses fonctions, l'objectif est de le remplacer par quelqu'un qui vient d'un milieu pouvant ou devant être lié au CLIPP et qui possède une ou des expertises complémentaires (comptabilité, gestion des ressources humaines, etc.).

Constats relatifs à la cible 18

La cible 18 est atteinte. Le tableau 3.3 présente la ventilation des divers partenariats et collaborations que le CLIPP a établis et maintenus entre 2014 et 2017. Même si le nombre de partenariats au cours de la période évaluée est peu élevé, il a tout de même progressé. En effet, il est passé de trois en 2014 à six, en 2017. En ce qui a trait aux collaborations, elles sont beaucoup plus nombreuses. Cependant, de 2014 à 2017, leur nombre annuel a été en légère diminution, passant de 69 en 2014 à 62 en 2017. Dans tous les cas, le CLIPP a constaté que les organismes du secteur de la recherche semblent naturellement enclins à conclure des partenariats ou des collaborations avec lui.

Tableau 3.3 : Inventaire des partenariats et des collaborations
Partenariats
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CLIPP, juillet 2017.
Nombre de partenariats avec le secteur de la recherche publique et privée 3 2 3 4 12
Nombre de partenariats avec le milieu de la prévention psychosociale - - 2 1 3
Nombre de partenariats avec les acteurs locaux ou régionaux du soutien à l'innovation - - 1 - 1
Nombre de partenariats avec les autres organismes de transfert technologique - - - - -
Nombre de partenariats avec les bailleurs de fonds - 1 1 1 3
Nombre total de partenariats 3 3 7 6 19

Collaborations
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CLIPP, juillet 2017.
Nombre de partenariats avec le secteur de la recherche publique et privée 40 41 37 25 143
Nombre de partenariats avec le milieu de la prévention psychosociale 15 14 4 13 46
Nombre de partenariats avec les acteurs locaux ou régionaux du soutien à l'innovation 10 7 7 7 31
Nombre de partenariats avec les autres organismes de transfert technologique - - - 6 6
Nombre de partenariats avec les bailleurs de fonds 4 4 5 5 18
Nombre total de collaborations 69 66 60 62 263

Constats relatifs à la cible 19

La cible 19 est atteinte. Le tableau 3.4 présente le cumul des aides financières gouvernementales par rapport aux dépenses totales du CLIPP. À cet égard, il est possible de constater que le pourcentage maximal d'aide financière gouvernementale dans les dépenses du CLIPP représentait 65 % en 2014. Ce pourcentage a atteint son plus bas niveau en 2016 alors qu'il était de 51 %. Pour l'ensemble de la période évaluée, l'ensemble des aides financières a représenté en moyenne 61 % des dépenses totales de l'organisme.

Tableau 3.4 : Cumul des aides financières gouvernementales (en milliers de dollars)
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CLIPP, juillet 2017.
Aide financière du MESI 1 195 k$ 1035 k$ 600 k$ 774 k$ 3 604 k$
Aide financière municipale - - - - -
Aide financière consentie par un autre ministère du gouvernement du Québec - 1,5 k$ 1,3 k$ 0,2 k$ 3 k$
Aide financière du gouvernement fédéral - - - - -
Total des aides financières gouvernementales 1 195 k$ 1 036,5 k$ 601,3 k$ 774,2 k$ 3 607 k$
Total des dépenses de l'organisme 1 832 k$ 1 621 k$ 1 775 k$ 1 251 k$ 5 879 k$
Pourcentage de l'aide financière dansles dépenses totales du CLIPP 65 % 64 % 51 % 62 % 61 %

Constats relatifs à la cible 20

La cible 20 est atteinte. Le tableau 3.5, à la page suivante, présente la proportion des budgets de projets du CLIPP qu'assume chacune des parties concernées. Pour l'ensemble de la période évaluée, 15 % de ces budgets ont été financés par les partenaires et les collaborateurs, ce qui peut être considéré comme étant raisonnable. De la première à la dernière année évaluée, la proportion assumée par cette clientèle a diminué de près de 8 %.

Il est important de préciser le montage financier des divers projets du CLIPP afin d'être en mesure de relativiser l'importance du budget financé par l'organisme dans le budget total des projets. C'est le CLIPP qui élabore ce montage, lequel est entièrement assumé par les bailleurs de fonds. Toutefois, le CLIPP participe quand même aux projets en facturant sa prestation aux partenaires ou aux utilisateurs par l'intermédiaire d'une entente de service. Il investit aussi un nombre important d'heures « non facturées », entre autres pour écrire les ententes ou les plans de transfert dans le cas des demandes de subvention des chercheurs. Pour les données du tableau 3.5, le CLIPP a fourni une estimation précise de ce nombre d'heures en valeur monétaire (basée sur un taux horaire de 85 $ de l'heure). C'est pour cette raison que le pourcentage des budgets financé par les partenaires et collaborateurs peut sembler faible.

Tableau 3.5 : Part des budgets des projets financée par les collaborateurs et les partenaires (en milliers de dollars)
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CLIPP, juillet 2017.
Budget assumé par le CLIPP 1 195 1 035 600 774 3 604
Budget assumé par les utilisateurs - - - - -
Budget assumé par les partenaires et collaborateurs - 1,5 1,3 0,2 3
Budget total des projets 1 832 1 621 1 775 1 251 5 879
Pourcentage des budgets financés par les partenaires et les collaborateurs 21 % 17 % 9 % 13 % 15 %

Commentaires de l'évaluateur sur les résultats du critère 6 (Cibles 17 à 20)

Les résultats sont jugés très satisfaisants, car les quatre cibles sont atteintes. Les aides financières gouvernementales (cible 19) représentent 61 % des dépenses totales du CLIPP. Ce résultat se trouve largement sous le pourcentage maximal fixé (80 %).

De plus, la cible 17 est atteinte, car le CLIPP a démontré que son conseil d'administration est composé de membres représentant adéquatement les divers milieux preneurs.

La cible 18 est également atteinte, puisqu'il y a présence de partenariats et de collaborations avec d'autres acteurs du système québécois d'innovation. Plus précisément, de 2014 à 2017, le nombre de partenariats a augmenté, tandis que le nombre de collaborations a légèrement diminué.

Enfin, la cible 20 est atteinte étant donné qu'une proportion raisonnable (15 %) des budgets de projets du CLIPP est financée par les partenaires et collaborateurs. Toutefois, pour relativiser l'importance du budget assumé par l'organisme, il faut prendre en considération le fait que le montage financier est effectué par ce dernier et que des estimations en valeur monétaire (85 $ de l'heure) du nombre important d'heures « non facturées » par l'organisme ont été utilisées dans l'évaluation.

Chapitre 4 : Les effets de l'organisme

4.1 Critère 7 : Les effets dans le domaine de la recherche

Les cibles

Il est attendu :

  1. la contribution de l'organisme à la formation d'étudiants de niveaux collégial et universitaire;
  2. la participation des chercheurs aux projets de l'organisme;
  3. une perception positive d'au moins 60 % des chercheurs en ce qui concerne les retombées des projets de l'organisme.

Constats relatifs à la cible 21

La cible 21 est atteinte. Au cours de la période évaluée, le CLIPP a accueilli onze étudiants du collégial et de l'université dont les mandats de stage étaient très diversifiés : évaluation, communication, transfert de connaissances, recherche et même graphisme.

Graphique 4.1 : Contribution à la formation d'étudiants

Source : Requête d'information CLIPP, juillet 2017.

Par l'intermédiaire de ces stages, les étudiants ont pu acquérir les savoirs, les savoir-faire et les savoir-être nécessaires à leur pratique et à leurs habiletés professionnelles. Certains outils ou bases de données qu'ils ont créés sont toujours utilisés, ce qui en démontre la valeur pour une organisation.

Le CLIPP fournit toujours à ses stagiaires une lettre de recommandation faisant état de leurs réalisations dans le cadre du stage. Il entretient en outre des liens avec des étudiants (par exemple dans des équipes de recherche comme RENARD), les sensibilise au transfert de connaissances ou leur offre du soutien, entre autres sous forme de mentorat. Il a notamment participé aux retraites Thèsez-vous?, dont les activités visent à aider les étudiantes et étudiants dans la rédaction de mémoires, de thèses, de rapports d'activités, d'articles scientifiques ou de travaux scolaires.

Constats relatifs à la cible 22

La cible 22 est atteinte. Le tableau 4.1 présente le nombre de chercheurs qui ont pris part annuellement aux projets de l'organisme. En moyenne, pour l'ensemble de la période évaluée, 112 chercheurs par année ont participé aux divers projets du CLIPP.

Tableau 4.1 : Chercheurs participants aux projets de recherches
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CLIPP, juillet 2017.
Nombre de chercheurs participant aux projets du CLIPP 118 101 124 104 447

Constats relatifs à la cible 23

La cible 23 est atteinte. Dans le cadre du sondage, les chercheurs ont été questionnés par rapport aux retombées qui ont découlé de leur collaboration avec le CLIPP. Les résultats complets sont présentés dans le tableau 4.2. Les retombées le plus fréquemment mentionnées par les chercheurs sont la création d'emplois dans le domaine de la recherche, du transfert et de l'innovation ou en prévention psychosociale (14/17) ainsi que le rayonnement international de la recherche québécoise dans le domaine de la prévention psychosociale (13/17).

Lorsqu'ils ont été interrogés sur d'autres retombées dont ils auraient profité, les chercheurs ont mentionné, entre autres, l'occasion d'une collaboration entre plusieurs domaines, une possibilité de projets avec de nouvelles personnes ainsi qu'une offre accessible de contenu déjà prêt et vulgarisé.

À l'aide des résultats présentés dans le tableau 4.2, on a créé un indice afin de connaître le pourcentage de chercheurs qui ont une perception positive des retombées des projets du CLIPP. L'indice démontre que 88 % d'entre eux ont une telle perception.

Tableau 4.1 : Chercheurs participants aux projets de recherches
(Question : Selon vous, les projets et activités du CLIPP vous ont permis…) (Pourcentage)
Source : Sondage auprès des chercheurs du CLIPP, MESI, septembre 2017.
*** Cet indicateur est le fruit d'un indice à items multiples, dont la fiabilité a été vérifiée par alpha de Cronbach (α = 0,7).
... de créer des emplois dans le domaine de la recherche, du transfert et de l'innovation ou en prévention psychosociale; 14/17
... de favoriser le rayonnement international de la recherche québécoise dans le domaine de la prévention psychosociale; 13/17
... d'avoir un accès privilégié à des terrains d'expérimentation; 12/17
... d'avoir un plus grand prestige auprès de la communauté d'affaires (secteur public inclus); 12/17
... d'avoir une meilleure connaissance des problématiques et des besoins des organisations; 12/17
... d'avoir un meilleur accès à des fonds de recherche et des fonds favorisant le transfert de connaissances; 12/17
... d'augmenter le nombre de publications scientifiques; 12/17
... d'établir un maillage interuniversitaire; 12/17
... d'avoir un plus grand prestige auprès de la communauté de chercheurs universitaires et collégiaux; 11/17
... d'établir un meilleur maillage entre les différents acteurs du domaine de la recherche et de l'intervention en prévention psychosociale; 10/17
... de contribuer à l'amélioration des modalités de transfert; 9/17
... une ou des participations à un ou des projets multidisciplinaires (y compris interuniversitaires); 9/17
... de bénéficier d'autres retombées. 7/17
Indice de perception positive des retombées des projets du CLIPP 88 %***

Commentaires de l'évaluateur sur les résultats du critère 7 (Cibles 21 à 23)

Les résultats sont jugés très satisfaisants, car les trois cibles sont atteintes et l'évaluation montre que 88 % des chercheurs ont une perception positive des retombées des projets de l'organisme (cible 23).

De plus, la cible 21 est atteinte, puisque la contribution du CLIPP à la formation d'étudiants collégiaux et universitaires ne fait pas de doute. Enfin, la cible 22 est aussi atteinte. En effet, à l'exemple de celle des étudiants, la participation des chercheurs aux projets du CLIPP a été démontrée.

4.2 Critère 8 : Les effets des activités de l'organisme sur les milieux utilisateurs

Les cibles

Il est attendu :

  1. l'appropriation de nouvelles connaissances et de nouveaux savoir-faire par les milieux preneurs;
  2. des effets des innovations sociales sur les milieux preneurs;
  3. la présence de trois cas à succès.

Constats relatifs à la cible 24

La cible 24 est atteinte. Le graphique 4.2 présente les principaux changements opérés dans les milieux utilisateurs à la suite de l'utilisation des produits et services du CLIPP. Parmi les répondants de ces milieux, 89 % ont mentionné avoir établi des liens ou des partenariats avec des chercheurs du milieu universitaire ou collégial, tandis que 85 % se sont approprié de nouveaux procédés et de nouvelles approches ou interventions. De plus, 83 % ont affirmé avoir connu une amélioration des compétences du personnel. Le même pourcentage de répondants a établi des liens ou des partenariats avec d'autres organisations ou d'autres acteurs.

Graphique 4.2 : Appropriation des nouvelles connaissances et de nouveaux savoir-faire par les milieux preneurs

Source : Requête d'information CLIPP, juillet 2017.

Constats relatifs à la cible 25

La cible 25 est atteinte. En plus d'apporter de nouvelles connaissances et de nouveaux savoir-faire aux milieux preneurs, le CLIPP contribue à leur appropriation des innovations sociales. Les milieux preneurs se sont prononcés positivement à l'égard des effets de ces innovations. Parmi les effets fréquemment mentionnés par les répondants du sondage, on note la sensibilisation ou la formation des praticiens, professionnels et autres intervenants du secteur de la prévention (68 %), la révision des modes d'intervention auprès de leurs clientèles (54 %), l'introduction de nouvelles façons de faire au sein de leur organisation (43 %) ainsi que la réalisation d'économies de coûts dans la prestation de services (42 %).

Constats relatifs à la cible 26

La cible 26 est atteinte.

Cas à succès no 1 – Le projet TRASSS : des pratiques innovantes au service… des services

Le projet TRASSS a mis à l'avant-scène les centres affiliés universitaires (CAU) et les instituts universitaires (IU) à vocation sociale au Québec. À l'époque, ces organisations, au nombre de onze, souhaitaient construire des stratégies de transfert et de mobilisation de connaissances (TMC) autour de pratiques innovantes ou de pointe qu'elles avaient élaborées afin d'en faciliter l'appropriation et l'implantation par d'autres établissements du réseau de la santé et des services sociaux (RSSS) qui le jugeaient utile. Ultimement, ce grand projet visait à améliorer les services donnés à la population grâce à la coconstruction de ces stratégies et pratiques.

Le CLIPP a assumé le leadership et la gestion du projet, avec le concours d'un comité directeur et d'un comité de coordination créé spécialement pour l'occasion. Un comité de sélection a choisi deux CAU et deux IU dont les pratiques innovantes ou de pointe s'appuyaient sur des connaissances scientifiques et avaient de fortes probabilités d'être pérennes.

Chacun de ces CAU et IU a été appelé à créer une communauté de praticiens (CdP) intégrant les établissements intéressés par la pratique innovante ou de pointe concernée. Ces CdP devaient élaborer une stratégie de TMC visant à favoriser l'appropriation de cette pratique. Le CLIPP a également offert des ressources spécialisées aux quatre CdP créées afin de les aider à effectuer leur mandat. Le projet TRASSS a mobilisé plus de 250 personnes travaillant au sein du RSSS de plusieurs régions du Québec.

Cas à succès no 2 – Du FPSJA vers le modèle PCR

En 2016, le CLIPP et le Centre d'études interdisciplinaires sur le développement de l'enfant et la famille (CEIDEF) ont piloté la phase 1 du projet Comprendre pour agir, un processus de mobilisation des connaissances tacites et scientifiques visant à documenter les obstacles au signalement rencontrés par le personnel des milieux de garde au Québec. La nécessité d'examiner cette réalité reposait sur le fait qu'en 2012, seulement 1,4 % des signalements faits à la Direction de la protection de la jeunesse (DPJ) provenait du personnel de ces milieux.

Ce processus de mobilisation des connaissances comprenait trois grandes étapes :

  1. une recension des écrits sur le signalement en milieu scolaire et de garde ainsi que sur les processus cognitifs touchant à la prise de décision;
  2. la tenue de groupes de discussion dans cinq milieux de garde pour connaître les réalités qui y sont vécues en lien avec le signalement;
  3. une journée de réflexion collective visant à établir des pistes de solution.

Ces activités ont permis de déterminer les obstacles au signalement, qui concernent autant la formation du personnel des milieux de garde et les conflits intérieurs qu'il vit que la méconnaissance réciproque entre ces milieux et la DPJ. De plus, la mobilisation des acteurs des milieux concernés a contribué à la proposition de pistes de solution. Ces dernières doivent maintenant faire l'objet d'un processus de transfert de connaissances, ce qui est proposé dans la deuxième phase du projet.

Le CLIPP travaille présentement à créer les partenariats nécessaires pour soutenir cette deuxième phase qui, ultimement, aboutira à deux types de livrables :

  1. des outils d'aide à la décision destinés aux décideurs et aux gestionnaires en position d'implanter les stratégies qui auront été énoncées, conceptualisées et développées par les milieux concernés;
  2. des outils pour guider des interventions dans les milieux de garde et permettre de répondre à des besoins énoncés par ces milieux.
Cas à succès no 3 – Des intervenants outillés pour dépister les retards chez les tout-petits

Créée et diffusée par le CLIPP et ses partenaires dans les milieux de la petite enfance, la grille d'évaluation du développement de l'enfant (GED) est un outil d'évaluation standardisé qui permet de vérifier si un enfant de 0 à 5 ans présente un retard de développement sur le plan cognitif, langagier, moteur et socioaffectif.

Conçu sous la forme d'une trousse, cet outil peut être administré par tout intervenant qui travaille en petite enfance. Il constitue une première étape à réaliser auprès de l'enfant afin d'établir un potentiel retard de développement et de déterminer si, dans un deuxième temps, la consultation d'un professionnel est requise. Simple, peu coûteux, rapide à administrer et facile à interpréter, il produit des données concrètes sous forme de rapport facilitant le transfert des résultats aux parents de l'enfant et, au besoin, aux professionnels de la santé.

La demande a d'abord émergé des centres jeunesse de Montréal, qui avaient besoin d'un outil convivial pour mieux intervenir auprès des enfants. L'élaboration d'un partenariat entre l'Université du Québec à Montréal (UQAM), l'Université de Montréal (UdeM) et des intervenants des centres jeunesse de Montréal et de la DPJ a permis le projet de recherche. Le CLIPP avait alors pour rôle d'adapter et de diffuser l'outil, en plus de concevoir et de donner une formation sur son utilisation.

La grille et la formation qui l'accompagne sont sans aucun doute les deux produits les plus vendus du CLIPP. L'outil répond toujours à un besoin dans les milieux de la petite enfance. À en juger par les réactions des participants lors de la formation, celle-ci répond toujours, elle aussi, à un besoin. Les intervenants dans les milieux de garde et dans le réseau de la santé sont les principaux utilisateurs de l'outil.

Récemment, la grille a été traduite en anglais sous le nom de Child Development Assessment Scale (CDAS) et une démarche est en cours pour la diffuser dans les milieux de la petite enfance anglophones de l'île de Montréal. Il est également question de la valider auprès d'enfants autochtones, voire auprès d'enfants congolais. En effet, une délégation du Congo est venue rencontrer la direction du CLIPP en mars 2017 pour démarrer un tel projet de validation.

Enfin, des chercheurs de la Suisse italienne ont récemment communiqué avec le directeur responsable de cet outil au CLIPP, car ils comptent effectuer sa traduction, sa validation et sa normalisation en italien.

Commentaires de l'évaluateur sur les résultats du critère 8 (Cibles 24 à 26)

Les résultats sont jugés très satisfaisants, car les trois cibles sont atteintes. L'évaluation conclut que les innovations sociales ont eu des effets probants sur les milieux utilisateurs, ce qui est confirmé par les résultats du sondage ainsi que par la description des cas à succès (cible 25).

La cible 24 est aussi considérée comme atteinte, puisque, comme le démontre fortement le sondage auprès des milieux preneurs, ceux-ci se sont approprié de nouvelles connaissances et de nouveaux savoir-faire.

Enfin, la cible 26 est atteinte, puisque le CLIPP a fait la démonstration de la présence d'au moins trois cas à succès parmi plusieurs possibilités.

4.3 Critère 9 : Les retombées socioéconomiques

Les cibles

Il est attendu :

  1. la présence de retombées économiques;
  2. la présence de retombées sociales.

Constats relatifs à la cible 27

La cible 27 est atteinte. Le graphique 4.4 présente les principales retombées économiques du CLIPP. Étant donné qu'il s'agit d'un organisme d'innovation sociale, ses retombées se manifestent à long terme et sont plus difficiles à estimer. L'évaluation est tout de même en mesure de quantifier certaines d'entre elles. Tout d'abord, les apports des partenaires et collaborateurs aux projets et activités ont totalisé 974 k$.

Graphique 4.4 : Investissements et ventes générés par les projets

Source : Requête d'information CLIPP, juillet 2017.

Par l'intermédiaire des divers projets et activités qu'il a réalisés au cours de la période évaluée, le CLIPP a aussi engrangé des revenus autonomes de 621 k$ provenant des ventes d'outils, de licences et de produits. Enfin, les autres revenus totalisent 85 k$.

Constats relatifs à la cible 28

La cible 28 est atteinte. Lorsqu'on réfléchit aux retombées économiques que peut avoir un organisme comme le CLIPP, il faut le faire sous l'angle des coûts qu'engendrerait son absence.

Tout d'abord, il n'est plus à démontrer qu'agir sur les risques, les enjeux et les problématiques de nature psychosociale permet d'éviter des dépenses non seulement à l'État, mais aussi aux organisations, qu'elles soient publiques ou privées, par exemple en matière d'indemnisation, de réparation, d'hospitalisation, d'inspection, d'absentéisme ou même, dans des cas plus graves, de sécurité publique. Les activités de transfert et de mobilisation des connaissances du CLIPP permettent d'agir en ce sens.

Ensuite, les efforts qui se chevauchent, les ressources limitées et les retombées à faible échelle sont, pour leur part, des résultats fréquents du travail en vase clos. Les mises en commun et les collaborations qui voient le jour grâce aux activités de liaison du CLIPP permettent d'éviter ce gaspillage de ressources. Par ailleurs, et c'est l'une des raisons d'être du CLIPP, diffuser, utiliser, transférer, partager et mobiliser les connaissances scientifiques et expérientielles, notamment par des activités de veille et de transfert, contribue à les rendre utiles à grande échelle, à les mettre au service de l'innovation, à leur donner une valeur collective et, de ce fait, une valeur sociale et économique.

Enfin, dans la plupart de ses projets et activités, le CLIPP fait appel à des experts du privé (sous-contractants) et les présente à ses partenaires lorsque la relation d'affaires est profitable, ce qui contribue également, à petite échelle, à l'économie québécoise.

Commentaires de l'évaluateur sur les résultats du critère 9 (Cibles 27 à 28)

Les résultats sont jugés satisfaisants, car les deux cibles sont atteintes.

La cible 27 est atteinte, puisque la présence de retombées économiques a été constatée. Les différents revenus du CLIPP de 2014 à 2017 en sont la preuve.

La cible 28 est atteinte, car la présence de retombées sociales a été constatée. D'ailleurs, la description de ces retombées a permis d'observer l'importance d'agir en amont en ce qui concerne l'intervention et la prévention psychosociales.

Chapitre 5 : Les conclusions de l'évaluation

5.1 Principaux constats

Le tableau ci-dessous rappelle les principaux résultats constatés au 31 mars 2017.

Principaux résultats du CLIPP – Degré d'atteinte des cibles (du 1er avril 2013 au 31 mars 2017)

La pertinence de l'aide financière
Critère 1 : La compatibilité avec les objectifs et les résultats visés par le Ministère : Cible atteinte
Critère 2 : Le besoin continu de l'aide financière à l'organisme : Cible partiellement atteinte
Critère 3 : L'efficience du modèle d'intervention du Ministère : Cible atteinte
L'efficacité de l'organisme
Critère 4 : L'atteinte des résultats visés : Cible atteinte
Critère 5 : Les pratiques de gestion de l'organisme : Cible atteinte
Critère 6 : Le modèle d'affaires et de gouvernance de l'organisme : Cible dépassée
Les effets de l'organisme
Critère 7 : Les effets dans le domaine de la recherche : Cible dépassée
Critère 8 : Les effets des activités de l'organisme sur les milieux utilisateurs : Cible dépassée
Critère 9 : Les retombées socioéconomiques : Cible atteinte

5.2 Réponses aux questions de l'évaluation

  1. L'aide financière accordée à l'organisme est-elle pertinente?
    L'évaluation conclut que l'aide financière accordée au CLIPP est pertinente. Les résultats suggèrent une adéquation de la mission et des activités de l'organisme avec les objectifs du Ministère. De plus, sa clientèle correspond à celle visée par le Ministère. Un autre élément confirmant la pertinence de l'aide financière est la démonstration de la persistance du besoin auquel répond l'intervention publique en matière de prévention psychosociale, comme l'illustre, entre autres, la Politique québécoise de la jeunesse 2030. Enfin, en matière financière, malgré une diminution de ses revenus autonomes de 2014 à 2017, le CLIPP a prouvé qu'il est en mesure d'attirer des capitaux autres que l'aide financière gouvernementale, avec un effet de levier de cette aide de 0,63.
  2. L'efficacité de l'organisme est-elle satisfaisante?
    L'évaluation conclut que l'efficacité du CLIPP est satisfaisante. La mise en place de saines pratiques de gestion, un conseil d'administration représentant adéquatement les divers milieux preneurs, un nombre de partenariats en légère augmentation ainsi qu'un financement de 15 % du budget des projets par les partenaires et collaborateurs figurent parmi les éléments qui démontrent l'efficacité du CLIPP. Toutefois, ses frais administratifs de 23 % sont plus élevés que la cible.
  3. Les retombées sont-elles satisfaisantes?
    L'évaluation conclut que les retombées sont satisfaisantes. Le CLIPP a contribué à la formation de 11 étudiants, et 447 chercheurs ont participé à ses projets. Du point de vue économique, les divers projets et activités du CLIPP ont attiré des apports des partenaires et collaborateurs de 974 k$.

5.3 Appréciation générale des résultats

L'évaluation de l'atteinte des cibles de résultats aboutit à un pointage de 75,52 sur 100 points. Les résultats du CLIPP sont jugés satisfaisants, car le score se situe entre 70 et 89.

La pertinence de l'aide financière accordée au CLIPP est évaluée à 20,54 sur 35 points. Les résultats les plus probants sont constatés au critère 3.

L'efficacité du financement du CLIPP est évaluée à 23,66 sur 30 points. Les résultats les plus probants sont constatés au critère 6. Dans le critère 5, les résultats mériteraient de légères améliorations.

Les effets du financement du CLIPP sont évalués à 31,32 sur 35 points. Les résultats les plus probants sont constatés au critère 7. Dans le critère 9, les résultats mériteraient de légères améliorations.

Des résultats plus détaillés sont présentés à l'annexe 2, section 2.A – « Tableau de pointage ».

Pertinence du financement : 20,54/35

Efficacité du financement : 23,66/30

Effets du financement : 31,32/35

Total sur 100 : 75,52

5.4 Les éléments à suivre

Dans l'optique où l'entente d'aide financière du Ministère serait renouvelée, le CLIPP est invité à porter attention aux éléments suivants :

  1. La valeur ajoutée perçue par la clientèle (critère 2)
    Lors du sondage réalisé auprès de la clientèle du CLIPP, seulement 63 % des répondants considéraient le CLIPP comme un organisme à valeur ajoutée. Celui-ci est donc invité à trouver des moyens pour mettre en valeur sa valeur ajoutée auprès de la clientèle.
  2. Les frais administratifs et de gestion (critère 5)
    Les frais administratifs et de gestion du CLIPP sont de 23 %, alors que la cible est de 10 %. L'évaluation est consciente que la diminution du financement ministériel a certes eu un effet sur cet indicateur. Malgré tout, le CLIPP est invité, dans l'avenir, à prendre les mesures nécessaires afin de réduire l'importance de ces frais dans ses dépenses totales.
  3. Le nombre de partenariats et de collaborations (critère 6)
    Au cours des quatre années évaluées, le nombre de partenariats du CLIPP a augmenté, pour un total de 19. Il serait intéressant de voir, au cours de la prochaine évaluation, que cet indicateur a continué de croître.
    Les collaborations sont quant à elles plus nombreuses, atteignant 263 au cours de la période évaluée. Toutefois, une diminution est observée et il serait intéressant d'inverser cette tendance d'ici la prochaine évaluation.
  4. L'implication des étudiants (critère 7)
    Le CLIPP accueille en moyenne deux étudiants par année. L'évaluation a constaté les efforts et le suivi serré du CLIPP par rapport à ses stagiaires. Toutefois, il serait intéressant que l'organisme amorce une réflexion afin de trouver des moyens pour être en mesure d'attirer davantage d'étudiants.

Annexe 1 : Compléments méthodologiques

1.A Modèle logique du PSVT

Le tableau ci-dessous illustre la logique de l'intervention gouvernementale en démontrant la cohérence des liens entre les objectifs de l'aide accordée et les résultats attendus.

Les objectifs du PSVT

  1. Raison d'être
    Le besoin de favoriser la valorisation des résultats de la recherche et leur transfert vers les entreprises et les organisations, en vue de soutenir l'innovation et le développement économique.
  2. Cibles
  3. Objectifs
  4. Nature de l'intervention
    Financement d'organismes de liaison et de transfert en innovation sociale (OLTIS), dont le CLIPP. Ce financement est consenti par l'intermédiaire du Programme de soutien à la valorisation et au transfert (PSVT) du MESI.
  5. Intrants
    Aide financière accordée au CLIPP
  6. Activités

Les résultats attendus du PSVT

  1. Extrants
  2. Effets

Les autres retombées du PSVT

  1. Retombées

1.B Méthode d'appréciation des résultats

Pour chacun des critères, la comparaison des résultats obtenus et des cibles permet d'évaluer les résultats selon l'une des quatre appréciations qualitatives présentées au tableau A1. Après évaluation de chacun des critères, un pointage sur 100 est attribué à l'ensemble des résultats de la manière suivante :

Le score final sur 100 est la somme des scores obtenus pour chacun des trois éléments évalués. Les scores de chaque élément évalué sont obtenus selon l'expression suivante :

Chacun des trois volets évalués est pondéré selon les pourcentages présentés dans le tableau A2.

Tableau A.1 : Échelle d'appréciation des résultats
Appréciation qualitative Intervalle
Résultats très satisfaisants 90 - 100
Résultats satisfaisants 70 - 89
Résultats partiellement satisfaisants 50 - 69
Résultats insatisfaisants 0 - 49

Tableau A.2 : Pondération des éléments à évaluer
Éléments à évaluer Poids en pourcentage
La pertinence du programme 35 %
L'efficacité du programme 35 %
Les effets du programme 30 %

1.C Sources de données

Les sources de données utilisées dans la présente évaluation sont les suivantes :

Tableau A3 : Rendement du sondage téléphonique
Population Population initiale Population joignable Nombre de répondants Taux de réponse Marge d'erreur
Source : Sondage auprès des chercheurs, des partenaires et collaborateurs et des utilisateurs du CLIPP, MESI, septembre 2017.
Utilisateurs 612 444 309 70 % 3,9 %
Partenaires et collaborateurs 77 58 53 91 % 4,0 %
Chercheurs 28 19 17 89 % 7,9 %
Total : 717 521 379 73 % 2,6 %

1.D Limites de l'évaluation

Tableau A4 : Limites de l'évaluation et stratégies d'atténuation de leurs effets
Limites de l'évaluation Stratégies d'atténuation de leurs effets
Certaines cibles ne sont pas accompagnées d'attentes précises de résultats dans les conventions de subvention. Les attentes habituelles du Ministère, quelle que soit l'intervention évaluée, peuvent être utilisées.
Des données précises sur les retombées économiques pour les entreprises clientes des organismes ne sont pas disponibles. L'absence de données précises peut être compensée par l'utilisation d'estimateurs calculés à l'aide des comptes économiques de Statistique Canada et de techniques économétriques appliquées aux données d'enquête.

Annexe 2 : Compléments d'information

2.A Tableau de pointage

Évaluation du CLIPP – Pointage final des résultats sur 100

La pertinence de l'aide financière
  Score obtenu Maximum possible
Critère 1 : La compatibilité avec les objectifs et les résultats visés par le Ministère 7,77 11,66
Critère 2 : La persistance du besoin auquel répond l'aide financière du Ministère 5,00 11,66
Critère 3 : L'efficience du modèle d'intervention du Ministère 7,77 11,66
Sous-total pertinence (sur 35 points) 20,54 35,00

L'efficacité de l'organisme
  Score obtenu Maximum possible
Critère 4 : L'atteinte des résultats visés 7,00 10,00
Critère 5 : Les pratiques de gestion de l'organisme 6,66 10,00
Critère 6 : Le modèle d'affaires et de gouvernance de l'organisme 10,00 10,00
Sous-total efficacité (sur 30 points) 23,66 30,00

Les effets de l'organisme
  Score obtenu Maximum possible
Critère 7 : Les effets dans le domaine de la recherche 11,66 11,66
Critère 8 : Les effets des activités de l'organisme sur les milieux utilisateurs 11,66 11,66
Critère 9 : Les retombées socioéconomiques 8,00 11,66
Sous-total effets (sur 35 points) 31,32 35,00

Total de l'évaluation du CLIPP
Score obtenu Maximum possible
75,52 100,00

Notes et références

Note 1. GOUVERNEMENT DU QUÉBEC. (2017, 28 mars). Budget de dépenses 2017-2018. Le Québec s'est donné la marge de manœuvre pour investir dans les priorités de la population : l'éducation, la santé et l'économie, Repéré au https://www.tresor.gouv.qc.ca/fileadmin/PDF/budget_depenses/17-18/communiquebudget.pdf.

Note 2. Une innovation sociale est une idée, une approche, une intervention, un service, un produit, une loi ou un type d'organisation constituant une nouveauté et répondant plus adéquatement et plus durablement que les solutions existantes à un besoin social bien défini, ou encore une solution ayant trouvé preneur au sein d'une institution, d'une organisation ou d'une collectivité et produisant un bénéfice mesurable pour la collectivité et non seulement pour certains individus. La portée d'une innovation sociale est transformatrice et systémique. L'innovation sociale entraîne une rupture avec ce qui existait jusque-là.
OCDE, Manuel de Frascati 2015, cité par le MESI dans Stratégie québécoise de la recherche et de l'innovation 2017 2022 : oser innover, Gouvernement du Québec, 2017, p. 12.