Centre de transfert pour la réussite éducative du Québec (CTREQ) - Ministère de l'Économie, de la Science et de l'Innovation

Rapport d'évaluation

Pour la période du 1er juillet 2012 au 30 juin 2017

Préface

Notes au lecteur

  1. Sauf avis contraire dans le texte, toutes les sommes indiquées sont en dollars canadiens. Les symboles suivants sont utilisés : k$ pour milliers de dollars et M$ pour millions de dollars.
  2. Selon l'indicateur considéré, le total des résultats peut comporter un écart de ± 1 % pour les pourcentages ou de ± 1 pour les autres valeurs. Cet écart s'explique par l'arrondissement des résultats présentés.
  3. Dans le présent document, le terme « PME » désigne toute petite ou moyenne entreprise de moins de 250 employés, sans tenir compte de son chiffre d'affaires ou la valeur de ses actifs. Cette définition de la PME est plus adaptée au contexte québécois que celle de Statistique Canada (entreprise de moins de 500 employés). Elle correspond en outre à la définition de la PME en vigueur au sein de l'Union européenne (UE) et de l'Organisation de coopération et de développement économique (OCDE).
  4. À moins d'avis contraire, les résultats présentés dans le document sont pour la période du 1er juillet 2012 au 30 juin 2017.

L'évaluation des résultats du Centre de transfert pour la réussite éducative du Québec (CTREQ) est réalisée à la demande du Secteur science et innovation et en vertu des conventions de subvention signées avec le Ministère, du 1er juillet 2012 au 30 juin 2017.

Elle vise à apprécier les résultats de l'aide financière accordée au CTREQ de 3,74 millions de dollars (M$) pour la période du 7 mai 2013 au 30 juin 2017.

En vertu de la directive concernant l'évaluation de programme dans les ministères (2014), le présent rapport d'évaluation doit être transmis au Secrétariat du Conseil du trésor (SCT).

La présente évaluation a été réalisée conformément à la Politique ministérielle d'évaluation de programme et à la Charte de l'évaluation des programmes, disponibles à l'adresse suivante : www.economie.gouv.qc.ca/evaluation

Auteur du rapport

Jean-François Lizotte,
Évaluatrice de programmes
Recherche et rédaction

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

Ce document est disponible sur demande auprès de cette direction.

Pour nous joindre

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

710, place D'Youville, 7e étage
Québec (Québec)  G1R 4Y4
Téléphone : 418 691-5698, poste 4902

Pour plus d'information : gar@economie.gouv.qc.ca

Version définitive – décembre 2017
© Gouvernement du Québec

Remerciements

Le présent document est le fruit de la collaboration de plusieurs personnes sans lesquelles les travaux n'auraient pu être menés à leur terme. À cet égard, nous tenons à remercier toutes les personnes associées de près ou de loin à la réalisation du présent rapport d'évaluation, notamment le personnel de la Direction des maillages et des partenariats industriels (DMPI) du ministère de l'Économie, de la Science et de l'Innovation et le personnel du CTREQ.

Un comité d'évaluation, constitué à l'occasion de cette évaluation, avait pour objectif d'obtenir l'assurance que les constats du rapport d'évaluation sont valides et fidèles à la réalité et que les appréciations qui en découlent sont objectives. Plus précisément, les membres du comité, présentés ci-après, devaient valider le cadre et le rapport d'évaluation et conseiller l'évaluateur sur l'orientation des travaux et la stratégie générale d'évaluation, tout en apportant un éclairage sur des questions importantes qui peuvent se poser durant le mandat.

Nous tenons également à remercier les membres du comité d'évaluation constitué à l'occasion de ce mandat.

Les membres du comité d'évaluation

François Maxime Langlois
Directeur
Direction de la coordination, de l'évaluation et de la planification

Christophe Marchal
Évaluateur principal et chef d'équipe d'évaluation
Direction de la coordination, de l'évaluation et de la planification

Sommaire

La présente évaluation vise à apprécier les résultats de l'aide financière accordée au CTREQ du 1er juillet 2012 au 30 juin 2017, par rapport aux attentes et aux résultats attendus dans les conventions de subvention. Les résultats du CTREQ sont jugés satisfaisants. L'évaluation confirme la pertinence de l'aide financière accordée au CTREQ, son efficacité et ses effets positifs pour la clientèle visée et pour les innovations sociales dans le domaine de la réussite éducative au Québec. Les principaux résultats constatés sont les suivants :

Pertinence

Efficacité

Effets

Conclusion

L'évaluation pose les constats suivants :

Table des matières

Chapitre 1 : Le contexte de l'évaluation

1.1 Objectifs de l'évaluation

L'évaluation a pour but d'apprécier les résultats de l'aide financière accordée au CTREQ par le ministère de l'Économie, de la Science et de l'Innovation (MESI). Pour ce faire, il est nécessaire d'évaluer la pertinence, l'efficacité et les retombées du financement gouvernemental, en vue de répondre aux trois questions suivantes :

  1. L'aide financière à l'organisme est-elle pertinente?
  2. L'efficacité de l'organisme est-elle satisfaisante?
  3. Les retombées sont-elles convaincantes?

La Direction de la coordination, de l'évaluation et de la planification (DCEP) du Ministère a été mandatée pour effectuer ces travaux d'évaluation. Le protocole d'évaluation utilisé pour répondre à ces trois questions est présenté au tableau 1.1.

Tableau 1.1 : Protocole d'évaluation des résultats de l'aide financière accordée par le CTREQ

La pertinence de l'aide financière à l'organisme (question 1)

Critères à évaluer

  1. La compatibilité avec les objectifs et les résultats visés par le Ministère
  2. Le besoin continu de l'aide financière à l'organisme
  3. L'efficience du modèle d'intervention du Ministère
L'efficacité de l'organisme (question 2)

Critères à évaluer

  1. L'atteinte des résultats visés
  2. Les pratiques de gestion de l'organisme
  3. Le modèle d'affaires et de gouvernance de l'organisme
Les effets de l'organisme (question 3)

Critères à évaluer

  1. Les effets dans le domaine de la recherche
  2. Les effets des activités de l'organisme sur les milieux utilisateurs
  3. Les retombées socioéconomiques

Cette approche offre l'assurance de répondre aux besoins du client de l'évaluation.

Par ailleurs, l'évaluation du CTREQ doit répondre aux besoins de reddition de comptes du gouvernement, c'est-à-dire :

1.2 Portrait de l'organisme

1.2.1 La mission et les objectifs du CTREQ

Le CTREQ a pour mission de promouvoir l'innovation et le transfert de connaissances en vue d'accroître la réussite éducative au Québec. Afin de remplir sa mission, il s'est fixé les objectifs suivants :

1.2.2 L'offre de services et la clientèle visée

Le CTREQ réalise ses activités dans le domaine du transfert, de la liaison et de la veille. Les prochains paragraphes présenteront chacun des trois domaines.

Le transfert de connaissances représente l'échange d'un savoir-faire scientifique, technologique et organisationnel (y compris professionnel et pédagogique) entre partenaires en vue d'augmenter l'expertise et de renforcer l'efficacité d'au moins l'un de ces partenaires. Pour ce faire, l'organisme établit des ententes de partenariats en vue de réaliser plusieurs activités de transfert, dont les suivantes :

La liaison effectuée par le CTREQ favorise les échanges, la concertation, la collaboration et l'établissement de réseaux entre les acteurs de la recherche en éducation ainsi qu'entre les organisations de différents réseaux.

Plusieurs activités de liaison sont réalisées par le CTREQ, notamment les suivantes :

La veille du CTREQ vise la surveillance active des activités de recherche, d'intervention et d'innovation. Elle est réalisée principalement dans le cadre du Réseau d'information pour la réussite éducative (RIRE). Elle comprend notamment les actions suivantes :

Les clientèles du CTREQ se composent des milieux utilisateurs des produits et services (collaborateurs), des chercheurs et des partenaires. Elles comprennent le personnel des écoles primaires et secondaires, des commissions scolaires et des collèges. On y trouve aussi les parents, les élèves ainsi que certains professionnels qui travaillent auprès des jeunes et de leur famille dans les secteurs de la santé publique et des services sociaux (CLSC, centres jeunesse, organismes communautaires, etc.) et de l'emploi (carrefours jeunesse-emploi).

On compte également parmi les clientèles les chercheurs (au collégial et à l'université), les ministères ainsi que les organismes de concertation et de mobilisation pour le développement régional.

1.2.3 Le portrait financier de l'organisme

Le tableau suivant dresse le portrait des résultats financiers du CTREQ de 2013 à 2017.

Tableau 1.2 : Les résultats financiers du CTREQ (en milliers de dollars)
Revenus annuels 2012-2013 2013-2014 2014-2015 2015-2016 2016-2017
Source : États financiers audités du CTREQ.
* Les revenus autonomes sont constitués des ventes d'outils, de licences de produits et autres.
** Subvention d'équilibre : somme nécessaire pour être en mesure d'atteindre l'équilibre budgétaire.
Subvention PSVT v1 900 k$ 900 k$ 735 k$ 600 k$ 600 k$
Subvention PSVT v2 9 k$ - - - -
Revenus autonomes* 59 k$ 49 k$ 48 k$ 50 k$ 47 k$
Contributions à des projets et activités 807 k$ 733 k$ 499 k$ 510 k$ 982 k$
Autres revenus 65 k$ 44 k$ 44 k$ 58 k$ 61 k$
Subvention d'équilibre** 25 k$ 97 k$ 298 k$ 112 k$ 36 k$
Total des revenus 1 865 k$ 1 823 k$ 1 624 k$ 1 330 k$ 1 726 k$

1.3 Chaîne des résultats attendus

En annexe 1.A (« Modèle logique du PSVT ») est présentée l'intervention gouvernementale, plus communément appelée le modèle logique. Ce modèle illustre la chaîne des résultats attendus par le Ministère et fait aussi office de vérification de la cohérence interne des liens entre les composantes de l'intervention, notamment ses objectifs, ses extrants et ses effets attendus.

Le CTREQ est financé en vertu du Programme de soutien à la valorisation et au transfert (PSVT), dont la raison d'être est de favoriser la valorisation et le transfert des résultats de la recherche vers les organisations en vue de soutenir l'innovation et le développement économique et social. Les résultats visés par le PSVT sont d'encourager et de renforcer la capacité d'innovation technologique des entreprises ou d'innovation sociale dans les milieux preneurs, de rapprocher et de mailler les producteurs et les utilisateurs des recherches ainsi que d'inventorier l'information pertinente, de la traiter et d'assurer sa diffusion auprès des clientèles.

1.4 Aide financière du Ministère

Du 1er juillet 2012 au 30 juin 2017, l'aide financière (PSVT v1) versée à l'organisme a totalisé 3,74 M$. La répartition de ces montants par année est présentée au graphique 1.1. On peut constater qu'au cours de la période évaluée, le financement a diminué pour se stabiliser par la suite.

Graphique 1.1 : Financement accordée par le Ministère (PSVT v1), du 1er juillet 2012 au 30 juin 2017 (en milliers de dollars)
2013 2014 2015 2016 2017 Aide totale
Source : Conventions de subvention du CTREQ, MESI.
900 k$ 900 k$ 735,2 k$ 600 k$ 600 k$ 3 735 k$

1.5 Méthode d'évaluation

La méthode d'évaluation utilise les principes de l'analyse multicritère. Elle consiste à comparer les résultats obtenus par l'organisme avec les résultats ciblés dans la convention de subvention ou avec les attentes habituelles du Ministère. L'appréciation des écarts conduit à une appréciation qualitative pour chacun des critères. Par la suite, une grille de pointage est utilisée en vue d'attribuer un score de 0 à 100 aux résultats par l'organisme évalué, le score de 70 étant synonyme d'un résultat jugé satisfaisant. La méthode de pointage est détaillée à l'annexe 1.B (« Méthode d'appréciation des résultats »).

Les sources d'information utilisées regroupent, entre autres, les éléments suivants : les données administratives du CTREQ, la documentation du Ministère relative au CTREQ, la consultation de la direction du CTREQ lors de la visite de leur installation et les données de l'enquête téléphonique réalisée auprès des partenaires, des chercheurs et des collaborateurs. Plus de détails sont présentés à l'annexe 1.C (« Sources de données »).

1.6 Portée et limites de l'évaluation

L'évaluation porte sur les résultats du CTREQ obtenus au cours des cinq années financières suivantes : 2012-2013, 2013-2014, 2014-2015, 2015-2016 et 2016-2017.

Dans le but de faciliter la présentation des résultats, les années financières évaluées sont converties selon les années calendaires suivantes :

Les limites de l'évaluation des résultats de l'organisme et les stratégies d'atténuation de leurs effets sont présentées à l'annexe 1.D (« Limites de l'évaluation »).

Chapitre 2 : La pertinence de l'aide financière

2.1 Critère 1 : La compatibilité avec les objectifs et les résultats visés par le Ministère

Les cibles

Il est attendu :

  1. l'adéquation de la mission et des activités de l'organisme avec les objectifs du Ministère;
  2. une clientèle de l'organisme correspondant à celle attendue par le Ministère;
  3. des revenus autonomes de l'organisme.

Constats relatifs à la cible 1

La cible est atteinte. Au cours de la période évaluée, le CTREQ a su faire la démonstration de l'adéquation de sa mission et de ses activités aux objectifs du Ministère. En effet, comme en témoignent les données présentées dans le tableau 2.1 ainsi que dans le graphique 2.2, l'organisme répond clairement aux objectifs du PSVT. Il a contribué à favoriser la valorisation et le transfert des résultats de recherche vers les organisations en vue de soutenir l'innovation ainsi que le développement économique et social. Le CTREQ travaille notamment à la valorisation des connaissances, du savoir-faire et des nouvelles technologies auprès des milieux utilisateurs dans le cadre de ses projets et activités (ex. : Collaborer, apprendre, réussir [CAR], FAST, Symposium, etc.). Il contribue également à accroître les collaborations et les partenariats entre les acteurs de la recherche et ceux sur le terrain. En effet, la première orientation du CTREQ est d'accroître la synergie entre la recherche, le terrain et les organisations. Les projets mettent donc toujours en relation des acteurs de ces différents milieux. Par son réseau de veille, le CTREQ agit enfin comme un acteur de premier plan dans le repérage de l'information pertinente, dans son traitement et dans sa diffusion auprès de ses clientèles.

Tableau 2.1 : Nombre d'utilisation des produits et services du CTREQ
  2012-2013 2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CTREQ, juillet 2017
Nombre d'utilisation d'outils de transfert 12 702 14 826 15 261 16 247 13 590 72 626
Nombre d'utilisateurs des services de consultation - - - - - -
Nombre de consultations d'autres produits et services 253 914 390 375 665 608 1 266 211 1 236 210 3 812 318
Nombre de participations à des projets et à des activités 1 441 1 904 912 2 775 4 034 11 066

Constats relatifs à la cible 2

La cible est atteinte. La clientèle visée par le Ministère est celle des collaborateurs, des chercheurs et des partenaires. Comme l'indique le graphique 2.1, la clientèle totale jointe par le CTREQ entre 2013 et 2017 correspond à 1 219 collaborateurs, 426 chercheurs et 468 partenaires. De plus, la clientèle du CTREQ a augmenté de 61 %, passant de 261 en 2013 à 450 en 2017.

Dans le même ordre d'idées, le nombre de participations à des événements et à des activités de formation est passé de 1 650 en 2013 à 3 764 en 2017.

Le nombre d'organismes engagés annuellement dans la valorisation des résultats de recherche a quant à lui été stable. Pour l'ensemble de la période évaluée, le nombre d'organismes s'élève à 468. Chacun des types de partenaires visés par le Ministère (milieu de l'éducation, secteurs industriel et public, OBNL) a participé au montage des projets. Toutefois, les possibilités de partenariats avec les acteurs du milieu des entreprises sont plus restreintes.

Graphique 2.1 : Collaborateurs, chercheurs et partenaires, du 1er juillet 2013 au 30 juin 2017

Source : Requête d'information CTREQ, juillet 2017.

Graphique 2.2 : Participations à des événements ou activités de 2012 à 2017

Source : Requête d'information CTREQ, juillet 2017.

Constats relatifs à la cible 3

La cible est atteinte. Il est possible d'observer, dans le tableau 2.2, une diminution des revenus de 2013 à 2015, puis une augmentation de 2015 à 2017. Ces changements s'expliquent en partie par les variations dans les contributions en espèces pour des projets, activités, mandats et autres qui s'expliquent par la présence de projets particuliers pendant les années 2013, 2014 (FPSJA) et 2017 (projet CAR). Les autres composantes des revenus, quant à elles, sont plutôt stables et moins importantes dans l'ensemble.

Tableau 2.2 : Revenus autonomes, contributions aux projets et activités et autres revenus du CTREQ (en milliers de dollars)
  2012-2013 2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CTREQ, juillet 2017.
Contributions en espèces à des projets, activités, mandats et autres 807 k$ 733 k$ 499 k$ 534 k$ 981 k$ 3 554 k$
Ventes d'outils, licences de produits et autres 59 k$ 49 k$ 48 k$ 50 k$ 47 k$ 253 k$
Autres revenus 65 k$ 44 k$ 44 k$ 34 k$ 98 k$ 285 k$
Total 931 k$ 826 k$ 591 k$ 618 k$ 1 126 k$ 4 092 k$

Commentaires de l'évaluateur sur les résultats du critère 1 (cibles 1 à 3)

Les résultats sont jugés très satisfaisants, car les trois cibles sont atteintes. Elles ont même été dépassées. En effet, la présence de revenus autonomes est constatée (cible 3). La cible 1 est atteinte, étant donné que la preuve de l'adéquation de la mission et des activités de l'organisme aux objectifs du Ministère a été faite. La cible 2 est atteinte, puisque la démonstration de la correspondance entre la clientèle du CTREQ et celle attendue par le Ministère a été faite. L'évaluation reconnaît les efforts réalisés par le CTREQ pour trouver un plus large éventail de partenaires du milieu des entreprises. À ce chapitre, le CTREQ est invité à explorer les possibilités pour augmenter le nombre de partenaires de ce milieu.

2.2 Critère 2 : Le besoin continu d'aide financière à l'organisme

Les cibles

Il est attendu :

  1. la persistance des besoins d'intervention publique en matière de réussite éducative et concordance avec la mission, les orientations et les stratégies du Ministère;
  2. l'utilité et la valeur ajoutée des activités du CTREQ clairement perçue par au moins 70 % des partenaires, des chercheurs et des collaborateurs;
  3. la complémentarité avec les autres organismes de la chaîne d'innovation.

Constats relatifs à la cible 4

La cible est atteinte. Lors de la parution de la Politique de la réussite éducative Le plaisir d'apprendre, la chance de réussir1 en juin 2017, le gouvernement du Québec s'est fixé plusieurs objectifs et cibles à atteindre d'ici 2030 en matière de réussite éducative et scolaire. Les grands objectifs et les cibles fixés (qui seront présentés plus bas) illustrent la persistance des besoins d'intervention publique en matière de réussite éducative. L'éducation est une priorité et un levier pour le développement de la société québécoise sur différents plans, notamment sur le plan économique. À ce chapitre, une concordance des activités du CTREQ avec la mission, les orientations et les stratégies du Ministère.

Le CTREQ regroupe des membres issus de différents milieux utilisateurs préoccupés par la réussite éducative, tant dans le conseil d'administration que parmi ses membres associés, partenaires et collaborateurs engagés dans ses projets et activités. Au conseil d'administration du CTREQ siègent divers représentants d'organismes qui se préoccupent de la réussite éducative, soit des organismes regroupant des élus scolaires (FCSQ), des organismes regroupant les directions générales de commission scolaire (ADIGECS), les directions d'établissement (AQPDE), les enseignants (FSE-CSQ), les syndicats (CSQ), la recherche universitaire et collégiale (CRIRES, ARC, CEAP), les parents (FCPQ) ainsi que des représentants des milieux de la santé (MSSS) et de l'emploi (RCJEQ).

Les grands objectifs et les cibles fixés de la Politique de la réussite éducative

Constats relatifs à la cible 5

La cible est atteinte. Le graphique 2.3 présente les résultats du sondage au moyen duquel les collaborateurs, les chercheurs ainsi que les partenaires ont été interrogés par rapport à l'utilité du CTREQ. Le type de clientèle qui considère le CTREQ comme indispensable ou très utile pour la réalisation de ses activités est celui des partenaires, et ce, dans une proportion très élevée (10/12).

Ces mêmes populations ont été questionnées sur certains aspects précis des activités de l'organisme. Les produits, services et activités du CTREQ par rapport aux besoins de la clientèle ont été jugés comme très ou assez utiles par 100 % des collaborateurs, par 96 % des chercheurs et par 10 partenaires sur 12. En ce qui a trait à son rôle de liaison avec les autres acteurs du domaine de la réussite éducative, le CTREQ est considéré comme très ou assez ou utile par 10 partenaires sur 12, par 88 % des chercheurs et par 94 % des collaborateurs.

Graphique 2.3 : Utilité des activités du CTREQ

Source : Sondage auprès des chercheurs, des partenaires et des collaborateurs du CTREQ, MESI, septembre 2017.

À l'instar de l'utilité reconnue par ses clientèles, la valeur ajoutée du CTREQ obtient des taux de reconnaissance très élevés, comme en témoigne le graphique 2.4. En effet, 100 % des partenaires, 98 % des collaborateurs et 88 % des chercheurs considèrent les produits du CTREQ comme à valeur ajoutée. Lorsqu'elles ont été appelées à préciser leur pensée, la réponse la plus courante mentionnait que le CTREQ était le seul organisme au Québec dans son champ d'action.

Graphique 2.4 : Valeur ajoutée du CTREQ

98 % des collaborateurs, 88 % des chercheurs et 12 partenaires sur 12 considèrent le CTREQ comme étant a valeur ajoutée

Source : Sondage auprès des chercheurs, des partenaires et des collaborateurs du CTREQ, MESI, septembre 2017.

Constats relatifs à la cible 6

La cible est atteinte. Le CTREQ est complémentaire aux autres acteurs du système québécois d'innovation compte tenu du fait qu'il est le seul organisme qui, par sa mission, se consacre entièrement à l'innovation sociale2 et au transfert de connaissances en réussite éducative pour l'ensemble du Québec. L'approche de la réussite éducative du CTREQ est systémique, puisqu'elle prend en considération tous les systèmes de la réussite éducative.

L'organisme a su faire la preuve qu'il a participé à toutes les initiatives de concertation lancées par le Ministère. En effet, le CTREQ a participé durant près d'un an et demi à la réflexion et aux travaux qui ont mené à la mise sur pied de QuébecInnove, en plus de fournir une ressource pour qu'elle agisse à titre de conseiller. Il a également participé à la consultation régionale menée par le Ministère dans Québec–Chaudière-Appalaches pour la Stratégie québécoise de recherche et d'innovation (SQRI). Il a produit un mémoire, en plus de collaborer à la rédaction d'un mémoire conjointement avec les autres organismes en innovation sociale dans le cadre de cette même consultation. Le CTREQ était présent à la consultation organisée par le Ministère et le Réseau québécois en innovation sociale (RQIS), dont il est également membre.

La complémentarité du CTREQ par rapport aux autres organismes de la chaîne d'innovation est également confirmée par ses clientèles. Le graphique 2.6 illustre, pour chaque type de clientèle, le pourcentage ou la proportion de celle-ci qui ne connaît pas d'autres organismes ou fournisseurs québécois comparables au CTREQ ou qui considère le CTREQ comme complémentaire aux autres organismes ou fournisseurs québécois.

Lorsque les clientèles ont été interrogées sur les aspects précis qui différencient le CTREQ, la plupart des répondants ont mentionné l'expertise de l'organisation, les compétences de son personnel, la diversité ainsi que la qualité de ses produits, de ses services et de ses activités.

Graphique 2.5 : Complémentarité avec les autres organismes de la chaîne d'innovation

Source : Sondage auprès des chercheurs, des partenaires et des collaborateurs du CTREQ, MESI, septembre 2017.

Commentaires de l'évaluateur sur les résultats du critère 2 (cibles 4 à 6)

Les résultats sont jugés très satisfaisants, puisque les trois cibles sont atteintes et que le pourcentage de la clientèle percevant l'utilité et la valeur ajoutée du CTREQ (cible 5) est de 89 % pour l'utilité et de 95 % pour la valeur ajoutée. La cible 4 est atteinte, car la démonstration de la persistance des besoins d'intervention publique en matière de réussite éducative a été démontrée, notamment grâce aux objectifs que s'est fixés le gouvernement du Québec dans la Politique de la réussite éducative Le plaisir d'apprendre, la chance de réussir.

La cible 6 est elle aussi atteinte, puisque la complémentarité avec les autres organismes de la chaîne d'innovation a été démontrée. En effet, par l'intermédiaire du sondage, des représentants des trois types de clientèles du CTREQ ont confirmé le caractère unique de l'organisme ainsi que sa complémentarité.

2.3 Critère 3 : L'efficience du modèle d'intervention du Ministère

Les cibles

Il est attendu :

  1. un effet de levier de l'aide financière du Ministère d'au moins 0,50;
  2. des coûts de revient raisonnables des principaux résultats obtenus.

Constats relatifs à la cible 7

La cible est atteinte. L'effet de levier est de 1,23, puisque l'aide financière du Ministère correspond à 3,74 M$ et tous les autres revenus à 4,63 M$.

Graphique 2.6 : Effet de levier de l'aide financière du Ministère de 2013 à 2017

Source : Requête d'information CTREQ, juillet 2017.

À titre d'information complémentaire, le graphique 2.7 présente l'effet de levier de l'aide gouvernementale. Celui-ci est calculé à partir du rapport entre les revenus autonomes additionnés aux apports des collaborateurs et des partenaires et divisé par l'ensemble de l'aide financière des différents paliers gouvernementaux. L'effet de levier est de  0,87. Le calcul est basé sur des revenus autonomes et des apports des collaborateurs et des partenaires de 4,06 M$ et une aide financière gouvernementale de 4,63 M$.

Graphique 2.7 : Effet de levier de l'aide gouvernementale 2012 à 2017

Source : Requête d'information CTREQ, juillet 2017.

Constats relatifs à la cible 8

La cible est atteinte. De 2013 à 2017, 118 projets ont été réalisés, 2 113 clients ont été joints et 426 chercheurs ont participé aux activités du CTREQ. En fonction de l'aide financière du Ministère, le coût de revient de chacun des éléments précédemment mentionnés a été calculé. Ces coûts de revient sont présentés dans le graphique 2.8. Il en coûte au CTREQ, en moyenne, 1 768 $ pour joindre un client, 8 768 $ pour joindre un chercheur et 31 654 $ par projet réalisé. Par rapport aux autres coûts de revient des deux autres organismes de liaison et de transfert en innovation sociale, le CTREQ fait bonne figure en ce qui concerne les chercheurs et les projets. Toutefois, le coût de revient par client joint est légèrement plus élevé.

Graphique 2.8 : Coût de revient des projets, de la clientèle et des chercheurs

Source : Requête d'information CTREQ, juillet 2017.

Commentaires de l'évaluateur sur les résultats du critère 3 (cibles 7 et 8)

Les résultats sont jugés très satisfaisants, puisque les deux cibles sont atteintes et que l'indicateur 7 est de 1,23. L'effet de levier a dépassé la cible fixée de 0,50 et dépasse également la cible de résultats très satisfaisants. L'autre effet de levier, quant à lui, est de 0,87.

La cible 8 est atteinte, puisque les coûts de revient des trois éléments analysés sont raisonnables. Il est aussi important de noter qu'en dépit d'une diminution de l'aide financière du Ministère, le nombre de clients joints a presque doublé de 2013 à 2017. Étant donné qu'il s'agit d'une moyenne, l'indicateur n'illustre pas bien cette amélioration notable du coût de revient au cours de la période évaluée.

Chapitre 3 : L'efficacité de l'organisme

3.1 Critère 4 : L'atteinte des résultats visés

Les cibles

Il est attendu :

  1. la réalisation de trois des quatre grandes orientations de la planification stratégique 2015-2018;
  2. la présence d'activités, des produits et des services de liaison, de veille et de transfert;
  3. l'utilisation des produits et des services acquis par les milieux preneurs;
  4. un taux de satisfaction de 75 % des partenaires, des chercheurs et des utilisateurs.

Constats relatifs à la cible 9

La cible est atteinte. Le CTREQ a, au cours de la période évaluée, réalisé les quatre grandes orientations de la planification stratégique 2015-2018. Afin d'en faciliter l'atteinte, le CTREQ s'est doté d'un système de compilation de statistiques qui fournit une appréciation des actions réalisées en lien avec les orientations de la planification stratégique.

Graphique 3.1 : Degré de réalisation des grandes orientations de la la planification stratégique du CTREQ

Source : Requête d'information CTREQ, juillet 2017.

Constats relatifs à la cible 10

La cible est atteinte. Comme le montre la partie supérieure du tableau 3.1, les activités, produits et services de liaison ont connu une augmentation entre 2013 et 2017 pour atteindre le total de 1 346. Toutefois, le CTREQ ne comptabilise pas le nombre de consultations à titre d'expert. C'est pour cette raison qu'aucune consultation à titre d'expert-conseil n'apparaît dans le tableau 3.1.

En ce qui concerne les livrables de veille et de transfert, ils ont aussi connu une augmentation au cours de la période évaluée. Au total, le CTREQ a produit 8 685 livrables de veille et de transfert.

Relativement au développement des outils de veille en partenariat ou en concertation avec les autres intervenants du secteur, le CTREQ en a réalisé plusieurs avec des chercheurs et des étudiants. Il a aussi entrepris une démarche avec certains organismes du collégial afin de mieux décoder les occasions de collaboration.

Tableau 3.1 : Inventaire des activités, des produits et des services de liaison, de veille de transfert du CTREQ
Activités, produits et services de liaison
  2012-2013 2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CTREQ, juillet 2017.
Articles de presses et autres communications grand public 124 170 159 158 154 765
Activités de diffusion d'information 24 13 14 11 21 83
Consultation à titre d'expert-conseil - - - - - -
Autres activités et services de liaison et de diffusion 91 60 6 94 247 498
Total 239 243 609 263 422 1 346

Livrables de veille et de transfert
  2012-2013 2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CTREQ, juillet 2017.
Nombre de projets de transfert réalisés ou en cours de réalisation 20 26 27 19 26 118
Nombre de produits spécifiques de transfert 8 23 28 24 29 112
Nombre de bulletins d'information en version électronique ou en version papier 322 337 322 320 312 1 613
Nombre de publications associées à des activités de transfert 4 11 19 15 12 61
Nombre d'activités de formation 9 11 2 4 7 33
Nombre d'activités de transfert 91 60 6 94 247 498
Nombre de produits de veille 100 100 100 100 100 500
Autres activités, produits et services de veille et de transfert 1 150 1 150 1 150 1 150 1 150 5 750
Total 1 704 1 718 1 654 1 726 1 883 8 685

Constats relatifs à la cible 11

La cible est atteinte. Avant de faire la description des produits et services acquis par les milieux utilisateurs, il est pertinent de mentionner que certaines données ne sont pas disponibles pour l'année 2013, étant donné que le CTREQ ne colligeait pas ces données à l'époque. Il est tout de même possible d'observer une augmentation du nombre total de produits et services acquis par les milieux utilisateurs entre 2013 et 2017. Toutefois, une diminution des trousses ainsi que des autres produits et services acquis par les milieux utilisateurs a été constatée. Le CTREQ explique cette diminution par le fait que l'organisme ne produit plus ce genre d'outils qu'il considère comme trop coûteux à produire et à acheter. De plus, en raison de l'importance croissante du numérique, l'organisme tente de procéder autrement pour conserver plus de souplesse dans la production (ex. : mise à jour après la production).

Tableau 3.2 : Nombre de produits et de services acquis par les milieux utilisateurs
  2012-2013 2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CTREQ, juillet 2017.
Trousses 850 393 420 402 - 2 065
Guides - 3 701 4 560 5 347 4 201 17 809
Formations 91 60 6 94 247 498
Dépliants - 276 234 1 070 602 2 182
Autres produits et services 11 852 10 306 9 971 9 369 8 753 50 251
Total 12 793 14 736 15 191 16 282 13 803 72 805

Constats relatifs à la cible 12

La cible est atteinte. Le graphique 3.2 illustre le haut taux de satisfaction des clientèles du CTREQ à l'égard de leur collaboration avec l'organisme. La totalité des partenaires interrogés ainsi que 96 % des chercheurs et 98 % des collaborateurs s'en sont dits très ou assez satisfaits.

Les clientèles du CTREQ ont également été interrogées sur leur taux de satisfaction à l'égard de certains aspects précis de leurs collaborations avec l'organisme. Les éléments qui ont obtenu les plus hauts taux de satisfaction sont les suivants : l'expertise et le savoir-faire acquis ainsi que le soutien du CTREQ lors de la collaboration.

Graphique 3.2 : Taux de satisfaction des partenaires, des chercheurs et des collaborateurs

Source : Sondage auprès des chercheurs, des partenaires et des collaborateurs du CTREQ, MESI, septembre 2017

Commentaires de l'évaluateur sur les résultats du critère 4 (cibles 9 à 12)

Les résultats sont jugés très satisfaisants, puisque les quatre cibles sont atteintes et que le taux de satisfaction des partenaires, des chercheurs et des utilisateurs (cible 12) est de 98 % au total pour les trois types de clientèles, ce qui est nettement supérieur à la cible de 85 %.

La cible 9 est atteinte, puisque l'ensemble des orientations de la planification stratégique 2015-2018 a été réalisé. La cible 10 est également atteinte, puisqu'il a été possible de constater la présence d'activités, de produits et de services de liaison, de veille et de transfert. Bien que l'évaluateur considère comme réalisé le développement des outils de veille en partenariat ou en concertation avec les autres intervenants du domaine de la réussite éducative, il serait intéressant d'augmenter le nombre d'organismes parmi les intervenants. La cible 11 est atteinte, puisque malgré la présence de données partielles, il a été possible de constater l'utilisation des produits et services acquis par les milieux preneurs.

3.2 Critère 5 : Les pratiques de gestion de l'organisme

Les cibles

Il est attendu :

  1. la présence de saines pratiques de gestion;
  2. La présence de dépôt de projets au processus de sélection de projets du MESI représentant un minimum de 50 % de la subvention de fonctionnement, pour les années 2015-2016 et 2016-2017;
  3. une part des frais d'administration et de gestion représentant au plus 10 % des dépenses totales;
  4. une utilisation des fonds alloués par le Ministère conforme aux conventions de subvention.

Constats relatifs à la cible 13 : La cible est atteinte.

Le CTREQ s'est doté d'une nouvelle planification stratégique en 2015, au même moment où la convention de subvention a été renouvelée. Afin d'atteindre les objectifs fixés dans la planification stratégique, il a également mis en place un plan d'action. À la fin de chacune des années, l'organisme réalise un bilan annuel permettant de préciser les actions effectuées et les résultats obtenus en fonction des cibles grâce à un tableau de statistiques annuelles. Le CTREQ a également amorcé une démarche d'auto-évaluation du fonctionnement de son conseil d'administration. Un rapport de direction et un bilan financier sont remis à chacune des réunions de celui-ci.

Constats relatifs à la cible 14 : La cible est atteinte.

Les moyens utilisés par le CTREQ pour connaître les besoins des milieux utilisateurs sont multiples. Dans le cas des activités de veille, il consulte des statistiques pertinentes du site du RIRE (Réseau d'information pour la réussite éducative) qu'il a lui-même créé. La liste des articles les plus lus ainsi que le temps moyen de consultation par article peuvent aussi fournir des informations pertinentes. Pour les dossiers thématiques, les lecteurs du RIRE ont la possibilité de signaler des besoins en passant par le site du réseau. L'équipe du CTREQ recueille de l'information sur les besoins des utilisateurs par l'intermédiaire des projets menés et de comités de projets.

Pour les projets de transfert, le CTREQ a établi des critères et une démarche en vue d'établir les priorités. La réponse aux besoins, le potentiel d'utilisation, d'appropriation et d'intégration, de même que de généralisation et les possibilités de partenariat sont des aspects clés. L'équipe peut consulter un document de référence pour évaluer la viabilité d'un projet potentiel. Certains projets d'envergure ou qui risquent de soulever plus de questions des membres du conseil d'administration sont soumis à ce conseil avant leur démarrage.

En ce qui concerne la proportion des montants des projets déposés au processus de sélection de projets du Ministère, le CTREQ a déposé en 2016 des projets pour un total de 453 735 $, ce qui représente plus de 75 % des 600 milliers de dollars de subvention. En 2017, la somme des projets déposés a atteint 318 milliers de dollars, ce qui équivaut à 53 % de la subvention de fonctionnement.

Constats relatifs à la cible 15 : La cible n'est pas atteinte.

Au cours de la période évaluée, le pourcentage des frais d'administration et de gestion par rapport aux dépenses totales de l'organisme est de 12,1 %. La cible est donc dépassée de 2,1 %. Même lorsqu'on analyse chacune des années évaluées, il est constaté que ces frais ne sont jamais inférieurs à 10 %. Il est important de noter qu'une partie de frais de tenue de livres et de comptabilité propres aux projets a été comptabilisée dans le présent indicateur.

Graphique 3.3 : Pourcentage des frais d'administration et de gestion de 2013 à 2017

Source : Requête d'information CTREQ, juillet 2017.

Constats relatifs à la cible 16 : La cible est atteinte.

De 2013 à 2017, le ratio d'utilisation des fonds consentis par le Ministère au CTREQ est de 100 %. Comme présenté dans le graphique 3.4, pour l'ensemble de la période évaluée, 71 % des 3,74 M$ de subventions reçues du Ministère ont été utilisés pour financer les activités de liaison, de veille et de transfert et un peu plus de 27 % des fonds ont été utilisés pour couvrir les frais de gestion et de fonctionnement. Finalement, 1 % de la subvention a été utilisé pour d'autres dépenses.

Graphique 3.4 : Utilisation des fonds alloués par le Ministère

Source : Requête d'information CTREQ, juillet 2017.

Commentaires de l'évaluateur sur les résultats du critère 5 (cibles 13 à 16)

Les résultats sont jugés satisfaisants, car trois cibles sont atteintes, alors que la cible 15 ne l'est pas. En effet, les frais d'administration et de gestion du CTREQ sont, pour la période évaluée, de 12,5 %, alors que la cible visait des frais d'au plus 10 %. Toutefois, il faut souligner les efforts du CTREQ pour diminuer les frais d'administration et de gestion, qui sont passés de 240 milliers de dollars en 2013 à 192 milliers de dollars en 2017 (diminution de 20 %).

La cible 13 est atteinte, car le CTREQ a su démontrer qu'il a mis en place de saines pratiques de gestion. La cible 14 est également atteinte, puisque l'organisme a déposé en 2016 et 2017 des projets au processus de sélection du Ministère qui représentaient plus de 50 % de la subvention de fonctionnement (75 % en 2016 et 53 % en 2017). La cible 16 est aussi considérée comme atteinte, étant donné que l'utilisation des fonds alloués au CTREQ par le Ministère s'est faite en conformité avec la convention de subvention.

3.3 Critère 6 : le modèle d'affaires et de gouvernance de l'organisme

Les cibles

Il est attendu :

  1. un conseil d'administration représentatif des milieux preneurs;
  2. la présence de partenariats et de collaborations avec d'autres acteurs du système québécois d'innovation;
  3. que toutes les aides financières gouvernementales représentent un maximum de 80 % des dépenses totales du CTREQ;
  4. une proportion raisonnable des budgets des projets et des activités admissibles financés par les clients et les partenaires.

Constats relatifs aux cibles 17

La cible est atteinte. Le conseil d'administration regroupe 15 administrateurs et 2 observateurs (MESI et MEES). Parmi les organisations représentées, les huit organisations fondatrices du CTREQ sont toujours présentes. Quatre membres sont liés au milieu de la recherche, tandis que neuf organisations sont des organismes de terrain, soit des milieux scolaire, de l'enseignement postsecondaire, de l'emploi et de la santé. Le reste du conseil d'administration est composé de son président ainsi que de la présidente-directrice générale du CTREQ.

La durée d'un mandat au conseil d'administration est de deux ans. Un document précise les rôles des membres du conseil d'administration. Il précise notamment leur mandat et le profil requis. Les membres du conseil d'administration ne sont pas rémunérés. Les organisations de provenance des administrateurs du conseil assument généralement leurs frais de participation.

Constats relatifs à la cible 18 : La cible est atteinte

Le tableau 3.3 à la page suivante présente la ventilation des divers partenariats et collaborations que le CTREQ a établis et maintenus entre 2013 et 2017. Les partenaires du CTREQ sont de deux types : les partenaires financiers et les partenaires de réalisation. La plupart sont associés au milieu de l'éducation (commissions scolaires, associations professionnelles, etc.). Quant aux collaborateurs, il s'agit d'individus qui ont accepté de participer à la réalisation d'un projet, soit en s'intégrant à un comité de projet, soit en validant les contenus d'une production, soit en agissant à titre de personne-ressource dans une activité réalisée par le CTREQ. Ces collaborateurs sont nombreux; leurs profils professionnels sont variés et représentatifs des milieux preneurs des réalisations du CTREQ. Les chercheurs qui collaborent aux projets du CTREQ sont issus principalement du milieu universitaire et, dans une moindre mesure, du milieu collégial. Au Québec, le CTREQ a établi des collaborations avec des chercheurs de 13 universités québécoises (sur un total de 16) et de 1 université ontarienne.

La stratégie de développement de collaboration avec les organismes utilisateurs est de créer des projets structurants. L'exemple du projet CAR est révélateur. Ce projet, auquel le CTREQ collabore, lui permet d'établir des liens avec un grand nombre de commissions scolaires (plus de 35). Le CTREQ vise à ce que les établissements de ces commissions scolaires ainsi que les établissements scolaires associés à d'autres joignent le Réseau des établissements pour l'utilisation des connaissances issues de la recherche (RÉU‑CIR). Ce réseau permettra aux établissements de connaître les actions menées par d'autres, de les partager, de contacter les autres organismes et de tenir compte des avancées d'autres milieux dans la mise en place d'actions, et ce, en vue d'éviter les dédoublements et de prévenir certaines difficultés.

Tableau 3.3 : Inventaire des partenariats et des collaborations
Partenariats
  2012-2013 2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CTREQ, juillet 2017.
Nombre de partenariats avec le secteur de la recherche publique et privée 24 27 23 20 18 112
Nombre de partenariats avec le milieu de la réussite éducative 19 31 15 25 46 136
Nombre de partenariats avec les acteurs locaux ou régionaux du soutien à l'innovation 35 64 14 4 6 123
Nombre de partenariats avec les autres organismes de transfert technologique 1 2 - - - 3
Nombre de partenariats avec les bailleurs de fonds 15 14 19 21 25 94
Nombre total de partenariats 94 138 71 70 95 468

Collaborations
  2012-2013 2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CTREQ, juillet 2017.
Nombre de collaborations avec le secteur de la recherche publique et privée 36 72 105 128 85 426
Nombre de collaborations avec le milieu de la réussite éducative 66 125 114 169 150 624
Nombre de collaborations avec les acteurs locaux ou régionaux du soutien à l'innovation 16 20 32 27 26 121
Nombre de collaborations avec les autres organismes de transfert technologique 3 4 3 1 - 11
Nombre de collaborations avec les bailleurs de fonds 10 5 6 7 9 37
Nombre total de collaborations 225 364 331 402 365 1 687

Constats relatifs à la cible 19

La cible est atteinte. Le tableau 3.4 présente le cumul de l'aide gouvernementale dans les dépenses totales du CTREQ. Il est possible de constater que le pourcentage maximal d'aide financière gouvernementale dans les dépenses du CTREQ est de 66 %. Le minimum, quant à lui, est survenu en 2017, alors que le pourcentage était de 36 %. Pour l'ensemble de la période évaluée, l'aide financière a représenté en moyenne 52 % des dépenses totales de l'organisme.

Tableau 3.4 : Cumul des aides financières gouvernementales (en milliers de dollars)
  2012-2013 2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CTREQ, juillet 2017.
Aide financière du MESI 900 k$ 900 k$ 735 k$ 600 k$ 600 k$ 3 735 k$
Aide financière du palier municipal - - - - - -
Aide financière consentie par un autre ministère du gouvernement du Québec 300 k$ 300 k$ - - - 600 k$
Aide financière du gouvernement fédéral - - - - - -
Total des aides financières gouvernementales 1 200 k$ 1 200 k$ 735 k$ 600 k$ 600 k$ 4 335 k$
Dépenses totales de l'organisme 1 865 k$ 1 823 k$ 1 623 k$ 1 330 k$ 1 648 k$ 8 291 k$
Pourcentage de l'aide financière dans les dépenses totales du CTREQ 64 % 66 % 45 % 45 % 36 % 52 %

Constats relatifs à la cible 20 : La cible est atteinte.

Le tableau 3.5 présente la proportion assumée par chacune des parties concernées dans les budgets de projet du CTREQ pour la période évaluée. Le pourcentage des budgets financés par les partenaires et les collaborateurs est de 65 %, ce qui peut être considéré comme raisonnable. De la première à la dernière année évaluée, la proportion assumée par les partenaires et les collaborateurs a augmenté de 25 %.

Lorsque la direction du CTREQ a été interrogée à propos des efforts faits pour diversifier ses sources de revenus et ses partenariats, celle-ci a mentionné qu'en raison de l'importance des diminutions des subventions, si des efforts de la sorte n'avaient pas été réalisés pour trouver d'autres partenaires financiers et d'autres sources de revenus, le CTREQ n'existerait plus. Les résultats des indicateurs 18 et 19 vont en ce sens.

Tableau 3.5 : Part des budgets des projets financés par les collaborateurs et les partenaires (en milliers de dollars)
  2012-2013 2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CTREQ, juillet 2017.
Budget assumé par le CTREQ 485 463 455 185 145 1 733
Budget assumé par les partenaires 696 699 464 500 782 3 141
Budget assumé par les collaborateurs 28 15 15 21 10 90
Budget total des projets 1 210 1 177 934 706 937 4 964
Pourcentage des budgets financés par les partenaires et les collaborateurs 59 % 60 % 51 % 73 % 84 % 65 %

Commentaires de l'évaluateur sur les résultats du critère 6

Les résultats sont jugés très satisfaisants, puisque les quatre cibles sont atteintes et que les aides financières gouvernementales représentent 52 % des dépenses totales du CTREQ.

La cible 17 est atteinte, car le CTREQ a fait la démonstration que son conseil d'administration est composé de membres représentant adéquatement les divers milieux preneurs.

La cible 18 est atteinte, puisqu'il y a présence de partenariats et de collaborations avec d'autres acteurs du système québécois d'innovation. En effet, de 2013 à 2017, le nombre de partenariats a été relativement constant, tandis que le nombre de collaborations a augmenté de 62 %.

La cible 19 est atteinte, étant donné que de 2013 à 2017, la proportion de l'aide financière dans les dépenses totales du CTREQ est de 52 %. Ce résultat est de 28 % moins élevé que la cible. La diminution des subventions au cours de la période évaluée peut expliquer en partie la tendance à la baisse observée à partir de 2014 ainsi que l'importante différence par rapport à la cible.

La cible 20 est atteinte, puisque la proportion de 65 % des budgets des projets et activités financés par les partenaires et collaborateurs est considérée comme raisonnable. Il est intéressant d'observer que la diminution des subventions gouvernementales a été en partie absorbée par les partenaires et collaborateurs. Il faut également considérer qu'au cours de la période évaluée, les montants totaux des budgets des projets et activités ont aussi diminué.

Chapitre 4 : Les effets de l'organisme

4.1 Critère 7 : Les effets dans le domaine de la recherche

Les cibles

Il est attendu :

  1. la contribution de l'organisme à la formation d'étudiants de niveaux collégial et universitaire;
  2. la participation des chercheurs aux projets de l'organisme;
  3. une perception positive d'au moins 60 % des chercheurs en ce qui concerne les retombées des projets de l'organisme.

Constats relatifs à la cible 21

La cible est atteinte. Que ce soit par l'intermédiaire d'emplois d'été, de projets ou de collaborations à des activités, 81 étudiants ont pris part aux projets du CTREQ au cours des cinq dernières années. La plupart d'entre eux venaient du milieu universitaire, mais en 2017, l'organisme a accueilli un étudiant du secondaire dans le cadre du projet FAST. Il est important de préciser que ces chiffres sont prudents, puisque certains étudiants ont collaboré à plus d'une reprise avec le CTREQ, alors qu'ils n'ont été comptabilisés qu'une fois.

Graphique 4.1 : Contribution à la formation d'étudiants

Source : Requête d'information CTREQ, juillet 2017.

Constats relatifs à la cible 22

La cible est atteinte. Les chercheurs ont participé à la plupart des projets du CTREQ. Toutefois, l'ampleur de leur engagement varie selon les projets. Le tableau 4.1 présente le nombre de chercheurs qui ont pris part annuellement aux projets de l'organisme. En moyenne, pour l'ensemble de la période évaluée, 58 chercheurs par année ont participé aux divers projets du CTREQ. Il est à noter que, dans plusieurs cas, un même chercheur collabore à plusieurs projets. Le travail des chercheurs avec les acteurs du terrain se fait selon un modèle de construction en vue de créer une alliance entre les savoirs théoriques et l'expérience.

Tableau 4.1 : Chercheurs participant aux projets de recherche
  2012-2013 2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information CTREQ, juillet 2017.
Nombre de chercheurs participant aux projets et activités 31 50 79 74 58 292

Constats relatifs à la cible 23

La cible n'est pas atteinte. Dans le cadre du sondage, les chercheurs ont été questionnés par rapport aux retombées qu'ils ont connues à la suite de leur collaboration avec le CTREQ. Les résultats complets sont présentés dans le tableau 4.2. Les retombées les plus fréquentes auprès des chercheurs sont les suivantes : amélioration des modalités de transfert (84 %), participation à un ou des projets multidisciplinaires (64 %), accès privilégié à des terrains d'expérimentation (60 %) et meilleur maillage entre les différents acteurs du domaine de la recherche et de l'intervention en réussite éducative (56 %).

Lorsqu'ils ont été interrogés pour savoir s'ils avaient connu d'autres retombées, les chercheurs ont mentionné, entre autres, la possibilité d'avoir une visibilité nationale et internationale, une meilleure collaboration entre eux ainsi qu'une sensibilisation accrue du milieu de la réussite éducative aux connaissances de la recherche.

Cependant, plusieurs retombées présentées dans le tableau 4.2 ont de très faibles pourcentages de reconnaissance auprès des chercheurs qui ont collaboré avec le CTREQ. En effet, seulement 28 % d'entre eux ont mentionné que cette collaboration leur a permis d'augmenter le nombre de publications scientifiques. Le même pourcentage a été observé pour la création d'emplois dans les domaines de la recherche, du transfert et de l'innovation et de la réussite éducative.

Tableau 4.2 : Perception des chercheurs par rapport aux retombées des projets du CTREQ
(Question : « Selon vous, les projets et activités du CTREQ vous ont permis... ») En pourcentage
Source : Sondage auprès des chercheurs du CTREQ, MESI, septembre 2017.
*** Cet indicateur est le fruit d'un indice à items multiples, dont la fiabilité a été vérifiée par alpha de Cronbach (α = 0,9).
de contribuer à l'amélioration des modalités de transfert 84 %
d'établir un maillage interuniversitaire 64 %
d'avoir un accès privilégié à des terrains d'expérimentation 60 %
d'établir un meilleur maillage entre les différents acteurs du domaine de la recherche et de l'intervention en réussite éducative 56 %
d'avoir un meilleur accès à des fonds de recherche et à des fonds favorisant le transfert de connaissances 52 %
de développer de nouveaux projets de recherche 48 %
d'avoir un plus grand prestige auprès de la communauté de chercheurs universitaires et collégiaux 48 %
de favoriser le rayonnement international de la recherche québécoise dans le domaine de la réussite éducative 48 %
d'avoir une meilleure connaissance des problématiques et des besoins des organisations 40 %
d'avoir un plus grand prestige auprès de la communauté d'affaires (y compris du secteur public) 36 %
de participer à un ou des projets multidisciplinaires (y compris les projets interuniversitaires) 32 %
d'augmenter le nombre de publications scientifiques 28 %
de créer des emplois dans les domaines de la recherche, du transfert et de l'innovation et de la réussite éducative 28 %
de bénéficier d'autres retombées 20 %
Indice de perception positive des chercheurs des retombées des projets du CTREQ 58 %***

Commentaires de l'évaluateur sur les résultats du critère 7 (cibles 21 à 23)

Les résultats sont jugés partiellement satisfaisants, car deux des trois cibles sont atteintes.

La cible 21 est atteinte, puisque la contribution du CTREQ à la formation d'étudiants universitaires ne fait pas de doute.

La cible 22 est atteinte. En effet, à l'instar de la participation des étudiants, celle des chercheurs aux projets du CTREQ a été démontrée.

La cible 23 n'est pas atteinte, puisque la perception positive d'au moins 60 % des chercheurs en ce qui concerne les retombées des projets de l'organisme n'a pas été observée. En effet, la perception positive a été constatée chez 58 % des chercheurs. Comme l'illustre le tableau 4.2, certains types de retombées ont été mentionnés par un pourcentage important de chercheurs. Toutefois, un nombre encore plus important n'a pas été observé par un grand pourcentage. Cela s'explique en partie par la spécialisation pratique de la recherche au CTREQ.

4.2 Critère 8 : Les effets des activités de l'organisme sur les milieux utilisateurs

Les cibles

Il est attendu :

  1. l'appropriation de nouvelles connaissances et de nouveaux savoir-faire par les milieux preneurs;
  2. des effets des innovations sociales sur les milieux preneurs;
  3. la présence de trois cas à succès.

Constats relatifs à la cible 24

La cible est atteinte. Le graphique 4.2 présente les principaux changements opérés dans les milieux utilisateurs à la suite de l'utilisation des produits et des services du CTREQ. Contrairement aux retombées auprès des chercheurs, l'appropriation a été constatée par les milieux preneurs. En effet, 96 % d'entre eux ont admis avoir connu une sensibilisation à l'utilisation des connaissances issues de la recherche et 94 % ont affirmé s'être approprié de nouveaux savoir-faire ou de nouvelles connaissances. La même proportion de milieux a connu une amélioration des connaissances relatives à la réussite éducative.

Graphique 4.2 : Appropriation de nouvelles connaissances et de nouveaux savoir-faire par les milieux preneurs

Source : Sondage auprès des chercheurs, des partenaires et des collaborateurs du CTREQ, MESI, septembre 2017.

Constats relatifs à la cible 25

La cible est atteinte. En plus d'apporter de nouvelles connaissances et de nouveaux savoir-faire aux milieux preneurs, le CTREQ contribue à l'appropriation de l'innovation sociale par les milieux preneurs. En effet, comme en témoigne le graphique 4.3, les milieux preneurs ont constaté la présence d'effets en la matière. Parmi les innovations sociales qui ont fréquemment été mentionnées par les répondants du sondage, on note l'amélioration de l'appropriation, de l'utilisation ou de la diffusion de nouvelles pratiques (85 %), l'amélioration des interventions déjà existantes (72 %), la capacité de répondre plus efficacement aux besoins des jeunes ou d'intervenir efficacement auprès d'un plus grand nombre de jeunes (65 %) ainsi que la sensibilisation ou la formation des praticiens, professionnels et autres intervenants du domaine de la réussite éducative (61 %).

Graphique 4.3 : Innovations sociales sur les milieux preneurs

Source : Sondage auprès des chercheurs, des partenaires et des collaborateurs du CTREQ, MESI, septembre 2017.

Constats relatifs à la cible 26

La cible est atteinte.

Premier cas à succès : ÉcoRéussite

Lors d'une tournée de consultation dans les différentes régions du Québec, les partenariats entre l'école, la famille et la communauté avaient été déterminés comme un besoin. Un projet de partenariats école-famille-communauté a mené à la réalisation d'un répertoire de projets et d'un document sur les conditions essentielles. Par la suite, un séminaire a mis en évidence le besoin des milieux d'être guidés dans la mise en œuvre de partenariats.

Un guide et un coffre à outils concernant l'implantation de partenariats école-famille-communauté dans une perspective écosystémique ont d'abord été rédigés. L'approche écosystémique correspond à la mise à contribution, dans le choix des actions, des acteurs concernés dans les différents environnements ou systèmes autour des élèves. Des versions du guide et du coffre à outils ont été adaptées pour l'organisme Avenir d'enfants dans le but de soutenir la mise en place de partenariats famille-communauté au bénéfice de jeunes enfants (0-5 ans). Par la suite, des projets-pilotes ont eu lieu.

L'équipe d'ÉcoRéussite a participé à l'expérimentation du guide d'élaboration d'un plan d'action école-famille-communauté selon une approche écosystémique menée dans le cadre de Cœuréaction du CTREQ. Outre un soutien financier offert grâce à l'entente de partenariat conclue avec la Fondation Chagnon, le CTREQ a donné un service de formation et d'accompagnement durant près de deux ans pour la réalisation de ce projet.

À ce jour, le projet ÉcoRéussite est toujours en application. Il souhaite que plus de municipalités s'intéressent à sa démarche et il tend vers une approche harmonisée.

Les acteurs engagés (école, parents et partenaires) ont pu développer leurs connaissances à propos de l'approche écosystémique (ex. : importance de construire, d'avoir une équipe de partenaires et de s'inspirer des facteurs de protection issus de la recherche et qui sont déterminants dans la réussite). De plus, ils se sont basés sur le guide et le coffre à outils conçus par le CTREQ pour élaborer leur plan d'action de partenariat école-famille-communauté dans une perspective écosystémique.

Le projet ÉcoRéussite a reçu différents prix :

Deuxième cas à succès : Du FPSJA vers le modèle PCR

En 2012, le CTREQ s'est vu confier le mandat de gérer le Fonds pour la persévérance scolaire des jeunes autochtones (FPSJA).

De septembre 2012 à juin 2015, 22 projets ont bénéficié d'un soutien financier du FPSJA et d'un accompagnement de longue durée du CTREQ. Les 22 projets soutenus ont été réalisés dans 8 nations réparties dans près de 20 communautés autochtones différentes. Les projets portaient sur la valorisation de la culture autochtone, le leadership et l'engagement des élèves, le soutien externe à l'apprentissage (ex. : aide aux devoirs), le soutien familial à la réussite éducative et l'entrepreneuriat jeunesse. Les projets ont sollicité la participation d'environ 160 organismes partenaires directs et indirects.

Le modèle PCR (persévérance + compétences = réussite) est l'un des projets qui ont bénéficié d'un soutien financier et d'un accompagnement dans le cadre du FPSJA. Le modèle PCR vise à favoriser l'entrepreneuriat éducatif chez les Premières Nations. L'École Nikanik de Wemotaci a obtenu ce soutien financier pour intégrer le modèle au programme d'adaptation scolaire dans son milieu en tenant compte des particularités de sa communauté.

Le modèle PCR a rapidement suscité l'intérêt d'autres communautés en donnant des résultats au-delà des espérances, notamment avec une augmentation considérable du taux de diplomation. En 2010, seulement 10 % des élèves d'Amik-Wiche poursuivaient des études postsecondaires. En 2015, plus de 57 % des élèves de 5e secondaire ont entamé des études postsecondaires. L'école secondaire Nikanik de Wemotaci a intégré le modèle PCR à son programme d'adaptation scolaire en 2014 en tenant compte des particularités de sa communauté. Cette façon de faire permet l'intégration des concepts et des conditions de réalisation à la base du modèle PCR (entrepreneuriat, mentorat, partenariat école-famille-communauté).

Troisième cas à succès : Référentiel d'agir compétent

Le projet visait à soutenir les acteurs de l'éducation dans leurs actions et prises de décision liées à leur projet éducatif ou à leur plan de réussite. Le référentiel développé mise sur l'alliance d'acteurs clés de l'établissement scolaire, soit la direction d'établissement, l'enseignant et le conseiller pédagogique. L'intention première était de développer des stratégies de transfert en vue d'augmenter l'utilisation des connaissances issues de la recherche en faveur de la réussite éducative des jeunes. Il a été convenu de considérer le contexte de travail et les pratiques professionnelles de trois acteurs clés en ce qui a trait à l'utilisation de la recherche en réussite éducative.

Une cartographie conceptuelle a été réalisée à partir des réponses et des énoncés des participants. Elle a permis de fournir une représentation graphique de la réalité perçue qui a conduit à la définition de sept domaines d'agir compétent et à leur répartition selon les rôles et responsabilités des acteurs clés. De nouvelles facettes du rôle de la direction, du conseiller et de l'enseignant ont été dégagées pour mettre en évidence une « fonction de compétence collective et complémentaire pour dynamiser l'intégration des connaissances en faveur de la réussite éducative », une compétence qui s'actualise dans l'action et se développe par l'action.

Une expérimentation du référentiel a été menée dans des écoles de sept commissions scolaires. Trois écoles se sont jointes aux quatre écoles primaires et secondaires qui ont participé à la collaboration du référentiel. Ces écoles étaient situées dans des milieux urbains et ruraux.

Le Référentiel d'agir compétent sert de production de référence dans la mise en œuvre de deux projets en cours au CTREQ :

Le projet a même été le sujet du doctorat d'une étudiante (démarche d'élaboration, modélisation des compétences, théorie à la base du Référentiel d'agir compétent, résultats d'évaluation des effets du référentiel) ainsi que d'articles professionnels rédigés par cette dernière (revues spécialisées). Finalement, le projet a également entraîné l'augmentation de la capacité des personnes et des milieux participants à intégrer des connaissances validées dans leur pratique quotidienne.

Commentaires de l'évaluateur sur les résultats du critère 8 (cibles 24 à 26)

Les résultats sont jugés très satisfaisants, car les trois cibles sont atteintes. L'évaluation considère qu'il y a eu présence d'effets probants des innovations sociales sur les milieux utilisateurs qui sont confirmés par les résultats du sondage ainsi que par la description des cas à succès (cible 25). La cible 24 est considérée comme atteinte, puisqu'il y a eu appropriation de nouvelles connaissances et de nouveaux savoir-faire par les milieux preneurs, ce que démontre le sondage auprès de ces milieux preneurs. La cible 26 est atteinte, puisque le CTREQ a fait la démonstration à l'évaluateur de la présence d'au moins trois cas à succès parmi plusieurs possibilités.

4.3 Critère 9 : Les retombées socioéconomiques

Les cibles

Il est attendu :

  1. la présence de retombées économiques;
  2. la présence de retombées sociales.

Constats relatifs à la cible 27

La cible est atteinte. Le graphique 4.2 présente les principales retombées économiques du CTREQ. Compte tenu du fait que le CTREQ est un organisme d'innovation sociale, les retombées économiques de ses innovations se font souvent sentir à long terme et elles sont plus difficiles à évaluer. L'évaluation peut tout de même quantifier certaines retombées économiques. Tout d'abord, les apports des partenaires dans les projets et les activités ont totalisé 3,55 M$.

Par ailleurs, le CTREQ a engrangé des revenus autonomes de 253 k$ par l'intermédiaire de divers projets et activités réalisés au cours de la période évaluée. Ses autres revenus, quant à eux, totalisent 248 milliers de dollars.

Graphique 4.4 : Investissement et ventes générés par les projets

Source : Requête d'information CTREQ, juillet 2017.

Malgré la diminution du financement du Ministère au cours de la période évaluée, le CTREQ a été en mesure de maintenir le nombre d'emplois au sein de l'organisme. Les ressources ont certes été utilisées différemment, mais les employés du CTREQ sont tous restés à l'emploi de l'organisme. En fait, le CTREQ a même augmenté son nombre d'employés liés aux projets de cinq à six.

En ce qui a trait au rayonnement de l'expertise québécoise à l'échelle internationale, chaque année, le CTREQ accueille au moins une délégation de l'extérieur du pays. Les réactions de ces acteurs sont toujours positives. Auparavant, le CTREQ réalisait des missions internationales. Puisque la convention de subvention précise que la priorité est de viser des retombées au Québec, le CTREQ n'a pas poursuivi de telles activités, d'autant plus que le contexte budgétaire des dernières années ne s'y prêtait guère. Par ailleurs, le RIRE contribue au rayonnement de l'expertise québécoise à l'étranger développée au CTREQ et au Québec. En 2017, 36 % des visites du site Web provenaient de l'extérieur du Canada. Sur le site du CTREQ, on observe aussi une fréquentation hors Canada importante. À titre d'exemple, en 2016-2017, 20 % des visites sur le site étaient faites à partir de pays autres que le Canada, majoritairement à partir de la France, de la Russie, de la Belgique et des États‑Unis.

Constats relatifs à la cible 28 : La cible est atteinte.

Le CTREQ étant un organisme d'innovation sociale, les retombées sociales sont nombreuses et de plusieurs ordres.

Les projets École et Stratégies ainsi que FAST, menés à l'École secondaire Vanier, ont aussi contribué à des retombées sociales. Le projet École et Stratégies visait la révision des pratiques et a permis de travailler dans ce milieu à l'élaboration d'un plan de réussite crédible qui prenne en considération les résultats de recherche. Au terme du projet, le CTREQ a poursuivi son action dans le milieu en collaboration avec le CEFRIO et le CRIRES pour la réalisation du projet FAST (Formation atypique en science et technologie). Ce deuxième projet qui s'est échelonné sur plus de deux ans visait à susciter l'intérêt des jeunes de 4e secondaire à la science et à la technologie de même qu'à les sensibiliser aux possibilités de carrière dans le domaine. Même s'il est impossible d'attribuer à ces seuls projets la diminution importante du taux de décrochage dans cette école (de 57 % en 2010 à 23 % en 2015), on ne peut nier leur influence sur le décrochage.

Le décrochage scolaire est associé à d'importants enjeux, sur le plan tant personnel que social et économique. Les actions du CTREQ, qui visent à favoriser la réussite éducative et, par conséquent, à réduire le décrochage scolaire, ont un effet à long terme sur l'économie du Québec et le développement de la société, en encourageant la participation active des jeunes à la société. Il est toutefois difficile d'avoir des statistiques directes à cet égard. Cependant, en observant certaines données sur les répercussions sociales et économiques du décrochage scolaire, on peut constater l'importance de la prévention du décrochage. Sur le plan social, on remarque que les décrocheurs exercent leur droit de vote dans une proportion de seulement 52 %. En comparaison, ce pourcentage monte à 84 % chez ceux qui détiennent un diplôme universitaire. Par ailleurs, la population carcérale est composée à 63 % de décrocheurs. Sur le plan économique, la personne sans diplôme d'études secondaires a un revenu moyen de 23 000 $, lequel passe à 33 000 $ chez les personnes qui ont un diplôme. Après 45 ans de vie active, la personne qui a un diplôme aurait donc bénéficié d'une hausse du revenu cumulatif de 450 000 $, alors qu'au cours de sa vie, chaque décrocheur aura généré des coûts sociaux de 500 000 $. En termes de pertes (taxes, impôts et coûts sociaux), chaque cohorte de décrocheurs coûterait environ 1,9 milliard de dollars à l'État québécois. À la vue de ces statistiques, on comprend très bien à quel point la prévention du décrochage scolaire est importante sur le plan social et économique.

Finalement, les milieux utilisateurs ont été appelés à se prononcer sur les retombées sociales des activités du CTREQ. Ils ont mentionné une amélioration des collaborations sur le terrain entre les différents milieux, la capacité de documenter les pratiques sur le terrain, un meilleur positionnement lié à la persévérance et à la réussite scolaire ainsi qu'un sentiment d'efficacité plus grand chez les membres du personnel.

Commentaires de l'évaluateur sur les résultats du critère 9 (cibles 27 et 28)

Les résultats sont jugés satisfaisants, car les deux cibles sont atteintes.

La cible 27 est atteinte, puisque la présence de retombées économiques a été constatée. Les différents revenus du CTREQ de 2013 à 2017 ainsi que le maintien du nombre d'employés de l'organisme en sont la preuve.

La cible 28 est atteinte, car la présence de retombées sociales a été constatée. D'ailleurs, la description de ces retombées sociales a permis d'observer l'importance de prévenir le décrochage scolaire, étant donné tous les effets sociaux négatifs que celui-ci entraîne. De plus, le sondage auprès des milieux preneurs a permis d'observer plus concrètement les retombées sociales.

Chapitre 5 : Les conclusions de l'évaluation

5.1 Principaux constats

Le tableau suivant rappelle les principaux résultats constatés au 30 juin 2017.

Principaux résultats du CTREQ ─ Degré d'atteinte des cibles (du 1er juillet 2012 au 30 juin 2017)

La pertinence de l'aide financière
Critère 1 : La compatibilité avec les objectifs et les résultats visés par le Ministère (cible dépassée)
Critère 2 : Le besoin continu d'aide financière à l'organisme (cible dépassée)
Critère 3 : L'efficience du modèle d'intervention du Ministère (cible dépassée)
L'efficacité de l'organisme
Critère 4 : L'atteinte des résultats visés (cible dépassée)
Critère 5 : Les pratiques de gestion de l'organisme (cible atteinte)
Critère 6 : Le modèle d'affaires et de gouvernance de l'organisme (cible dépassée)
Les effets de l'organisme
Critère 7 : Les effets dans le domaine de la recherche (cible partiellement atteinte)
Critère 8 : Les effets des activités de l'organisme sur les milieux utilisateurs (cible dépassée)
Critère 9 : Les retombées socioéconomiques (cible atteinte)

5.2 Réponses aux questions de l'évaluation

  1. L'aide financière à l'organisme est-elle pertinente?

    L'évaluation conclut que l'aide financière accordée au CTREQ est pertinente. Les résultats suggèrent une adéquation de la mission du CTREQ et de ses activités aux objectifs du Ministère. De plus, la clientèle du CTREQ correspond à celle attendue par le Ministère. Un autre élément de preuve de la pertinence de l'aide financière est la démonstration de la persistance des besoins d'intervention publique en matière de réussite éducative illustrée, entre autres, dans la Politique de la réussite éducative Le plaisir d'apprendre, la chance de réussir. Sur le plan financier, le CTREQ a montré qu'il est en mesure d'attirer des capitaux autres que l'aide financière gouvernementale, avec un effet de levier de 1,23 et une légère augmentation des revenus autonomes de 2013 à 2017.

  2. L'efficacité de l'organisme est-elle satisfaisante?

    L'évaluation conclut que l'efficacité du CTREQ est satisfaisante. Les résultats le prouvent : mise en place de saines pratiques de gestion, conseil d'administration représentatif des divers milieux preneurs, augmentation de 62 % du nombre de collaborations et financement de 65 % des budgets des projets et activités par les partenaires et collaborateurs. Toutefois, les frais administratifs de 12,5 % sont plus élevés que la cible.

  3. Les retombées sont-elles satisfaisantes?

    L'évaluation conclut que les retombées sont satisfaisantes. Le CTREQ a contribué à la formation de 81 étudiants. Par ailleurs, 292 chercheurs ont participé à ses projets, en plus de contribuer au rayonnement de l'expertise québécoise à l'échelle internationale. Du point de vue économique, l'organisme a su maintenir le nombre de ses employés malgré la diminution des subventions de fonctionnement, en plus d'attirer des apports de partenaires et de collaborateurs de 1,17 M$ dans les divers projets et activités.

5.3 Appréciation générale des résultats

L'évaluation de l'atteinte des cibles conduit à un pointage de 84,97 points sur 100. Les résultats de CTREQ sont jugés satisfaisants, car le score se situe entre 70 et 89.

La pertinence de l'aide financière accordée au CTREQ est évaluée à 35 points sur 35. Les résultats les plus probants sont constatés au critère 2.

L'efficacité du financement du CTREQ est évaluée à 26,66 points sur 30. Les résultats les plus probants sont constatés au critère 4. Dans le critère 5, les résultats suggèrent que de légères améliorations sont possibles.

Les effets du financement du CTREQ sont évalués à 23,31 points sur 30. Les résultats les plus probants sont constatés au critère 8. Dans le critère 7, les résultats suggèrent que de légères améliorations sont possibles.

Des résultats plus détaillés sont présentés à l'annexe 2.A (« Tableau de pointage »).

Évaluation de l'atteinte des cibles du programme

5.4 Éléments à suivre

Dans la perspective où l'entente d'aide financière du Ministère serait renouvelée, le CTREQ est invité à porter attention aux éléments suivants :

  1. Partenaires du milieu des entreprises

    Au critère 1, la direction du CTREQ a mentionné avoir une variété de partenaires de différents horizons professionnels. Le tout a été confirmé par la liste des répondants du sondage. Toutefois, la direction mentionne le faible nombre de partenaires du milieu des entreprises et les faibles possibilités de partenariats avec ces derniers. Le CTREQ a mentionné faire des efforts en vue d'augmenter ce type de partenariats. Il est d'ailleurs invité à explorer les diverses façons d'y parvenir.

  2. Le développement des outils de veille en partenariats ou concertation avec les autres intervenants du secteur

    Le nombre d'outils de veille conçus en partenariat ou en concertation avec les autres intervenants du secteur au cours de la période évaluée n'est pas grand. Le CTREQ a néanmoins fait une tentative de collaboration avec un organisme postuniversitaire, en l'aidant à mettre en place un système de veille. Toutefois, cette collaboration n'a pu être poursuivie. Le CTREQ a par ailleurs tenu des échanges avec d'autres organismes du collégial de façon à mieux décoder les occasions de collaboration. L'évaluation constate les efforts déployés par l'organisme pour concevoir des outils de veille, tout en soulignant qu'il serait intéressant d'observer la concrétisation de ces efforts.

  3. Frais d'administration et de gestion

    Les frais d'administration et de gestion du CTREQ sont de 12,5 %, alors que la cible était de 10 %. L'évaluation prend en considération que la diminution du financement ministériel a eu un effet sur l'indicateur. Malgré tout, le CTREQ est invité à prendre les mesures nécessaires pour réduire l'importance des frais d'administration et de gestion dans ses dépenses totales.

Annexe 1 : Compléments méthodologiques

1.A Modèle logique du PSVT

Le tableau ci-dessous illustre la logique de l'intervention gouvernementale par la démonstration de la cohérence des liens entre les objectifs de l'aide accordée et les résultats attendus.

Les objectifs du PSVT

  1. Raison d'être
    Le besoin de favoriser la valorisation et le transfert des résultats de la recherche vers les entreprises et les organisations en vue de soutenir l'innovation et le développement économique.
  2. Cibles
  3. Objectifs
  4. Nature de l'intervention
    Financement d'organismes de liaison et de transfert en innovation sociale (OLTIS), dont le CTREQ. Le financement est consenti par l'intermédiaire du Programme de soutien à la valorisation et au transfert (PSVT) du MESI.
  5. Intrants
    Aide financière accordée au CTREQ
  6. Activités

Les résultats attendus du PSVT

  1. Extrants
  2. Effets

Les autres retombées souhaitées du PSVT

  1. Retombées

1.B Méthode d'appréciation des résultats

Pour chacun des critères, la comparaison des résultats obtenus et des cibles permet d'évaluer les résultats selon l'échelle d'appréciation qualitative présentée au tableau A.1. À la suite de l'évaluation de chacun des critères, un pointage sur 100 est attribué à l'ensemble des résultats de la manière suivante :

Le score final sur 100 est la somme des scores obtenus dans chacun des trois éléments évalués. Les scores de chaque élément évalué sont obtenus selon l'expression suivante : somme des points obtenus/maximum des points pour l'élément évalué.

Chacun des trois volets évalués est pondéré selon les poids présentés dans les tableaux suivants.

Tableau A.1 : Échelle d'appéciation de la performance
Appréciations qualitatives Intervalles
Résultats très satisfaisants 90-100
Résultats satisfaisants 70-89
Résultats partiellement satisfaisants 50-69
Résultats insatisfaisants 0-49

Tableau A.2 : Pondération des éléments à évaluer
Éléments à évaluer Poids
en pourcentage

La pertinence de l'aide financière

35 %
L'efficacité de l'organisme 30 %
Les effets de l'organisme 35 %
Total 100 %

1.C Sources de données

Les sources de données utilisées dans la présente évaluation sont les suivantes :

Documentation du Ministère relative au CTREQ

Il s'agit de la documentation disponible sur le site Web du Ministère, des documents explicatifs relatifs au CTREQ et du cadre normatif du Programme de soutien à la valorisation et au transfert (PSVT).

Enquête téléphonique auprès des partenaires, des chercheurs et des collaborateurs du CTREQ

Un sondage téléphonique a été réalisé du 23 mai au 13 septembre 2017 auprès des partenaires, des chercheurs et des collaborateurs. L'exercice avait pour objectif de recueillir leur avis sur la pertinence et sur les résultats du CTREQ ainsi que leur satisfaction à l'égard de l'organisme.

Sur une population initiale de 108 organisations, le taux de réponse s'établit à 77 % avec 83 réponses et environ 25 répondants non joignables. Aucun échantillonnage n'a été effectué, c'est-à-dire que chaque organisation a été le sujet d'au moins un appel téléphonique.

Tableau A.3 : Rendement du sondage téléphonique
Population Population initiale Nombre de répondants Taux de réponse (en pourcentage) Marge d'erreur (en pourcentage)
Source : Sondage auprès des chercheurs, des partenaires et des collaborateurs du CTREQ, MESI, septembre 2017.
Collaborateurs 60 46 76,6 % 7,0 %
Partenaires 15 12 80 % 13,1 %
Chercheurs 33 25 75,7 % 9,8 %
Total 108 83 76,8 % 5,2 %

Documentation administrative demandée au créneau d'excellence évalué

La documentation administrative fait référence aux éléments suivants :

Consultation

1.D Limites de l'évaluation

Tableau A.4 : Limites de l'évaluation et stratégies d'atténuation de leurs effets

Limites de l'évaluation

Certaines cibles ne sont pas accompagnées d'attentes précises de résultats dans les conventions de subvention.

Stratégies d'atténuation de leurs effets

Les attentes habituelles du Ministère, quelle que soit l'intervention évaluée, peuvent être utilisées.

Limites de l'évaluation

Données précises non disponibles sur les retombées économiques auprès des entreprises clientes des organismes.

Stratégies d'atténuation de leurs effets

L'absence de données précises peut être compensée par l'utilisation d'estimateurs calculés à l'aide des comptes économiques de Statistique Canada et de techniques économétriques appliquées aux données d'enquête.

Annexe 2 : Compléments d'information

2.A Tableau de pointage

Évaluation du CTREQ – Pointage final des résultats sur 100

La pertinence de l'aide financière à l'organisme
  Score obtenu Maximum possible
Critère 1 : La compatibilité avec les objectifs et les résultats visés par le Ministère 11,66 11,66
Critère 2 : Le besoin continu d'aide financière à l'organisme 11,66 11,66
Critère 3 : L'efficience du modèle d'intervention du Ministère 11,66 11,66
Sous-total pertinence (sur 35 points) 35,00 35,00
Total sur 100 84,97 100,00

L'efficacité de l'organisme
  Score obtenu Maximum possible
Critère 4 : L'atteinte des résultats visés 10,00 10,00
Critère 5 : Les pratiques de gestion de l'organisme 6,66 10,00
Critère 6 : Le modèle d'affaires et de gouvernance de l'organisme 10,00 10,00
Sous-total efficacité (sur 30 points) 26,66 30,00
Total sur 100 84,97 100,00

Les effets de l'organisme
  Score obtenu Maximum possible
Critère 7 : Les effets dans le domaine de la recherche 3,88 11,66
Critère 8 : Les effets des activités de l'organisme sur les milieux utilisateurs 11,66 11,66
Critère 9 : Les retombées socioéconomiques 7,77 11,66
Sous-total effets (sur 35 points) 23,31 35,00
Total sur 100 84,97 100,00

Notes et références

Note 1. [En ligne] http://www.education.gouv.qc.ca/fileadmin/site_web/documents/PSG/politiques_orientations/politique_reussite_educative_10juillet_F_1.pdf.

Note 2. Une innovation sociale est une idée, une approche, une intervention, un service, un produit, une loi ou un type d'organisation constituant une nouveauté et répondant plus adéquatement et plus durablement que les solutions existantes à un besoin social bien défini, ou encore une solution qui a trouvé preneur au sein d'une institution, d'une organisation ou d'une collectivité et produisant un bénéfice mesurable pour la collectivité et non seulement pour certains individus. La portée d'une innovation sociale est transformatrice et systémique. L'innovation sociale entraîne une rupture avec ce qui existait jusque-là. Cette définition provient de la Stratégie québécoise de la recherche et de l'innovation 2017-2022 du gouvernement du Québec.