Territoires innovants en économie sociale et solidaire (TIESS)

Rapport d'évaluation

Pour la période du 1er juillet 2013 au 30 juin 2017

Préface

Notes au lecteur

  1. Sauf avis contraire dans le texte, toutes les sommes indiquées sont en dollars canadiens. Les symboles suivants sont utilisés : k$ pour milliers de dollars et M$ pour millions de dollars.
  2. Selon l'indicateur considéré, le total des résultats peut comporter un écart de ± 1 % pour les pourcentages ou de ± 1 pour les autres valeurs. Cet écart s'explique par l'arrondissement des résultats présentés.
  3. Dans le présent document, le terme de PME désigne toute petite ou moyenne entreprise de moins de 250 employés, sans tenir compte de son chiffre d'affaires ou de la valeur de ses actifs. Cette définition de PME est plus adaptée au contexte québécois que celle de Statistique Canada (entreprise de moins de 500 employés). Elle correspond en outre à la définition de PME en vigueur au sein de l'Union européenne (UE) et de l'Organisation de coopération et de développement économique (OCDE).
  4. À moins d'avis contraire, les résultats présentés dans le document sont pour la période du 1er juillet 2013 au 30 juin 2017.

Auteur du rapport

Jean-François Lizotte
Évaluateur de programmes
Recherche et rédaction

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

Ce document est disponible sur demande auprès de cette direction.

Pour nous joindre

Direction de la coordination, de l'évaluation et de la planification
Ministère de l'Économie, de la Science et de l'Innovation

710, place D'Youville, 7e étage
Québec (Québec) G1R 4Y4
Téléphone : 418 691-5698, poste 4902

Pour plus d'information : gar@economie.gouv.qc.ca

Version définitive – novembre 2017
© Gouvernement du Québec

Remerciements

Le présent document est le fruit de la collaboration de plusieurs personnes sans lesquelles les travaux n'auraient pu être menés à leur terme. À cet égard, nous tenons à remercier toutes les personnes associées de près ou de loin à la réalisation du présent rapport d'évaluation, notamment le personnel de la Direction des maillages et des partenariats industriels (DMPI) du ministère de l'Économie, de la Science et de l'Innovation (MESI) et le personnel du TIESS.

Un comité d'évaluation, constitué à l'occasion de la présente évaluation, avait pour objectif d'obtenir l'assurance que les constats du rapport d'évaluation sont valides et fidèles à la réalité et que les appréciations qui en découlent sont objectives. Les membres du comité, présentés ci-après, devaient valider le cadre et le rapport d'évaluation et conseiller l'évaluateur sur l'orientation des travaux et la stratégie générale d'évaluation, tout en apportant un éclairage sur des questions importantes qui peuvent se poser en cours de réalisation du mandat.

Nous tenons également à remercier les membres du comité d'évaluation constitué à l'occasion de ce mandat.

Les membres du comité d'évaluation

François Maxime Langlois
Directeur
Direction de la coordination, de l'évaluation et de la planification

Christophe Marchal
Évaluateur principal et chef d'équipe d'évaluation
Direction de la coordination, de l'évaluation et de la planification

Sommaire

La présente évaluation vise à apprécier les résultats de l'aide financière accordée au TIESS de 2,6 M$ pour la période du 1er juillet 2013 au 30 juin 2017, par rapport aux attentes et aux résultats attendus dans les conventions de subvention.

Les résultats du TIESS sont jugés satisfaisants. L'évaluation confirme la pertinence de l'aide financière accordée au TIESS, son efficacité et ses effets positifs pour la clientèle visée et pour les innovations sociales dans le domaine de l'économie sociale et solidaire au Québec. Depuis son démarrage en juillet 2013, l'organisme connaît une bonne progression de ses activités, des revenus autonomes et de la participation du milieu utilisateur à ses projets et à ses activités. L'année 2013-2014 a été consacrée à la mise en place de l'organisme et compte seulement 9 mois d'activités plutôt que 12, ce qui a eu pour effet de tirer vers le bas certains résultats, tels que l'effet de levier et le pourcentage de l'aide financière dans les dépenses totales. Les principaux résultats sont les suivants :

Pertinence

Efficacité

Effets

Conclusions

L'évaluation constate que :

Tables des matières

Chapitre 1 : Le contexte de l'évaluation

1.1 Objectifs de l'évaluation

L'évaluation a pour but d'apprécier les résultats de l'aide financière accordée au TIESS par le ministère de l'Économie, de la Science et de l'Innovation (MESI). Pour ce faire, il est nécessaire d'évaluer la pertinence, l'efficacité et les retombées du financement gouvernemental, en vue de répondre aux trois questions suivantes :

  1. L'aide financière à l'organisme est-elle pertinente?
  2. L'efficacité de l'organisme est-elle satisfaisante?
  3. Les retombées sont-elles convaincantes?

La Direction de la coordination, de l'évaluation et de la planification (DCEP) du ministère de l'Économie, de la Science et de l'Innovation (MESI) a été mandatée pour effectuer ces travaux d'évaluation. Le protocole d'évaluation utilisé pour répondre à ces trois questions est présenté au tableau 1.1.

Tableau 1.1 : Protocole d'évaluation des résultats de l'aide financière accordée au TIESS

La pertinence de l'aide financière (Question 1)

Critères à évaluer

  1. La compatibilité avec les objectifs et les résultats visés par le MESI
  2. Le besoin continu de l'aide financière à l'organisme
  3. L'efficience du modèle d'intervention du Ministère
L'efficacité de l'organisme (Question 2)

Critères à évaluer

  1. L'atteinte des résultats visés
  2. Les pratiques de gestion de l'organisme
  3. Le modèle d'affaires et de gouvernance de l'organisme
Les effets de l'organisme (Question 3)

Critères à évaluer

  1. Les effets dans le domaine de la recherche
  2. Les effets des activités de l'organisme sur les milieux utilisateurs
  3. Les retombées socioéconomiques

Cette approche offre l'assurance de répondre aux besoins du client de l'évaluation.

Par ailleurs, l'évaluation du TIESS doit répondre aux besoins de reddition de comptes du gouvernement, c'est-à-dire :

1.2 Portrait de l'organisme

1.2.1 La mission et objectifs du TIESS

Le TIESS regroupe de nombreux acteurs de l'économie sociale et solidaire et du développement territorial de même que des centres de recherche, des universités et des collèges. Il repère, inventorie, éclaire et systématise les innovations expérimentées par les entreprises et les organisations de l'économie sociale afin d'en favoriser la diffusion et l'appropriation. Il permet de réaliser un transfert de connaissances pratiques et théoriques coproduites par les praticiens et les chercheurs et contribue ainsi au développement des territoires au Québec.

Afin de remplir sa mission, le TIESS s'est fixé les objectifs suivants :

1.2.2 Les activités et clientèle

Le TIESS réalise des activités dans le domaine du transfert, de la liaison et de la veille. Les prochains paragraphes présenteront chacun des trois domaines ainsi que les clientèle.

  1. Les activités de transfert
    La fonction de transfert repose sur deux démarches intégrées. La première consiste à rendre accessibles les connaissances et les informations existantes par la production de différents outils (outils didactiques, vidéos, bulletins, articles, sites Web, etc.). La deuxième démarche repose sur le travail conjoint des chercheurs et des praticiens du développement dans les diverses régions du Québec et vise l'intégration de connaissances ou de procédés nouveaux dans la pratique des individus et des organisations.
  2. Les activités de liaison
    L'innovation sociale dans le secteur de l'économie sociale et solidaire est souvent le fruit du travail des organisations et de leurs partenaires. En s'appuyant sur les réseaux existants de praticiens et de chercheurs ainsi que sur leurs initiatives et leurs compétences, le TIESS cherche à développer et à renforcer les liens entre les acteurs concernés.
  3. Les activités de veille
    La veille constitue le premier jalon de la valorisation des connaissances et des expériences. Elle vise à repérer des expériences porteuses, notamment par l'entremise des antennes régionales et des groupes de travail. Elle repose aussi sur la collaboration avec les chercheurs et d'autres structures de veille pour répertorier et diffuser les expériences et les travaux existants, tant au Québec qu'ailleurs dans le monde.
  4. Les clientèles
    Le TIESS constitue un vaste réseau regroupant près de 70 organisations régionales et nationales de divers secteurs liés à l'économie sociale, à la recherche ainsi qu'au développement économique et territorial. La contribution de ces divers acteurs est au cœur de la mise en marche et du déploiement de la mission du TIESS.

1.2.3 Le portrait financier de l'organisme

Le tableau suivant dresse le portrait des résultats financiers du TIESS de 2014 à 2017.

Tableau 1.2 : Les résultats financiers du TIESS (en milliers de dollars)
Revenus annuels (en milliers de dollars) 2013-2014 2014-2015 2015-2016 2016-2017
Source : États financiers audités du TIESS. Compilation effectuée par le MESI.
* Les revenus autonomes sont constitués des ventes d'outils, de licences de produits et autres.
Subvention PSVT v1 639 613 600 600
Subvention PSVT v2 - 16 89 327
Contributions des autres ministères - - - 57
Revenus autonomes* - 38 26 40
Contributions pour des projets et activités - 80 110 130
Autres revenus 3 4 3 23
Total des revenus 642 751 828 1 177

1.3 Chaîne de résultats attendus

À l'annexe 1.A (« section 1. A – Modèle logique du PSVT ») est présentée l'intervention gouvernementale, plus communément appelée le modèle logique. Ce modèle illustre la chaîne des résultats attendus par le Ministère et fait aussi office de vérification de la cohérence interne des liens entre les composantes de l'intervention, notamment ses objectifs, ses extrants et ses effets attendus.

Le TIESS est financé en vertu du Programme de soutien à la valorisation et au transfert (PSVT), dont la raison d'être est de favoriser la valorisation et le transfert des résultats de la recherche vers les organisations en vue de soutenir l'innovation ainsi que le développement économique et social. Pour parvenir à ses fins, le programme cible, entre autres, le transfert des résultats de recherche aux utilisateurs ainsi que la liaison entre les producteurs et les utilisateurs des recherches. Ultimement, les résultats visés par le PSVT sont d'encourager et de renforcer la capacité d'innovation technologique des entreprises ou d'innovation sociale dans les milieux preneurs, de rapprocher et de mailler les producteurs et les utilisateurs des recherches ainsi que d'inventorier l'information pertinente, de la traiter et d'assurer sa diffusion auprès des clientèles.

1.4 Aide financière du ministère

Du 1er juillet 2013 au 30 juin 2017, l'aide financière (PSVT v1) versée à l'organisme a totalisé 2,56 M$. La répartition de ces montants par année est présentée au graphique 1.1. On peut constater qu'au cours de la période évaluée, le financement a diminué pour se stabiliser par la suite.

Graphique 1.1 : Financement accordé par le MESI (PSVT V1), du 1er juillet 2013 au 30 juin 2017 (en milliers de dollars)

Source : Conventions de subvention du TIESS, MESI.

1.5 Méthode d'évaluation

La méthode d'évaluation utilise les principes de l'analyse multicritère. Elle consiste à comparer les résultats obtenus par l'organisme avec les résultats ciblés dans la convention de subvention ou avec les attentes habituelles du Ministère. L'appréciation des écarts conduit à une appréciation qualitative pour chacun des critères. Par la suite, une grille de pointage est utilisée en vue d'attribuer un score de 0 à 100 aux résultats par l'organisme évalué, le score de 70 étant synonyme d'un résultat jugé satisfaisant. La méthode de pointage est détaillée à l'annexe 1.B (« Méthode d'appréciation des résultats »).

Les sources d'information utilisées regroupent, entre autres, les éléments suivants : les données administratives du TIESS, la documentation du Ministère relative au TIESS et les données de l'enquête téléphonique réalisée auprès des partenaires, des chercheurs et des utilisateurs. Plus de détails sont présentés à l'annexe 1.C (« Sources de données »).

1.6 Portée et limites de l'évaluation

L'évaluation porte sur les résultats du TIESS obtenus au cours des quatre années financières suivantes : 2013-2014, 2014-2015, 2015-2016 et 2016-2017.

Dans le but de faciliter la présentation des résultats, les années financières évaluées sont converties selon les années calendaires suivantes :

Les limites de l'évaluation des résultats de l'organisme et les stratégies d'atténuation de leurs effets sont présentées à l'annexe 1.D (« Limites de l'évaluation »).

Chapitre 2 : La pertinence de l'aide financière

2.1 Critère 1 : La compatibilité avec les objectifs et les résultats visés par le Ministère

Les cibles

Il est attendu :

  1. l'adéquation de la mission et des activités de l'organisme avec les objectifs du Ministère;
  2. une clientèle de l'organisme correspondant à celle attendue par le Ministère;
  3. des revenus autonomes de l'organisme.

Constats relatifs à la cible 1

La cible est atteinte. Au cours de la période évaluée, le TIESS a su faire la démonstration de l'adéquation de sa mission et de ses activités aux objectifs du Ministère. En effet, comme en témoignent les données présentées dans le tableau 2.1 ainsi que dans le graphique 2.2 à la page suivante, l'organisme répond clairement aux objectifs du PSVT. Il a contribué à favoriser la valorisation et le transfert des résultats de recherche vers les organisations en vue de soutenir l'innovation ainsi que le développement économique et social. Le TIESS encourage davantage l'innovation sociale que l'innovation technologique dans les entreprises. De même, il favorise le démarrage d'entreprises socialement innovantes plutôt que d'entreprises technologiquement innovantes. Le TIESS repère, inventorie, éclaire et systématise les innovations expérimentées par les entreprises et les organisations de l'économie sociale afin d'en favoriser la diffusion et l'appropriation. Il permet de réaliser un transfert de connaissances pratiques et théoriques coproduites par les praticiens et les chercheurs et il contribue ainsi au développement des territoires du Québec.

Tableau 2.1 : Nombre d'utilisation des produits et des services du TIESS
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information TIESS, juillet 2017.
Nombre d'utilisateurs d'outils de transfert 1 140 570 1 139 2 072 4 921
Nombre d'utilisateurs des services de consultation - - 34 - 34
Nombre de consultations d'autres produits et services 413 8 075 9 778 14 217 32 483
Nombre de participations à des projets et à des activités 906 1 091 1 219 3 157 6 373

Constats relatifs à la cible 2

La cible est atteinte. La clientèle visée par le Ministère est celle des utilisateurs, des chercheurs ainsi que des partenaires et collaborateurs. Comme l'indique le graphique 2.1, la clientèle totale jointe par le TIESS entre 2013 et 2017 correspond à 5 473 collaborateurs, 121 chercheurs ainsi que 270 partenaires et collaborateurs. De plus, la clientèle du TIESS a augmenté de 98 %, passant de 1 261 en 2013 à 2 408 en 2017.

Dans le même ordre d'idées, le nombre de participations à des événements et à des activités de formation est passé de 1 650 en 2013 à 3 764 en 2017.

Le nombre d'organismes engagés annuellement dans la valorisation des résultats de recherche a quant à lui été stable. Pour l'ensemble de la période évaluée, le nombre d'organismes s'élève à 206. Chacun des types de partenaires visés par le Ministère (académique, industriels, publics et OBNL) a été impliqué dans le montage des projets.

Graphique 2.1 : Collaborateurs, chercheurs et partenaires, du 1er juillet 2013 au 30 juin 2017

5 864 au total, dont :

Tendance :

Source : Requête d'information TIESS, juillet 2017.

Graphique 2.2 : Participations à des évènements ou à des activités de 2013 à 2017

Source : Requête d'information TIESS, juillet 2017.

Constats relatifs à la cible 3

La cible est atteinte. Il est possible d'observer, dans le tableau 2.2, une augmentation des revenus de 2013 à 2017. Compte tenu du fait que l'année 2014 est l'année de démarrage du TIESS, très peu de revenus sont observés. Toutefois, à partir de 2015, et ce, jusqu'à la fin de la période évaluée, les revenus sont beaucoup plus présents et en constante augmentation.

Tableau 2.2 : Revenus autonomes, contributions aux projets et activités et autres revenus du TIESS (en milliers de dollars)
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information TIESS, juillet 2017.
Contributions en espèces à des projets, activités, mandats et autres - 23 118 211 352
Ventes d'outils, de licences de produits et autres - 4 3 8 15
Autres revenus 3 96 18 44 161
Total 3 123 139 263 528

Commentaires de l'évaluateur sur les résultats du critère 1 (Cibles 1 à 3)

Les résultats sont jugés très satisfaisants, car les trois cibles sont atteintes. Elles ont même été dépassées. En effet, l'augmentation des revenus autonomes est constatée (cible 3). La cible 1 est atteinte, étant donné que la preuve de l'adéquation de la mission et des activités de l'organisme aux objectifs du Ministère a été faite. La cible 2 est considérée comme atteinte, puisque la démonstration de la correspondance entre la clientèle du TIESS et celle attendue par le Ministère a été faite. L'évaluation reconnaît les efforts réalisés par le TIESS pour augmenter les revenus de l'organisme au cours de la période évaluée.

2.2 Critère 2 : Le besoin continu d'aide financière à l'organisme

Les cibles

Il est attendu :

  1. la persistance des besoins d'intervention publique en matière d'économie solidaire et sociale et la concordance avec la mission, les orientations et les stratégies du Ministère;
  2. l'utilité et la valeur ajoutée des activités du TIESS clairement perçues par au moins 70 % des partenaires, des chercheurs et des collaborateurs;
  3. la complémentarité avec les autres organismes de la chaîne d'innovation.

Constats relatifs à la cible 4

La cible est atteinte. En 2013, l'Assemblée nationale du Québec adoptait une loi-cadre sur l'économie sociale et, en 2015, le gouvernement du Québec se dotait d'un plan d'action gouvernemental en économie sociale (PAGES) découlant de cette loi. Le PAGES reconnaît que « les entreprises d'économie sociale contribuent grandement au bien-être des Québécois et de leurs collectivités1 ». Se basant sur cette reconnaissance, le PAGES vise « à fournir aux entreprises d'économie sociale les outils nécessaires, adaptés à leurs besoins, pour se développer et contribuer à l'essor économique du Québec et à notre enrichissement collectif2 ». Le plan d'action cible notamment l'appui des entreprises dans leurs efforts d'innovation. Il reconnaît ainsi la capacité à innover des entreprises collectives qui cherchent constamment à trouver de nouvelles solutions aux aspirations et aux besoins collectifs, à améliorer leurs pratiques et leurs services de même qu'à développer davantage les capacités d'action individuelle et collective. Dans ce contexte, les entreprises d'économie sociale constituent souvent de véritables laboratoires de recherche et développement (R-D) qui leur permettent de se démarquer et de concevoir des solutions innovantes pouvant être utiles à d'autres entreprises et organismes. Toutefois, ces solutions doivent être repérées, documentées et systématisées afin qu'elles puissent être transférées à d'autres. C'est ce que le TIESS permet de faire.

Le PAGES prévoit la réalisation prochaine d'un premier portrait statistique. Toutefois, les estimations officielles font état d'environ 7 000 entreprises d'économie sociale. En 2015, au moment où le PAGES a été lancé, on estimait que ces entreprises créaient autour de 150 000 emplois. Cette donnée se basait alors sur l'enquête Repère effectuée en 2012 par le Comité sectoriel de main-d'œuvre de l'économie sociale et de l'action communautaire (CSMO-ÉSAC). Les dernières estimations effectuées par le CSMO-ÉSAC en 2015 font état de 210 000 emplois. Il y aurait donc eu un accroissement de 60 000 emplois en économie sociale au Québec en trois ans, ce qui montre bien la persistance du besoin. En outre, on note depuis quelques années un grand nombre d'initiatives dans divers secteurs (culture, numérique, sécurité alimentaire, services de proximité, etc.) qui appellent un travail de systématisation et d'échange sur les expériences en cours.

Les effectifs du TIESS sont composés à la fois d'organisations « terrain » œuvrant à l'économie sociale et au développement territorial et d'organisations de l'enseignement supérieur (cégeps, universités, centres de recherche et CCTT). À la fin de l'année 2016-2017, le TIESS comptait 71 organismes membres. La majorité d'entre eux proviennent des réseaux de soutien à l'économie sociale et au développement territorial. Les membres participent à la vie associative du TIESS en raison de leurs besoins en matière d'économie sociale et solidaire. Ce sont très majoritairement des regroupements qui ont des besoins relatifs aux connaissances et au transfert de connaissances pour assurer leur développement et celui de leurs membres. La croissance très rapide et soutenue du nombre de projets menés par le TIESS illustre bien ces besoins.

Constats relatifs à la cible 5

La cible est atteinte. Le graphique 2.3 présente les résultats du sondage au moyen duquel les utilisateurs, les chercheurs ainsi que les partenaires ont été interrogés par rapport à l'utilité du TIESS. Les représentants des trois types de clientèles du TIESS sont très nombreux à considérer l'organisme comme indispensable ou très utile.

Graphique 2.3 : Utilité des activités du TIESS

Source : Sondage auprès des chercheurs, des partenaires et des utilisateurs du TIESS, MESI, octobre 2017.

Ces mêmes populations ont été questionnées sur certains aspects précis des activités de l'organisme. L'utilité du TIESS quant à la pertinence de ses produits, services et activités du par rapport aux besoins de la clientèle a ont été jugés comme très ou assez utiles par 100 % des utilisateurs, par 87 % des partenaires et par 11 chercheurs sur 15. En ce qui a trait à son rôle dans la création de nouveaux outils ou de nouvelles connaissances dans le domaine de l'économie sociale et solidaire, le TIESS est considéré comme étant très ou assez utile par 15 chercheurs sur 15, par 87 % des utilisateurs et par 93 % des partenaires.

À l'instar de l'utilité reconnue par sa clientèle, la valeur ajoutée du TIESS obtient des taux de reconnaissance élevés, comme en témoigne le graphique 2.4. En effet, 87 % des utilisateurs, 83 % des partenaires et 12 chercheurs sur 15 considèrent le TIESS comme étant à valeur ajoutée. Lorsqu'ils ont été appelés à préciser leurs pensées, la réponse qui est revenue le plus souvent mentionnait que le TIESS possédait une expertise avancée dans plusieurs secteurs.

Graphique 2.4 : Valeur ajoutée du TIESS

Source : Sondage auprès des chercheurs, des partenaires et des utilisateurs du TIESS, MESI, octobre 2017.

Constats relatifs à la cible 6

La cible est atteinte. Le TIESS fait partie d'un écosystème d'innovation et de soutien à l'économie sociale qui regroupe plusieurs fonctions (représentation, réseautage et concertation, financement, formation, recherche, accompagnement, commercialisation et transfert). Il se positionne d'emblée au cœur de la fonction de transfert de cet écosystème, mais il entretient également des liens avec les autres fonctions à des degrés divers. Ayant une fonction de liaison, il fait travailler ensemble toutes les composantes de cet écosystème autour de projets innovants afin que les solutions expérimentées en économie sociale puissent servir au développement territorial. Il joue un rôle central dans le repérage et la mobilisation des connaissances présentes dans l'ensemble des entreprises et des organisations qui remplissent diverses fonctions, en plus d'amener les différents acteurs à construire ensemble de nouvelles connaissances innovantes qui seront ensuite transférées et adoptées.

Le TIESS évolue, en partie, dans son propre système d'innovation, qui est celui de l'innovation en économie sociale. Les autres acteurs de cet écosystème remplissent d'autres fonctions. Plusieurs participent aux travaux du TIESS en y apportant leurs propres connaissances et leur expertise, mais aucun n'a comme rôle de réunir toutes les personnes qui sont intéressées par le transfert de connaissances, de systématiser les connaissances et de s'assurer de leur transfert. Le TIESS joue donc un rôle unique en économie sociale et sert de modèle pour la création d'un centre de transfert international (CITIES). Par ailleurs, les autres membres qui travaillent dans les domaines de la liaison, de la veille et du transfert et qui sont réunis au sein de QuébecInnove ne jouent pas de rôle particulier en économie sociale. Le TIESS est le seul organisme qui travaille dans ce créneau spécifique.

La complémentarité du TIESS par rapport aux autres organismes de la chaîne d'innovation est également confirmée par sa clientèle. Le graphique 2.5 illustre, pour chaque type de clientèle, le pourcentage ou la proportion de celle-ci qui ne connaît pas d'autres organismes ou fournisseurs québécois comparables au TIESS ou qui considère le TIESS comme complémentaire aux autres organismes ou fournisseurs québécois. Lorsque la clientèle a été interrogée sur les aspects précis qui différencient le TIESS, la plupart des répondants ont mentionné la diversité ainsi que la qualité de ses produits, services et activités.

Graphique 2.5 : Complémentarité avec les autres organismes de la chaîne d'innovation

Utilisateurs

Partenaires

Chercheurs

Source : Sondage auprès des chercheurs, des partenaires et des utilisateurs du TIESS, MESI, octobre 2017.

L'organisme évalué devait également faire la preuve qu'il a participé à toutes les initiatives de concertation lancées par le Ministère. À ce chapitre, le TIESS a contribué à la fondation du Réseau recherche innovation Québec (RRIQ), qui est depuis devenu QuébecInnove. L'organisme a participé au lancement du RRIQ, puis à celui de QuébecInnove. Un conseiller en transfert du TIESS a été nommé conseiller QuébecInnove.

De plus, avec les autres organismes de liaison et de transfert en innovation sociale, le TIESS entretient fréquemment des discussions sur leurs défis communs. Le TIESS, le Centre de liaison sur l'intervention et la prévention psychosociales (CLIPP), le Centre facilitant la recherche et l'innovation dans les organisations (CEFRIO) et le Centre de transfert pour la réussite éducative du Québec (CTREQ) ont rédigé ensemble un mémoire pour la Commission de révision permanente des programmes. Ils ont également rédigé conjointement un mémoire dans le cadre de la consultation sur la Stratégie québécoise de la recherche et de l'innovation à l'automne 2016.

Commentaires de l'évaluateur sur les résultats du critère 2 (Cibles 4 à 6)

Les résultats sont jugés satisfaisants, car les trois cibles sont atteintes.

La cible 4 est atteinte, puisque la persistance des besoins d'intervention publique en matière d'économie sociale et solidaire a été démontrée, notamment grâce à la loi-cadre sur l'économie sociale et par le fait que le gouvernement du Québec s'est d'un plan d'action en économie sociale (PAGES).

La cible 5 est également atteinte, considérant le pourcentage de la clientèle percevant l'utilité et la valeur ajoutée du TIESS : 95 % pour l'utilité et 83 % pour la valeur ajoutée.

La cible 6 est elle aussi atteinte, puisque la complémentarité avec les autres organismes de la chaîne d'innovation a été démontrée. En effet, par l'intermédiaire du sondage, des représentants des trois types de clientèles du TIESS ont confirmé le caractère unique de l'organisme ainsi que sa complémentarité.

2.3 Critère 3 : L'efficience du modèle d'intervention du Ministère

Les cibles

Il est attendu :

  1. un effet de levier de l'aide financière du Ministère d'au moins 0,50;
  2. des coûts de revient raisonnables des principaux résultats obtenus.

Constats relatifs à la cible 73

La cible n'est pas atteinte. L'effet de levier est de 0,18, puisque l'aide financière du Ministère correspond à 2,93 M$ et tous les autres revenus à 526 k$. Il faut toutefois remettre en contexte cet indicateur. D'abord, le graphique 2.6 ne présente pas l'effet de levier pour chacune des années évaluées. Cette ventilation a néanmoins été calculée et elle montre que l'effet de levier a augmenté en continu de 2014 à 2017. Il faut par ailleurs rappeler que le TIESS est une jeune organisation (création en 2012-2013) et qu'une augmentation des autres revenus doit être envisagée au cours des prochaines années si l'on prend en considération le constat précédent.

Graphique 2.6 : Effet de levier de l'aide financière du Ministère, de 2014 à 2017

Source : Requête d'information TIESS, juillet 2017.

Complément d'information à propos de l'effet de levier

L'effet de levier (et c'est normal) ne tient pas compte des contributions en nature des partenaires et des bénéficiaires des projets. Dans le secteur de l'économie sociale, le TIESS n'est pas dans une dynamique de transfert unilatéral où les entreprises et les organisations viendraient chercher des outils et des connaissances leur permettant d'accroître leur productivité et de s'enrichir. Les connaissances que le TIESS apporte aux organismes leur permettent d'accroître leur efficacité et leur contribution au bien-être des Québécois et des collectivités, mais pas dans une dynamique d'enrichissement individuel. De surcroît, les entreprises partenaires des projets (les premières vers qui le transfert s'opère) contribuent elles-mêmes à construire ces connaissances qui non seulement leur bénéficieront, mais qui profiteront aussi à d'autres entreprises et organisations faisant face à des enjeux similaires. Elles sont des constructeurs. La contribution en nature est donc très importante dans un organisme comme le TIESS.

Mentionnons également que la cible de 0,5, qui était donnée dans la première convention, n'était plus présente dans la troisième convention. En fonction des critères subséquents, les résultats de la quatrième année seraient considérés comme satisfaisants.

Constats relatifs à la cible 8

La cible est atteinte. De 2014 à 2017, 18 projets ont été réalisés, 5 864 clients ont été joints et 121 chercheurs ont participé aux activités du TIESS. Le coût de revient de chacun des éléments précédemment mentionnés a été calculé. Ces coûts de revient sont présentés dans le graphique 2.7. Il en coûte au TIESS, en moyenne, 500 $ pour joindre un client, 24 218 $ pour joindre un chercheur et 162 797 $ par projet réalisé. Par rapport aux autres coûts de revient des deux autres organismes de liaison et de transfert en innovation sociale, le TIESS fait très bonne figure en ce qui concerne les clients. Toutefois, le coût de revient par chercheur et plus particulièrement celui par projet sont plus élevés.

Graphique 2.7 : Coûts de revient des projets, de la clientèle et des chercheurs

Source : Requête d'information TIESS, juillet 2017.

Commentaires de l'évaluateur sur les résultats du critère 3 (Cibles 7 à 8)

Les résultats sont jugés partiellement satisfaisants, car une cible est atteinte et l'autre ne l'est pas. L'effet de levier de l'aide financière du Ministère, qui est de 0,18, n'a pas atteint la cible fixée de 0,50 au début de la période.

La cible 8 est atteinte, puisque les coûts de revient des trois éléments analysés sont raisonnables. En effet, le coût de revient par client joint est beaucoup plus bas que celui des autres organismes de liaison et de transfert en innovation sociale. Toutefois, ceux des chercheurs et des projets sont plus élevés.

Chapitre 3 : L'efficacité de l'organisme

3.1 Critère 4 : L'atteinte des résultats visés

Les cibles

Il est attendu :

  1. la réalisation de quatre des cinq objectifs généraux du plan de développement et de six des sept objectifs particuliers;
  2. la présence d'activités, des produits et des services de liaison, de veille et de transfert;
  3. l'utilisation des produits et des services acquis par les milieux preneurs;
  4. un taux de satisfaction de 75 % des partenaires, des chercheurs et des utilisateurs.

Constats relatifs à la cible 9

La cible est atteinte. Le TIESS a, au cours de la période évaluée, atteint les cinq objectifs généraux et les sept objectifs particuliers du plan de développement. Le graphique 3.1 en fait la démonstration, en plus de donner la description complète de chacun des objectifs généraux et particuliers.

Graphique 3.1 : Degré de réalisation des grandes orientations de la plaficiation stratégique du TIESS
Objectifs généraux
  1. Constituer un ensemble de structures de travail (antennes régionales et groupes de travail) qui permettront de mettre en commun réflexions, perspectives, besoins, outils, informations, analyses et projets. Réalisation : oui
  2. Créer un système de veille pour identifier et diffuser les expériences porteuses dans le réseau TIESS. Réalisation : oui
  3. Oeuvrer à des projets de diffusion et de transfert, aux quatre coins du Québec, qui émaneront des besoins terrains et qui seront identifiés, soit par les structures de travail, soit par des membres ou par des partenaires, ou encore qui seront élaborés conjointement pour rejoindre l'ensemble des organismes membres du TIESS. Réalisation : oui
  4. Travailler avec les pouvoirs publics (ministères, municipalités, agences) dans le but d'améliorer les politiques publiques favorisant le développement territorial et l'entrepreneuriat collectif. Réalisation : oui
  5. Faire du réseautage avec le Canada anglais et à l'échelle l'internationale pour s'inspirer des meilleures pratiques en dehors du Québec. Réalisation : oui
Objectifs particuliers
  1. Identifier de nouvelles formules de financement des initiatives de l'économie sociale et solidaire aptes à favoriser le développement des territoires et mettre en oeuvre le développement ou l'adaptation de ces formules au Québec. Réalisation : oui
  2. Identifier des formules de collaboration pérennes entre les institutions d'enseignement supérieur (cégeps, universités, centres de recherche) et les milieux associatifs aptes à favoriser le développement des territoires. Réalisation : oui
  3. Identifier des pistes de développement des richesses naturelles à partir de l'entrepreneuriat collectif aptes à favoriser le développement des territoires. Réalisation : oui
  4. Réaliser plusieurs projets en collaboration et en appui aux réseaux membres. Réalisation : oui
  5. Réaliser plusieurs projets et activités définis dans le cadre des travaux des antennes régionales et des groupes de travail. Réalisation : oui
  6. Organiser différents évènements tant régionaux que nationaux. Réalisation : oui
  7. Développer des outils de communication favorisant la diffusion de nos travaux et le travail de collaboration. Réalisation : oui

Source : Requête d'information TIESS, juillet 2017.

Constats relatifs à la cible 10

La cible est atteinte. Comme le montre la partie supérieure du tableau 3.1, les activités, produits et services de liaison ont connu une augmentation entre 2014 et 2017 pour atteindre le total de 488.

Tableau 3.1 : Inventaire des activités, des produits et des services de liaison, de veille et de transfert du TIESS
Activités, produits et services de liaison
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Articles de presse et autres communications grand public 1 2 6 17 26
Activités de diffusion d'information 3 4 8 28 43
Consultation à titre d'expert-conseil - - 1 - 1
Autres activités et services de liaison et de diffusion 24 85 130 179 418
Total 28 91 145 224 488

Livrables de veille et de transfert
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Nombre de projets de transfert réalisés ou en cours de réalisation 1 3 4 34 42
Nombre de produits spécifiques de transfert 2 1 4 10 17
Nombre de bulletins d'information en version électronique ou en version papier 2 1 - 3 6
Nombre de publications associées à des activités de transfert - 1 2 1 4
Nombre d'activités de formation 2 5 2 5 14
Nombre d'activités de transfert 3 4 6 18 31
Nombre de produits de veille - 3 2 3 8
Autres activités, produits et services de veille et de transfert - - - - -
Total 10 18 20 74 122

En ce qui concerne les livrables de veille et de transfert, ils ont aussi connu une augmentation au cours de la période évaluée. Au total, le TIESS a produit 122 livrables de veille et de transfert.

Relativement au développement des outils de veille en partenariat ou en concertation avec les autres intervenants du secteur, la force du TIESS réside notamment dans l'engagement concret de son réseau qui se manifeste à la fois dans l'organisation des activités et dans la création des outils. La contribution en nature de tous ces partenaires est un atout indéniable du TIESS, comme l'est toute l'énergie consacrée à la liaison qui permet de bâtir ce réseau.

Source : Requête d'information TIESS, juillet 2017.

Constats relatifs à la cible 11

La cible est atteinte. Les données de la ventilation du nombre de produits et services acquis par les milieux utilisateurs ne sont pas disponibles. Toutefois, l'évaluation a quand même été en mesure de constater l'utilisation des produits et des services acquis par les milieux preneurs. En effet, au cours de la période évaluée, le TIESS a joint 4 921 utilisateurs d'outils de transfert en plus d'avoir joint 34 utilisateurs des services de consultation.

Constats relatifs à la cible 12

La cible est atteinte. Le graphique 3.2 illustre le haut taux de satisfaction de la clientèle du TIESS à l'égard de sa collaboration avec l'organisme. La totalité des partenaires, des chercheurs et des utilisateurs s'en sont dits très ou assez satisfaits.

Graphique 3.2 : Taux de satisfaction des partenaires, des chercheurs et des collaborateurs

Source : Sondage auprès des chercheurs, des partenaires et des utilisateurs du TIESS, MESI, octobre 2017.

La clientèle du TIESS a également été interrogée par rapport à leur taux de satisfaction sur certains aspects précis de leurs collaborations avec l'organisme. Les éléments qui ont obtenu les plus hauts de taux de satisfaction sont : les connaissances, le savoir-faire ou l'expertise transférée, la qualité du projet ou de l'activité ainsi que les produits et services utilisés.

Commentaires de l'évaluateur sur les résultats du critère 4 (Cibles 9 à 12)

Les résultats sont jugés très satisfaisants, car les quatre cibles sont atteintes et le taux de satisfaction des partenaires, des chercheurs et des utilisateurs (cible 12) est de 100 % au total pour les trois types de clientèles, ce qui est nettement supérieur à la cible de 85 %.

La cible 9 est atteinte, puisque les cinq objectifs généraux du plan de développement et les sept objectifs particuliers ont été réalisés. La cible 10 est également atteinte, puisqu'il a été possible de constater la présence d'activités, de produits et de services de liaison, de veille et de transfert. De plus, il est intéressant d'observer la constante progression de chacune des catégories présentées dans le tableau 3.1 au cours de la période évaluée. Cette tendance est présente dans plusieurs indicateurs de la présente évaluation, ce qui montre que le TIESS est un jeune organisme en train de prendre son envol. La cible 11 est atteinte, puisque malgré l'absence de la ventilation de données, il a été possible de constater l'utilisation des produits et des services acquis par les milieux preneurs.

3.1 Critère 5 : Les pratiques de gestion de l'organisme

Les cibles

Il est attendu :

  1. la présence de saines pratiques de gestion;
  2. la présence de dépôt de projets au processus de sélection de projets du MESI représentant un minimum 50 % de la subvention de fonctionnement, pour les années 2015-2016 et 2016 2017.
  3. une part des frais d'administration et de gestion représentant au plus 10 % des dépenses totales;
  4. une utilisation des fonds alloués par le Ministère conforme aux conventions de subvention.

Constats relatifs à la cible 13

La cible est atteinte. Depuis sa création, le TIESS a élaboré une planification stratégique sur cinq ans. Par la suite, iI a produit un plan de travail triennal (2015-2018) pour se conformer à la nouvelle période de financement et, chaque année, il produit un plan d'action annuel. Tous ces plans d'action comportent des sections générales de présentation des travaux du TIESS de même que des tableaux présentant un résumé des projets qu'il mène. L'organisme a également conçu un outil de suivi de projets qu'il met à jour quatre fois par année afin de rendre compte de l'évolution des projets à chacune des rencontres de son conseil d'administration.

Chaque année, le TIESS compile des résultats dans le cadre de la production de son rapport annuel. Cela permet de voir l'ampleur du travail réalisé. Il fait également état de l'avancement de son plan d'action annuel à la fois lors des rencontres du conseil d'administration et de l'assemblée générale.

Constats relatifs à la cible 14

La cible est atteinte. Les moyens utilisés par le TIESS afin de connaître les besoins des milieux utilisateurs sont multiples. Dans le cas des activités de veille, des thématiques sont proposées par les antennes régionales qui s'intéressent à des sujets précis et souhaitent voir s'il y a un potentiel de développement de projets de transfert. Par ailleurs, lorsqu'un projet de transfert démarre, une veille sur la thématique du projet se met aussitôt en branle pour voir s'il y a des avancées, ailleurs au Québec ou dans le monde, pouvant être utiles au projet, et ce, en vue d'éviter la duplication des travaux en cours ou réalisés.

Pour les projets de transfert, le processus repose d'abord sur un comité d'analyse de projets composé de deux chercheurs et de deux praticiens. Tous les projets de transfert doivent être déposés à ce comité. Avant d'être déposé, le projet doit avoir fait l'objet de discussions au sein d'un comité qui doit s'entendre sur ses objectifs et sur les moyens à mettre en place pour les remplir.

Dans l'approche du TIESS, le milieu utilisateur est considéré comme un constructeur de connaissances. Le réseau du TIESS est ainsi constitué de chercheurs et de praticiens travaillant ensemble à construire et à transférer des connaissances qui leur sont mutuellement utiles. Les besoins de ce milieu concernent, généralement, les outils au développement de l'économie sociale et à son enseignement.

En ce qui concerne la proportion des montants des projets déposés au processus de sélection de projets du Ministère, le TIESS a déposé en 2016 des projets pour un total de 1 740 409 $, ce qui représente plus de 290 % des 600 k$ de subvention. En 2017, le TIESS n'a pas déposé de projets, mais les projets déposés en 2016 étaient échelonnés sur trois ans.

Constats relatifs à la cible 15

La cible n'est pas atteinte. La proportion des frais d'administration et de gestion par rapport aux dépenses totales de l'organisme est de 23,3 %. La cible est donc dépassée de 13,3 %. Toutefois, il faut prendre en considération que le TIESS est un jeune organisme en démarrage qui, lors de sa première année d'activité, n'avait pas de projet financé, mais qui devait tout de même assumer les frais liés à l'installation et au démarrage de l'organisme. Par ailleurs, l'évaluation a constaté une diminution des frais d'administration et de gestion, qui sont passés de 26,8 % à 21,7 %.

Graphique 3.3 : Pourcentage des frais administratifs et de gestion de 2014 à 2017

Source : Requête d'information CTREQ, juillet 2017.

Constats relatifs à la cible 16

La cible est atteinte. De 2014 à 2017, le ratio d'utilisation des fonds consentis par le Ministère au TIESS est de 84 %. Comme présenté dans le graphique 3.4, 87 % des 2,35 M$ de subventions reçues du Ministère ont été utilisés pour financer les activités de liaison, de veille et de transfert et 12 % de l'aide financière a été utilisée pour couvrir les frais de gestion et de fonctionnement. Finalement, 0,39 % de la subvention a été utilisé pour d'autres dépenses.

Graphique 3.4 : Utilisation des fonds alloués par le Ministère

Montant total de la subvention reçue du MESI : 2,35 M$

Source : Requête d'information TIESS, juillet 2017.

Commentaires de l'évaluateur sur les résultats du critère 5 (Cibles 13 à 16)

Les résultats sont jugés satisfaisants, car trois cibles sont atteintes, alors que la cible 15 ne l'est pas. En effet, les frais d'administration et de gestion du TIESS sont de 23,3 %, alors que la cible visait des frais d'au plus 10 %.

La cible 13 est atteinte, car le TIESS a su démontrer qu'il a mis en place de saines pratiques de gestion. La cible 14 est également atteinte, puisque l'organisme a déposé en 2016 des projets au processus de sélection du Ministère qui représentaient plus de 290 % de la subvention de fonctionnement. La cible 16 est aussi considérée comme atteinte, étant donné que l'utilisation des fonds alloués au TIESS par le Ministère s'est faite en conformité avec la convention de subvention.

3.3 Critère 6 : Le modèle d'affaires et du gouvernance de l'organisme

Les cibles

Il est attendu :

  1. un conseil d'administration représentatif des milieux preneurs;
  2. la présence de partenariats et de collaborations avec d'autres acteurs du système québécois d'innovation;
  3. que toutes les aides financières gouvernementales représentant tout au plus représentent un maximum de 80 % des dépenses totales du TIESS;
  4. une proportion raisonnable des budgets des projets et des activités admissibles financée par les clients et les partenaires.

Constats relatifs à la cible 17

La cible est atteinte. Le conseil d'administration compte 21 administrateurs votants. Parmi ceux-ci, 14 sont désignés par leur organisation, à condition que celle-ci soit membre de la corporation et sept sont élus en fonction des collèges électoraux. Ces derniers viennent de différents milieux, tels que la recherche, le milieu universitaire et le milieu de l'économie sociale dans son sens large.

Les organisations qui ont un poste d'administrateur désigné ne peuvent pas présenter de candidats aux élections pour les postes d'administrateurs élus au sein de leur collège électoral. Toutefois, les représentants de ces organisations sont invités à participer au vote selon leurs collèges électoraux d'appartenance. La direction est membre d'office du conseil d'administration, sans droit de vote. D'autres membres de l'équipe de travail ou toute autre personne qui a un mandat avec le TIESS peuvent y participer, sans droit de vote, à la demande de la direction générale ou du conseil d'administration. Le président du conseil scientifique, le ministère responsable du TIESS de même que le ministère responsable de l'économie sociale sont invités au conseil d'administration, à titre d'observateurs. Aucune rémunération n'est accordée aux administrateurs du TIESS. Les mandats des administrateurs élus sont de deux ans.

Constats relatifs à la cible 18

La cible est atteinte. Le tableau 3.2, à la page suivante, présente la ventilation des divers partenariats et collaborations que le TIESS a établis et maintenus entre 2014 et 2017. L'organisme a signé peu d'ententes de partenariat, la plupart consistant en des commandites d'événements ou en des participations financières à des projets. La plus importante est une entente annuelle avec le Fonds de solidarité de la FTQ, en lien avec les formations sur le développement territorial et l'économie sociale. Le TIESS a aussi établi un partenariat avec l'Université Concordia dans le cadre du projet CHNGR (réseau d'ambassadeurs jeunesse de l'entrepreneuriat social et collectif).

Tableau 3.2 : Inventaire des partenariats et des collaborations
Partenariats
  2012-2013 2013-2014 2014-2015 2016-2017 Total
Nombre de partenariats avec le secteur de la recherche publique et privée 1 3 2 2 8
Nombre de partenariats avec le milieu de l'économie sociale et solidaire 2 4 3 7 16
Nombre de partenariats avec les acteurs locaux ou régionaux du soutien à l'innovation - - - - -
Nombre de partenariats avec les autres organismes de transfert technologique - - 3 1 4
Nombre de partenariats avec les bailleurs de fonds - 3 2 4 9
Nombre total de partenariats 3 10 10 14 37

Collaborations
  2012-2013 2013-2014 2014-2015 2016-2017 Total
Nombre de collaborations avec le secteur de la recherche publique et privée 23 28 35 35 121
Nombre de collaborations avec le milieu de la réussite éducative 53 52 61 104 270
Nombre de collaborations avec les acteurs locaux ou régionaux du soutien à l'innovation - - - - -
Nombre de collaborations avec les autres organismes de transfert technologique - - 7 4 11
Nombre de collaborations avec les bailleurs de fonds - - - - -
Nombre total de collaborations 76 80 103 143 402

Source : Requête d'information TIESS, juillet 2017.

En ce qui concerne les collaborations, on en dénombre 402. Dans chacun de ses projets, le TIESS tisse des collaborations à la fois avec des chercheurs et avec des praticiens. Ceux-ci participent à l'ensemble du processus visant à établir des objectifs partagés dans le cadre d'un projet, à réaliser la coconstruction des connaissances, à créer des outils et à organiser des activités de transfert. De plus, certaines collaborations se font sur d'autres bases que celles des projets. Par exemple, certains collaborateurs siègent aux antennes régionales sans toutefois être, pour l'instant, engagés dans un projet de transfert précis. Néanmoins, ils collaborent aux activités de l'organisme en réfléchissant aux enjeux de développement de leur territoire et en établissant des pistes de projets porteurs. Ainsi, tous les membres du TIESS font partie des collaborateurs.

En général, le TIESS collabore avec des établissements d'enseignement supérieur et des réseaux de soutien à l'économie sociale et au développement des territoires.

La stratégie de développement de collaboration avec les organismes utilisateurs du TIESS repose sur différents éléments, qui sont interreliés :

Constats relatifs à la cible 19

La cible n'est pas atteinte. Le tableau 3.3 présente le cumul de l'aide gouvernementale dans les dépenses totales du TIESS. Il est possible de constater que le pourcentage maximal d'aide financière gouvernementale dans les dépenses du TIESS est de 101 %. La seule année où la cible n'a pas atteint le maximum permis est la première année d'activité du TIESS, moment où les dépenses de l'organisme n'étaient pas très élevées. Pendant cette première année, le TIESS n'a pas dépensé l'ensemble de sa subvention. Une gestion prudente l'a incité à mettre de l'argent en réserve, puisqu'il s'est fait annoncer une coupe dans son financement, applicable dès la deuxième année. Cette gestion prudente nuit ici à l'atteinte de cette cible. Il faut noter que l'aide financière PSVT v2 est comprise dans l'aide financière du Ministère.

Tableau 3.3 : Pourcentage de l'aide financière dans les dépenses totales du TIESS
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information TIESS, juillet 2017.
Aide financière du MESI (PSVT v1 et v2) 750 613 600 968 2 930
Aide financière du palier municipal - - - 10 -
Aide financière consentie par un autre ministère du gouvernement du Québec - - - - -
Aide financière du gouvernement fédéral - - - - -
Total des aides financières gouvernementales 750 k$ 613 k$ 600 k$ 978 k$ 2 941 k$
Dépenses totales de l'organisme 284 k$ 662 k$ 827 k$ 1 128 k$ 2 901 k$
Pourcentage de l'aide financière dans les dépenses totales du TIESS 264 % 93 % 73 % 87 % 101 %

Constats relatifs à la cible 20

La cible est atteinte. Le tableau 3.4 présente la proportion assumée par chacune des parties concernées dans les budgets de projets du TIESS. Le pourcentage des budgets financés par les partenaires et les collaborateurs est de 54 %, ce qui peut être considéré comme raisonnable.

Tableau 3.4 : Part des budgets des projets financée par les utilisateurs et les partenaires (en milliers de dollars)
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information TIESS, juillet 2017.
Budget assumé par le TIESS 3 15 11 380 410
Budget assumé par les utilisateurs - - - - -
Budget assumé par les partenaires - 106 128 250 284
Budget total des projets 3 122 139 629 894
Pourcentage des budgets financés par les utilisateurs et les partenaires 0% 87% 92% 40% 54%

Aux dires du TIESS, ces revenus externes devraient être supérieurs au cours des trois prochaines années si les démarches de financement entrepris par le TIESS sont confirmées. Des démarches à plus long terme pour diversifier les sources de financement ont en effet été entreprises avec la Fondation Lucie et André Chagnon (FLAC) et le Mouvement Desjardins dès la deuxième année d'existence du TIESS. Les discussions ont permis de déterminer des pistes de collaboration porteuses et devraient donner lieu dans le futur à des financements sur plusieurs années.

Commentaires de l'évaluateur sur les réulstats du critère 6 (Cibles 17 à 20)

Les résultats sont jugés partiellement satisfaisants, car trois cibles sont atteintes et la cible 19 n'est pas atteinte, puisque la proportion de l'aide financière dans les dépenses totales du TIESS est de 101 %. Ce résultat est de 21 % plus élevé que la cible maximale.

La cible 17 est atteinte, car le TIESS a fait la démonstration que son conseil d'administration est composé de membres représentant adéquatement les divers milieux preneurs.

La cible 18 est atteinte, puisqu'il y a présence de partenariats et de collaborations avec d'autres acteurs du système québécois d'innovation. En effet, de 2014 à 2017, le nombre de partenariats a été croissant et le nombre de collaborations a presque doublé.

La cible 20 est atteinte, puisque la proportion de 54 % des budgets de projets et d'activités financés par les utilisateurs et les partenaires est considérée comme raisonnable. Il sera intéressant d'observer la tangente que prendra cet indicateur, considérant le fait que les budgets des projets du TIESS ont grandement augmenté au cours de la période évaluée.

Chapitre 4 : Les effets de l'organisme

Les cibles

Il est attendu :

  1. la contribution de l'organisme à la formation d'étudiants de niveaux collégial et universitaire;
  2. la participation des chercheurs aux projets de l'organisme;
  3. une perception positive d'au moins 60 % des chercheurs en ce qui concerne les retombées des projets de l'organisme.

Constats relatifs à la cible 21

Graphique 4.1 : Contribution à la formation d'étudiants

Source : Requête d'information TIESS, juillet 2017.

La cible est atteinte. Au cours des quatre dernières années, 66 étudiants ont participé aux divers projets du TIESS. Cela donne une moyenne de 17 étudiants par année. Toutefois, à l'instar de plusieurs indicateurs de la présente évaluation, les résultats les plus élevés se trouvent vers la fin de la période évaluée.

Le projet qui mobilise le plus d'étudiants est sans contredit CHNGR. En 2015-2016, ils étaient 15 ambassadeurs étudiants à recevoir une bourse pour organiser des activités liées à l'entrepreneuriat social et collectif sur les campus et ailleurs où l'on trouve des jeunes. En 2016-2017, on en retrouvait 13.

Ces étudiants ont reçu une formation en économie sociale et ont appris à connaître les organisations qui composent l'écosystème d'innovation et de soutien à l'économie sociale. Parmi ceux-ci, on trouve des étudiants du collégial en formation générale de même que des étudiants universitaires qui viennent des facultés de sciences sociales, des écoles de gestion et des écoles de génie. Ces ambassadeurs forment une véritable cohorte qui travaille ensemble, de sorte que les profils diversifiés sont mis à contribution à travers l'organisation d'activités et de projets communs. Les autres étudiants engagés au TIESS ont reçu des mandats liés à la réalisation d'un livrable précis rattaché à un projet.

Constats relatifs à la cible 22

La cible est atteinte. Les chercheurs ont été nombreux à participer aux projets du TIESS. De plus, ce nombre a été en constante augmentation tout au long de la période évaluée.

Tableau 4.1 : Chercheurs participant aux projets de recherche
  2013-2014 2014-2015 2015-2016 2016-2017 Total
Source : Requête d'information TIESS, juillet 2017.
Nombre de chercheurs participant aux projets et activités 3 13 18 21 55

Le TIESS n'a pas de mandat de recherche, mais il travaille étroitement avec des universités, des chercheurs et des centres de recherche pour systématiser des connaissances et en assurer un transfert bilatéral. Dans les projets, les chercheurs apportent leur expertise professionnelle, toujours dans une dynamique de coconstruction et de transfert des connaissances. Ils adoptent une approche d'ouverture face aux points de vue et à l'expertise des praticiens. Ils apportent aussi une expertise concernant la méthodologie à employer pour assurer la qualité scientifique des projets.

Constats relatifs à la cible 23

La cible est atteinte. Dans le cadre du sondage, les chercheurs ont été questionnés par rapport aux retombées qu'ils ont connues à la suite de leur collaboration avec le TIESS. Les résultats complets sont présentés dans le tableau 4.2. Les retombées les plus fréquentes auprès des chercheurs sont les suivantes : favoriser le rayonnement international de la recherche québécoise dans le domaine de l'économie sociale et solidaire (12/15), avoir une meilleure connaissance des problématiques et des besoins des organisations et des territoires (11/15), établir un meilleur maillage entre les différents acteurs du domaine de la recherche et de l'économie sociale et solidaire (11/15) et avoir un accès privilégié aux connaissances des praticiens (11/15). Lorsqu'ils ont été interrogés pour savoir s'ils avaient connu d'autres retombées, les chercheurs ont mentionné que le TIESS apportait une nouvelle expertise au Québec.

Tableau 4.2 : Perception des chercheurs par rapport aux retombées des projets du TIESS
Question : « Selon vous, les projets et les activités du TIESS vous ont permis… » Pourcentage
Source : Requête d'information TIESS, juillet 2017.
de favoriser le rayonnement international de la recherche québécoise dans le domaine de l'économie sociale et solidaire; 12/15
d'avoir une meilleure connaissance des problématiques et des besoins des organisations et des territoires; 11/15
d'établir un meilleur maillage entre les différents acteurs du domaine de la recherche et de l'économie sociale et solidaire; 11/15
d'avoir un accès privilégié aux connaissances des praticiens; 11/15
d'avoir un accès privilégié à des terrains d'expérimentation; 9/15
de participer à un ou des projets multidisciplinaires; 7/15
de développer de nouveaux projets de recherche; 6/15
d'avoir un meilleur accès à des fonds de recherche et à des fonds favorisant le transfert de connaissances; 6/15
d'établir un maillage interuniversitaire ou collégial. 5/15
Pourcentage des chercheurs qui ont une perception positive des retombées des projets du TIESS 67 %

Commentaires de l'évaluateur sur les résultats du critère 7 (Cibles 21 à 23)

Les résultats sont jugés satisfaisants, car les trois cibles sont atteintes.

La cible 21 est atteinte, puisque la contribution du TIESS à la formation d'étudiants universitaires ne fait pas de doute. D'ailleurs, il est possible d'observer une importante augmentation du nombre d'étudiants participant aux projets du TIESS au cours de la période évaluée.

La cible 22 est atteinte. En effet, à l'instar de la participation des étudiants, celle des chercheurs aux projets du TIESS a été démontrée.

La cible 23 est atteinte, puisqu'une perception positive des retombées des projets de l'organisme a été observée chez 67 % des chercheurs. Cet état de fait est également confirmé par les nombreux témoignages des chercheurs recueillis par le TIESS au cours de ses quatre années d'activités.

4.2 Critère 8 : Les effets des activités de l'organisme sur les milieux utilisateur

Les cibles

Il est attendu :

  1. l'appropriation de nouvelles connaissances et de nouveaux savoir-faire par les milieux preneurs;
  2. des effets des innovations sociales sur les milieux preneurs;
  3. la présence de trois cas à succès.

Constats relatifs à la cible 24

La cible est atteinte. Le graphique 4.2 présente les principaux changements opérés auprès des milieux utilisateurs à la suite de l'utilisation des produits et des services du TIESS.

Graphique 4.2 : Appropriation de nouvelles connaissances et de nouveaux savoir-faire par les milieux preneurs

Source : Sondage auprès des chercheurs, des partenaires et des utilisateurs du TIESS, MESI, octobre 2017.

L'appropriation a été constatée par les milieux preneurs. En effet, 96 % d'entre eux ont admis avoir connu une amélioration des connaissances relatives à l'économie sociale et solidaire et 80 % ont affirmé avoir connu une amélioration des compétences du personnel. Par ailleurs, 77 % se sont approprié de nouvelles connaissances ou de nouveaux savoir-faire ou de nouvelles connaissances.

Constats relatifs à la cible 25

La cible est atteinte. En plus d'apporter de nouvelles connaissances et de nouveaux savoir faire aux milieux preneurs, le TIESS contribue à l'appropriation de l'innovation sociale par les milieux preneurs. En effet, comme en témoigne le graphique 4.3, les milieux preneurs ont constaté la présence d'effets en la matière. Parmi les innovations sociales qui ont fréquemment été mentionnées par les répondants du sondage, on note la révision des modes d'intervention auprès des clientèles (77 %), l'amélioration d'interventions déjà existantes (74 %) ainsi que la sensibilisation ou la formation des praticiens, professionnels et autres intervenants du secteur de l'économie solidaire et sociale.

Graphique 4.3 : Innovations sociales sur les milieux preneurs

Source : Sondage auprès des chercheurs, des partenaires et des utilisateurs du TIESS, MESI, octobre 2017.

Constats relatifs à la cible 26

La cible est atteinte.

Premier cas à succès : Conception d'une grille d'autodiagnostic sur l'accessibilité au loisir

Ce projet de transfert a permis de concevoir un outil d'autodiagnostic à partir du Guide pour l'analyse de l'accessibilité au loisir, produit en 2007 par le Chantier d'activités partenariales (CAP) Loisir et tourisme social, de l'Alliance de recherche universités-communautés en économie sociale (ARUC-ÉS). Le guide de 2007 avait été produit dans une dynamique partenariale, engageant le Conseil québécois du loisir (CQL) et un chercheur de l'Université du Québec à Montréal (UQAM). Le CQL a interpellé le TIESS dès sa mise sur pied en vue de créer un outil de transfert plus adapté aux besoins et aux réalités des intervenants en loisir, à partir des travaux réalisés en 2007. La Fédération des centres communautaires de loisir (FQCCL) et Loisirs et sport Montérégie (URLS) ont participé à la création et à l'élaboration de l'outil. Le chercheur de l'UQAM a assuré l'encadrement scientifique du projet de même qu'un suivi de la diffusion des résultats dans les milieux scientifiques. Il a pu en dégager des productions scientifiques.

À la base, il s'agissait d'appuyer le travail des intervenants en loisir qui cherchent à mieux connaître l'état de l'accessibilité aux loisirs dans leur milieu. Ils veulent ultimement mieux cibler ainsi les interventions à mettre en œuvre pour améliorer cette accessibilité. La grille conçue sert donc aux intervenants en loisir à « provoquer » une discussion avec les acteurs de leur territoire pour réfléchir à l'accessibilité au loisir et éventuellement l'améliorer. L'outil entraîne un processus de réflexion collective et de mobilisation autour de la question de l'accessibilité. Le pointage recueilli n'est pas tellement important : c'est le processus de discussion et de mobilisation de même que les actions qui en découlent qui comptent davantage.

L'outil a été présenté à de nombreuses tribunes réunissant des intervenants en loisir. Il a aussi été présenté dans des cours universitaires en loisir et a donné lieu à des communications lors de colloques scientifiques. C'est un cas à succès, notamment en raison du rôle joué par le Conseil québécois du loisir dans la diffusion et le transfert de l'outil créé. Il s'agit d'un réseau bien structuré et organisé qui a une longue expérience en recherche et en transfert réalisés en partenariat. Il est donc à même de s'engager concrètement dans la coconstruction de l'outil et de s'assurer que les éléments créés se rendent aux acteurs de terrain de son réseau. Le succès tient également au fort engagement du chercheur ainsi qu'aux retombées du projet autant chez les praticiens que dans l'enseignement et la recherche. Le TIESS estime que l'outil a touché près de 1 000 personnes, intervenants en loisir et étudiants. Chez les praticiens, il est appelé à modifier les perceptions de l'accessibilité au loisir et à faire prendre connaissance qu'il s'agit d'une responsabilité partagée. Par ailleurs, l'étudiant qui a participé à ce projet et le chercheur en ont retiré des connaissances et ont développé leur expertise.

Deuxième cas à succès : Conception d'un modèle de franchise en économie sociale

Ce projet n'est pas terminé, mais il constitue un cas à succès en raison de l'intérêt que le sujet suscite et de la capacité d'adaptation au contexte changeant dont les collaborateurs et le TIESS ont fait preuve. De même, les résultats préliminaires montrent que les outils en train d'être conçus seront fortement utilisés. Enfin, le projet illustre bien que le transfert se fait en cours de processus et pas uniquement une fois que la conception des outils est terminée.

Le projet vise à concevoir un modèle de franchise adapté à la réalité des entreprises d'économie sociale et à faire bénéficier plusieurs entreprises et territoires d'une innovation. Une des hypothèses de départ est que la franchise permettrait au franchiseur (l'entreprise innovante) d'avoir de nouvelles sources de revenus et ainsi de partager, a posteriori, les coûts de recherche et développement (R-D) avec les franchisés.

Au départ, le projet se basait sur la création d'une première franchise en économie sociale. La première phase du projet a été consacrée à la réalisation d'une synthèse des connaissances sur la question des franchises sociales. Cette synthèse a rapidement fait voir qu'il fallait s'intéresser dans l'ensemble à la question du changement d'échelle pour aider les entreprises à déterminer si la franchise était le modèle le plus approprié à leur cas. Ainsi, en plus de la synthèse de connaissances, il est apparu important de créer deux autres outils dans le cadre de ce projet : un guide de soutien au choix de la formule de changement d'échelle la plus appropriée au cas de chaque entreprise et un guide sur l'implantation d'une franchise sociale.

À la suite du désistement d'un partenaire important dans le projet, le contexte a évolué de sorte que le projet a été passablement modifié sans mettre de côté les objectifs de départ. Le TIESS a donc recruté trois entreprises d'économie sociale en voie de se franchiser afin d'analyser leurs expériences. En vue de l'analyse, il a élaboré une grille thématique rassemblant l'ensemble des étapes liées à la mise en place d'une démarche de franchisage. Le TIESS a également démarré une communauté de pratique réunissant neuf entreprises d'économie sociale désirant à court terme s'engager dans des démarches de changement d'échelle. Cette communauté vise à favoriser l'échange de connaissances et de bonnes pratiques entre les entreprises participantes, tout en permettant d'étudier différents cas de figure en vue de la production d'outils de transfert. Pour alimenter cette communauté, le TIESS a créé un outil d'animation. Celui-ci représente, en format géant, le parcours type du futur franchiseur en économie sociale et il peut être bonifié au fil des rencontres. Trois rencontres de la communauté de pratique ont eu lieu, dont l'une comprenant une conférence du Conseil québécois de la franchise sur le thème des rôles et des responsabilités du franchiseur et du franchisé. Les activités de la communauté de pratique permettent déjà d'effectuer un premier transfert avec les entreprises participantes. D'ailleurs, le projet a fait l'objet de plusieurs présentations publiques et scientifiques.

Finalement, le TIESS a organisé un atelier sur le changement d'échelle en économie sociale le 22 mars 2017 dans les buts suivants :

Une vingtaine d'entreprises ont participé à cet événement et se sont montrées très intéressées par les contenus en préparation. Ce projet montre bien que le transfert ne se fait pas seulement en bout de piste, quand un projet prend fin. Ici, le transfert a été amorcé de façon soutenue dans la communauté de pratique et il a également avancé lors des différentes présentations.

Troisième cas à succès : Modélisation d'un processus d'obligations communautaires en économie sociale

Ce projet vise à modéliser et à systématiser le processus d'émission d'obligations communautaires par les entreprises d'économie sociale québécoises. Le TIESS souhaite ainsi permettre à ces entreprises de mobiliser de nouvelles sources de capitaux privés au sein de leur communauté de soutien. En résumé, ces titres permettent aux entreprises d'économie sociale de se financer auprès de leur communauté sans intermédiaire et en évitant la lourdeur et les coûts entraînés par une émission de prospectus. Ils permettent par ailleurs aux citoyens d'investir directement dans les entreprises à but non lucratif de leur choix.

Moyens et activités

Le schéma suivant illustre le rôle de différents partenaires dans ce projet.

Mode de fonctionnement : Modélisation d'un processus d'émission d'obligations communautaires en économie sociale

Communauté de pratiques (Comité de travail)
Entreprises-pilote
Organisme de soutien
Organisme de liaison et transfert

Comité d'orientation

Partenaires

De nombreux organismes et entreprises sont engagés dans ce projet. Plusieurs organisations souhaitent que ce modèle fonctionne et elles participent donc au projet, notamment pour offrir un soutien aux entreprises désireuses d'émettre des obligations. D'ailleurs, la plupart des entreprises pilotes ont atteint leurs objectifs d'émission d'obligations et certaines ont même dépassé les objectifs.

L'engagement du TIESS dans ce projet suscite un vif intérêt, de sorte qu'il a été interpellé pour parler des obligations sur de multiples tribunes. En plus de ces présentations publiques, le TIESS a répondu à dix demandes d'information d'entrepreneurs souhaitant émettre des obligations.

Commentaires de l'évaluateur sur les résultats du critère 8 (Cibles 24 à 26)

Les résultats sont jugés satisfaisants, car les trois cibles sont atteintes. L'évaluation a constaté la présence d'effets des innovations sociales sur les milieux utilisateurs qui sont confirmés par les résultats du sondage ainsi que par la description des cas à succès (cible 25).

La cible 24 est considérée comme atteinte, comme le montre le sondage auprès des milieux preneurs, puisqu'il y a eu appropriation de nouvelles connaissances et de nouveaux savoir-faire par les milieux preneurs.

La cible 26 est atteinte, puisque le TIESS a fait la démonstration à l'évaluation de la présence d'au moins trois cas à succès parmi plusieurs possibilités.

4.3 Critère 9 : Les retombées socioéconomiques

Les cibles

Il est attendu :

  1. la présence de retombées économiques;
  2. la présence de retombées sociales.

Constats relatifs à la cible 27

La cible est atteinte. Le graphique 4.4 présente les principales retombées économiques de l'organisme. Étant donné que le TIESS est un organisme d'innovation sociale, les retombées économiques se font souvent sentir à long terme et elles sont plus difficiles à évaluer. L'évaluation est tout de même en mesure de quantifier certaines retombées économiques. Tout d'abord, les apports des partenaires dans les projets et les activités ont totalisé 320 k$.

Graphique 4.4 : Investissements et ventes générés par les projets

Source : Requête d'information TIESS, juillet 2017.

Par ailleurs, le TIESS a engrangé des revenus autonomes de 104 k$ par l'intermédiaire de divers projets et activités que l'organisme a réalisés au cours de la période évaluée. Ses autres revenus, quant à eux, totalisent 33 k$.

En ce qui a trait au rayonnement de l'expertise québécoise à l'échelle internationale, le TIESS a participé au colloque international du Centre de recherche sur les innovations sociales (CRISES), Des émergences à la reconnaissance. Trajectoires d'innovation, en avril 2015. Cet événement a réuni plus de 300 personnes et a été l'occasion de discuter avec des chercheurs français, belges et brésiliens d'innovation, de transfert et des approches du TIESS. La veille de ce colloque, le TIESS a organisé, conjointement avec le CRISES, le CIRODD et l'IMT de Nantes, un séminaire international sur le transfert de connaissances dans un contexte de transition sociale et écologique. On y comptait des participants de la France, de la Belgique et du Brésil.

En septembre 2016, le TIESS a participé au Forum mondial de l'économie sociale (GSEF 2016) qui s'est tenu à Montréal. Cet événement d'envergure a réuni près de 1 500 personnes en provenance de 62 pays sous le thème de la collaboration entre les gouvernements locaux et les acteurs de l'économie sociale et solidaire pour le développement des villes. Toute l'équipe du TIESS y a participé activement, notamment par l'organisation de trois ateliers (sur la mesure d'impact, sur les liens entre l'enseignement supérieur et le développement territorial ainsi que sur les liens entre villes et ruralité). L'organisme a aussi fait partie du comité synthèse de l'événement.

En ce qui concerne les effets sur les régions, ils sont attribuables en majeure partie aux antennes régionales. Il y a actuellement dix antennes régionales en activité ou en développement qui viennent renforcer le rôle que ceux-ci jouent dans les régions. Les antennes régionales permettent également aux fonctions de liaison, de veille et de transfert de se déployer dans les différentes régions du Québec. Les antennes régionales se donnent une vision commune du territoire et des enjeux liés à l'économie sociale. Cela permet de dégager une vision du développement territorial, ce qui est déjà un effet important. Puis, selon ce qui est déterminé par le comité, l'antenne choisit de travailler sur un aspect particulier, de monter un projet ou de se joindre à des projets déjà en cours, au TIESS ou ailleurs. À titre d'exemple, un projet jugé porteur peut faire l'objet d'une analyse plus approfondie en vue d'en dégager des outils de transfert pour des acteurs d'autres régions. Également, un enjeu particulier peut faire l'objet d'une recherche de bonnes pratiques (une veille) dans d'autres réseaux ou régions. Éventuellement, quand les partenaires sont fortement mobilisés autour d'un sujet ou d'un enjeu, un projet peut être déposé dans un programme précis. Dans ce cas, le TIESS peut agir comme partenaire, autant pour la rédaction de la demande que pour le projet en tant que tel.

Constats relatifs à la cible 28

La cible est atteinte. À la suite du succès du programme CHNGR, l'Université Concordia est en train de mettre sur pied une zone d'innovation sociale qui pourrait donner lieu à la création de nouveaux programmes plus axés sur l'enseignement « branché » sur le terrain. De plus, dans le cadre des travaux sur les liens entre l'enseignement supérieur et le développement des territoires, le TIESS élabore un projet visant à préparer des études de cas et d'autre matériel utile à l'enseignement de l'économie sociale. Il bâtira également un répertoire des ressources déjà existantes.

En ce qui concerne les nouvelles approches, le TIESS a mené des travaux afin de systématiser sa propre approche. Celle-ci a été exposée lors d'un séminaire. Chez les collaborateurs du TIESS, l'approche du travail partenarial s'implante à mesure qu'ils participent aux travaux menés. Au sujet des nouveaux organismes, le plus marquant est la création de C.I.T.I.E.S.

La création d'un réseau est une retombée sociale non négligeable. Ainsi, même si plusieurs composantes de l'écosystème d'innovation en économie sociale existaient avant la création du TIESS, celui-ci y apporte une nouvelle expertise et remplit des fonctions qui n'étaient pas prises en charge systématiquement. L'ajout des fonctions de liaison, de veille et de transfert à cet écosystème est une retombée sociale importante. En fait, on pourrait dire que l'existence préalable de certains éléments de l'écosystème permet au TIESS de jouer adéquatement son rôle et que le TIESS permet à l'écosystème de donner de meilleurs résultats en matière d'innovation et de transfert de connaissances.

Commentaires de l'évaluateur sur les résultats du critère 9 (Cibles 27 à 28)

Les résultats sont jugés satisfaisants, car les deux cibles sont atteintes.

La cible 27 est atteinte, puisque la présence de retombées économiques a été constatée. Les différents revenus du TIESS de 2014 à 2017, le rayonnement de l'expertise québécoise à l'échelle internationale ainsi que les effets sur les différentes régions du Québec en sont la preuve.

La cible 28 est atteinte, car la présence de retombées sociales a été constatée. D'ailleurs, l'évaluation constate que le TIESS construit, à l'heure actuelle, les fondations solides de l'économie sociale et solidaire au Québec.

Chapitre 5 : Les conclusions de l'évaluation

5.1 Principaux constats

Le tableau ci-dessous rappelle les principaux résultats constatés au 30 juin 2017.

Principaux résultats du TIESS – Degré d'atteinte des cibles (du 1er juillet 2013 au 30 juin 2017)

La pertinence de l'aide financière
Critère 1 : La compatibilité avec les objectifs et les résultats visés par le Ministère : Cible dépassée
Critère 2 : Le besoin continu d'aide financière à l'organisme : Cible atteinte
Critère 3 : L'efficience du modèle d'intervention du Ministère : Cible partiellement atteinte
L'efficacité de l'organisme
Critère 4 : L'atteinte des résultats visés : Cible dépassée
Critère 5 : Les pratiques de gestion de l'organisme : Cible partiellement atteinte
Critère 6 : Le modèle d'affaires et de gouvernance de l'organisme : Cible partiellement atteinte
Les effets de l'organisme
Critère 7 : Les effets dans le domaine de la recherche : Cible atteinte
Critère 8 : Les effets des activités de l'organisme sur les milieux utilisateurs : Cible atteinte
Critère 9 : Les retombées socioéconomiques : Cible atteinte

5.2 Réponses aux questions de l'évaluation

  1. L'aide financière à l'organisme est-elle pertinente?
    L'évaluation conclut que l'aide financière accordée au TIESS est pertinente. Les résultats suggèrent une adéquation de la mission du TIESS et de ses activités aux objectifs du Ministère. De plus, la clientèle du TIESS correspond à celle attendue par le Ministère. Un autre élément de preuve de la pertinence de l'aide financière est la démonstration de la persistance des besoins d'intervention publique en matière d'économie sociale et solidaire illustrée, entre autres, dans le PAGES. Sur le plan financier, le TIESS a connu une forte progression de ses revenus autonome de 2014 à 2017.
  2. L'efficacité de l'organisme est-elle satisfaisante?
    L'évaluation conclut que l'efficacité du TIESS est satisfaisante. Les résultats le prouvent : mise en place de saines pratiques de gestion, conseil d'administration représentatif des divers milieux preneurs et augmentation du nombre de collaborations et de partenariats. Toutefois, les frais administratifs de 23,3 % représentent plus que le double de la cible.
  3. Les effets sont-ils satisfaisants?
    L'évaluation conclut que les retombées sont satisfaisantes. Le TIESS a contribué à la formation de 66 étudiants. Par ailleurs, 55 chercheurs ont participé aux projets du TIESS, en plus de contribuer au rayonnement de l'expertise québécoise à l'échelle internationale. Du point de vue économique, le TIESS a attiré des apports des partenaires et des collaborateurs de 320 k$ dans les divers projets et activités.

5.3 Appréciation générale des résultats

L'évaluation de l'atteinte des cibles conduit à un pointage de 70 points sur 100. Les résultats du TIESS sont jugés satisfaisants, car le score se situe entre 70 et 89.

La pertinence de l'aide financière accordée au TIESS est évaluée à 23,44 points sur 35. Les résultats les plus probants sont constatés au critère 1.

L'efficacité du financement du TIESS est évaluée à 20,91 points sur 30. Les résultats les plus probants sont constatés au critère 4. Dans le critère 6, les résultats suggèrent que de légères améliorations sont possibles.

Les effets du financement du TIESS sont évalués à 25,65 points sur 30. Les résultats les plus probants sont constatés aux critères 7 et 8.

Afin de mieux expliquer ces résultats, rappelons que l'année 2013-2014 a été consacrée à la mise en place de l'organisme, ce qui a eu pour conséquence de tirer vers le bas certains indicateurs (surtout financiers), tels que l'effet de levier et le pourcentage de l'aide financière dans les dépenses totales.

Des résultats plus détaillés sont présentés à l'annexe 2.A (« Tableau de pointage »).

5.4 Éléments à suivre

Dans la perspective où l'entente d'aide financière du Ministère serait renouvelée, le TIESS est invité à porter attention aux éléments suivants :

  1. Coût de revient par projet (critère 3)
    Bien que cette cible soit considérée comme atteinte, il serait intéressant que le TIESS prenne les actions nécessaires pour diminuer le coût de revient par projet. Il faut toutefois tenir compte du fait que le coût de revient des projets est probablement élevé en raison du jeune âge du TIESS et que le nombre de projets était moins élevé au démarrage de l'organisme.
  2. Effet de levier (critère 3)
    L'effet de levier du financement du Ministère est de 0,18. Bien que le résultat soit influencé par l'année 2013-2014 (démarrage du TIESS), l'organisme pourrait être invité à prendre les mesures nécessaires pour augmenter l'effet de levier. Dans cette perspective, le TIESS devra entamer une réflexion sur l'augmentation de ses revenus autres que ceux provenant de Ministère.
  3. Frais d'administration et de gestion (critère 5)
    Les frais d'administration et de gestion du TIESS sont de 23,3 %, alors que la cible était de 10 %. L'évaluation a constaté une diminution des frais d'administration au cours de la période évaluée. Malgré tout, le TIESS est invité à prendre les mesures nécessaires pour réduire l'importance des frais d'administration et de gestion dans ses dépenses totales.
  4. Proportion de l'aide financière gouvernementale dans les dépenses totales du TIESS (critère 6)
    La proportion de l'aide financière gouvernementale dans les dépenses totales du TIESS représente 101 % de celles-ci. L'organisme est donc appelé à amorcer une réflexion sur les façons de diminuer cette proportion à 80 % ou moins. L'évaluation note par ailleurs une amélioration du ratio lors des deux dernières années évaluées.

Annexe 1 : Compléments méthodologiques

1.A Modèle logique du PSVT

Le tableau ci-dessous illustre la logique de l'intervention gouvernementale par la démonstration de la cohérence des liens entre les objectifs de l'aide accordée et les résultats attendus.

Les objectifs du PSVT

  1. Raison d'être
    Besoin de favoriser la valorisation et le transfert des résultats de la recherche vers les entreprises et les organisations en vue de soutenir l'innovation et le développement économique.
  2. Cibles
  3. Objectifs
  4. Nature de l'intervention
    Financement d'organismes de liaison et de transfert en innovation sociale (OLTIS), dont le TIESS. Le financement est consenti par l'intermédiaire du Programme de soutien à la valorisation et au transfert (PSVT) du MESI.
  5. Intrants
    Aide financière accordée au TIESS
  6. Activités

Les résultats attendus du PSVT

  1. Extrants
  2. Effets

Les autres retombées du PSVT

  1. Retombées

1.B Méthode d'appréciation des résultats

Pour chacun des critères, la comparaison des résultats obtenus et des cibles permet d'évaluer les résultats selon l'échelle d'appréciation qualitative présentée au tableau A.1. À la suite de l'évaluation de chacun des critères, un pointage sur 100 est attribué à l'ensemble des résultats de la manière suivante :

Tableau A.1 : Échelle d'appréciation de la performance
Appréciation qualitative Intervalle
Résultats très satisfaisants 90-100
Résultats satisfaisants 70-89
Résultats partiellement satisfaisants 50-69
Résultats insatisfaisants 0-49

Tableau 3 : Pondération des éléments à évaluer
Éléments à évaluer Poids en pourcentage
La pertinence du programme 35
L'efficacité du programme 30
Les effets du programme 35

Le score final sur 100 est la somme des scores obtenus dans chacun des trois éléments évalués. Les scores de chaque élément évalué sont obtenus selon l'expression suivante :

Somme des points obtenus/maximum des points pour l'élément évalué.

Chacun des trois volets évalués est pondéré selon les poids présentés dans les tableaux suivants.

1.B Méthode d'apprécation des résultats

Les sources de données utilisées dans la présente évaluation sont les suivantes :

Tableau A.3 : Rendement du sondage téléphonique
Population Population initiale Nombre de répondants Taux de réponse (En pourcentage) Marge d'erreur (En pourcentage)
Source : Sondage auprès des chercheurs, des partenaires et des utilisateurs du TIESS, MESI, septembre 2017.
Utilisateurs 50 31 67,3 8,7
Partenaires 84 53 80,3 6,0
Chercheurs 29 15 68,1 14,6
Total : 163 99 73,8 5,1

1.D Limites de l'évaluation

Tableau A.4 : Limites de l'évaluation et stratégies d'atténuation de leurs effets
Limites de l'évaluation Stratégies d'atténuation de leurs effets
Certaines cibles ne sont pas accompagnées d'attentes précises de résultats dans les différentes conventions de subvention, tandis que d'autres ont des cibles différentes. Les attentes habituelles du Ministère, quelle que soit l'intervention évaluée, peuvent être utilisées.
Données précises non disponibles sur les retombées économiques auprès des entreprises clientes des organismes. L'absence de données précises peut être compensée par l'utilisation d'estimateurs calculés à l'aide des comptes économiques de Statistique Canada et de techniques économétriques appliquées aux données d'enquête.

Annexe 2 : Compléments d'information

1.A Tableau de pointage

Évaluation du TIESS – Pointage final des résultats sur 100

Pertinence de l'aide financière
  Score obtenu Maximum possible
Critère 1 : La compatibilité avec les objectifs et les résultats visés par le MESI 11,66 11,66
Critère 2 : Le besoin continu d'aide financière à l'organisme 7,78 11,66
Critère 3 : L'efficience du modèle d'intervention du MESI 4,00 11,66
Sous-total Ppertinence (sur 35 points) 23,44 35,00

Efficacité de l'organisme
  Score obtenu Maximum possible
Critère 4 : L'atteinte des résultats visés 10,00 10,00
Critère 5 : Les pratiques de gestion de l'organisme 6,66 10,00
Critère 6 : Le modèle d'affaire et de gouvernance de l'organisme 4,25 1,00
Sous-total Efficacité (sur 30 points) 20,91 30,00

Effets de l'organisme
  Score obtenu Maximum possible
Critère 7 : Les effets dans le domaine de la recherche 8,25 11,66
Critère 8 : Les effets des activités de l'organisme sur les milieux utilisateurs 8,70 11,66
Critère 9 : Les retombées socioéconomiques 8,70 11,66
Sous-total Effets (sur 35 points) 25,65 35,00

Notes et références

Note 1. Gouvernement du Québec, Plan d'action gouvernemental en économie sociale 2015-2020, mai 2015.

Note 2. Ibid.

Note 3. Dans les rapports d'évaluation des deux autres organismes de liaison et de transfert en innovation sociale, un effet de levier de l'aide gouvernemental a été calculé. Toutefois, dans le cas du TIESS, compte tenu de sa structure de revenus, les deux effets de levier sont identiques. C'est pour cette raison qu'un seul effet de levier a été présenté dans ce rapport.