5 octobre 2017

6. Qui fait quoi?

 

Il existe des centaines de guides, rapports, synthèses, site web et autres ressources susceptibles de vous appuyer dans une démarche d’évaluation ou de mesure d’impact social. Le TIESS en a sélectionné une cinquantaine pour vous.

Par ailleurs, de nombreux acteurs au Québec sont actifs dans le domaine de l’évaluation et de la mesure d’impact en économie sociale. Que ce soit des bailleurs de fonds, des chercheurs ou des organismes de service-conseil, le TIESS s’est efforcé d’en faire une recension rigoureuse, sans prétendre pour autant à l’exhaustivité.

Cette section vise à recenser les organisations qui ont déjà produit ou qui sont en mesure de produire des évaluations et mesures d’impact social pertinentes pour les entreprises d’économie sociale au Québec.

Pour connaitre les organisations susceptibles de vous appuyer dans votre région, nous vous suggérons de contacter votre Pôle d’économie sociale.

Il s’agit d’une recension partielle, à compléter et à mettre à jour au gré des évolutions du secteur. Par ailleurs, les consultants privés à but lucratif ne sont pas recensés ici.

Les grands bailleurs de fonds (administrations publiques et fondations)


Gouvernement du Québec

Certaines évaluations sont réalisées directement par les employés du Gouvernement du Québec, à l’interne. Un exemple notable est l’évaluation produite par le ministère de l’Emploi et de la Solidarité sociale (MESS) en 2013 au sujet des entreprises d’insertion.

Dans d’autres cas, le gouvernement préfère recourir à des ressources externes afin d’évaluer les effets de ses programmes. C’est le cas dans le secteur de l’habitation où des programmes de la SHQ, qui financent plusieurs coopératives et OBNL d’habitation, ont été évalués par AECOM (AECOM, Côté, Demars, Girard et Leleu, 2013).

La direction de l’entrepreneuriat collectif, au sein du ministère de l’Économie et de l’Innovation (MEI) s’intéresse évidement de très près aux retombées des activités du secteur de l’économie sociale, mais n’a ni les ressources ni le mandat de s’impliquer directement dans la réalisation de telles évaluations.


Fondation Lucie et André Chagnon

La Fondation Lucie et André Chagnon s’intéresse à l’évaluation des retombées des financements qu’elle accorde. Elle a mis en place en 2009, en partenariat avec le gouvernement du Québec, trois programmes phares :

  • Québec en Forme pour les saines habitudes de vie;
  • Avenir d’enfants pour le développement de la petite enfance;
  • Réunir Réussir pour la persévérance scolaire.

Plusieurs évaluations ont été menées dans le cadre de ces programmes, en partenariat avec les groupes financés et des évaluateurs externes.

Le site Internet Agirtôt.org, mis en ligne dans le cadre du projet Avenir d’enfants, offre toute une série de ressources liées à l’évaluation participative dont un guide et des exemples.


Centraide

Centraide/United Way est un réseau philanthropique mondial regroupant environ 1800 organisations dans une quarantaine de pays ou territoires (United Way, 2017). Il existe 18 groupes régionaux au Québec (United Way Centraide Canada, 2017).

Au Québec, Centraide du Grand Montréal est le groupe qui collecte et distribue le plus de fonds. Ils ont notamment, en partenariat avec d’autres fondations, mis en place en 2016 le Projet à impact collectif (PIC), inspiré d’une notion qui circule dans le milieu philanthropique depuis quelques années déjà. En théorie, ce type de projet implique la mise en place d’une évaluation partagée, une approche qui permettrait d’identifier l’impact visé par un ensemble d’organisations et de le mesurer avec une certitude supérieure à l’évaluation d’un projet isolé (Kramer, Parkhurst et Vaidyanathan, 2009). Des exemples d’évaluation partagée ont été diffusés par la Fondation J. W. McConnell via son programme Innoweave (voir plus bas).

Dans le cas du PIC à Montréal, ce sont principalement certaines tables de quartiers et leurs membres qui sont visés. L’approche d’évaluation privilégiée, intitulée ÉvalPIC, est participative et évolutive et le principal responsable de celle-ci est Dynamo.

En 2019, la Coop Niska a réalisé une démarche d’évaluation transversale sur les communautés locales. Les résultats sont présentés sous la forme d’une infographie.


Fondation de la famille J. W. McConnell et Innoweave

La Fondation McConnell recourt parfois à l’évaluation évolutive et s’intéresse beaucoup à la notion d’impact. Ainsi, le programme Innoweave, financé par la fondation, offre de nombreuses formations aux organismes de bienfaisance et sans but lucratif.

Les modules « Impact et clarté stratégique » et « Impact collectif » aident les participants à clarifier l’impact qu’ils recherchent à travers, notamment, l’articulation d’une théorie du changement claire, ce qui constitue une étape préalable essentielle à la mesure d’impact.

Le module sur l’« Évaluation évolutive » aide les participants à utiliser les données disponibles en vue d’une rétroaction en temps réel. Enfin, les modules « Utilisation des données » et « Mesure de l’impact », encore en cours d’élaboration, viendront compléter l’offre d’Innoweave en matière de mesure d’impact.


Les chercheurs (CÉGEP et universités)


Université du Québec à Montréal (UQAM), Alliance de recherche université-communauté en économie sociale (ARUC-ÉS) et Chaire de recherche du Canada en économie sociale

L’alliance de recherche université-communauté en économie sociale (ARUC-ÉS) a été active au Québec entre 2000 et 2009. Bien que ses travaux ne portaient pas spécifiquement sur l’évaluation, on relève quelques publications à ce sujet :

  • Un état du dossier (Neamtan, 2000);
  • Un rapport concernant la mise en place d’un système d’information et d’évaluation de l’économie sociale (Tardif, Tessier, Patry, Klein et Carrière, 2001);
  • Un aide-mémoire sur l’évaluation en économie sociale (Rondot et Bouchard, 2003);
  • Un appel à une nouvelle approche participative en évaluation (Fontan et Lachance, 2005);
  • Une réflexion et étude de cas sur le thème du tableau de bord en économie sociale (Renaud et Brésil, 2006);
  • Une évaluation de l’utilité sociale du milieu associatif du loisir (Lessard, Shields, Allard, Lafortune et Vaillancourt, 2009).

Sans être exclusivement concentrée à l’Université du Québec à Montréal (UQAM), l’ARUC-ÉS était tout de même proche de cet établissement. Encore aujourd’hui, plusieurs professeurs, en particulier au sein du département d’organisation et ressources humaines, s’intéressent à l’évaluation des pratiques et aux effets de l’économie sociale.

C’est le cas notamment des professeures Marie J. Bouchard, Maude Léonard et Sonia Tello-Rozas qui ont participé à l’étude d’impact portant sur le Réseau d’investissement social du Québec (RISQ) (M. J. Bouchard et al., 2017).

La Chaire de recherche du Canada en économie sociale, dont la titulaire était Marie J. Bouchard, a été en activité de 2003 à 2013. Son troisième axe de recherche était « l’évaluation socio-économique ». Certaines publications produites à cette époque portaient sur le thème de l’évaluation en ÉS : 

  • un article proposant trois dimensions à considérer dans le cadre d’une évaluation négociée de l’économie sociale : organisationnelle, utilité sociale et institutionnelle (M. Bouchard, 2004);
  • un ouvrage entier recueillant plusieurs perspectives sur la question de l’évaluation de l’économie sociale (M. J. Bouchard, 2009).

La démarche du TIESS sur l’évaluation et la mesure d’impact en économie sociale s’inscrit d’ailleurs dans la lignée de ces travaux, puisque la professeure Marie J. Bouchard en assure la direction scientifique.


Université de Sherbrooke - Institut de recherche et d’éducation pour les coopératives et les mutuelles de l’université de Sherbrooke (IRECUS) - Chaire de recherche en fiscalité et finances publiques

La Chaire de recherche en fiscalité et finances publiques de l’Université de Sherbrooke ne s’intéresse pas directement à l’évaluation des effets des entreprises d’économie sociale, mais des chercheurs qui y sont affiliés ont publié une étude sur les services de garde subventionnés et le taux d’activité des femmes (Fortin, Godbout et St-Cerny, 2012) qui les concerne indirectement. Cette étude a généré un certain nombre de discussions dans les médias au Québec (Fillion, 2014). Le professeur François Delorme, associé à cette chaire de recherche, s’est également récemment intéressé à l’évaluation des retombées économiques des entreprises d’insertion au Québec à titre de consultant (Delorme, 2015).

L’Institut de recherche et d’éducation pour les coopératives et les mutuelles de l’université de Sherbrooke (IRECUS) a un axe de recherche portant sur les « Retombées individuelles, collectives et sociétales » des coopératives, c’est-à-dire qu’il « vise à comprendre l’impact social, culturel, économique et environnemental des coopératives et des mutuelles sur les personnes, les groupes de personnes et la société, de façon à valoriser la contribution des coopératives au développement durable de leurs communautés ». Pour l’instant, seule la publication de (Lafleur et Merrien, 2012) semble directement aborder ce thème, mais d’autres sont peut-être à venir.


Centre interdisciplinaire de recherche en opérationnalisation du développement durable (CIRODD)

Le Centre interdisciplinaire de recherche en opérationnalisation du développement durable (CIRODD) s’intéresse aux outils de mesure du développement durable. Il se retrouve de facto à contribuer à la recherche en matière de mesure de l’impact social d’une activité donnée, même si ce n’est pas l’angle de recherche adopté.


Centre international de référence sur le cycle de vie des produits, procédés et services (CIRAIG)

Le CIRAIG vise à « développer, interpréter, intégrer et transférer les connaissances nécessaires à l’opérationnalisation de la pensée cycle de vie et à sa mise en œuvre au service d’un développement durable et ce, dans une optique de consommation, production et gouvernance responsables ». Ce faisant, le CIRAIG contribue à l’évaluation des effets sociaux, environnementaux et économiques de diverses activités. Par exemple, des chercheurs affiliés ont produit une étude qui traite des « entreprises comme Insertech et certains Centres de formation en Entreprise et Récupération (CFER) » (Fagnen, Charron-Doucet, Brodeur et Revéret, 2011, p. 1).

Pour en savoir davantage sur l’analyse du cycle de vie, consultez la fiche du TIESS à ce sujet, co-écrite avec le CIRAIG.


Centre d’expertise et d’accompagnement en innovation sociale (CERESO)

Le Centre d’expertise et d’accompagnement en innovation sociale (CERESO), associé au Cégep de Lanaudière, offre des services de collecte de données, analyse d’impact et évaluation de programme. Un exemple de réalisation est l’évaluation du programme Dominos, mené par l’organisme l’Avenue, justice alternative. Le CERESO pourrait éventuellement soutenir des entreprises d’économie sociale dans l’évaluation de leurs retombées.


Centre d’étude des conditions de vie et des besoins de la population (ÉCOBES)

Le Centre d’Étude des COnditions de vie et des BESoins de la population (ÉCOBES), associé au Cégep de Jonquière, ne vise pas spécifiquement les entreprises d’économie sociale, mais s’intéresse à la recherche appliquée en sciences sociales. Il compte de nombreuses évaluations de programme dans le domaine de l’intervention sociale à son actif et a le potentiel d’aider des entreprises d’économie sociale à évaluer leurs effets.


Centre d’étude en responsabilité sociale et écocitoyenneté (CERSÉ)

Le Centre d’étude en responsabilité sociale et écocitoyenneté (CERSÉ), associé au Collège de Rosemont, offre des services « d’analyse, évaluation et amélioration des projets, programmes et processus ». Cependant, aucune étude produite par cette organisation et rendue publique à ce jour ne porte spécifiquement sur l’évaluation des effets d’entreprises d’économie sociale.


Laboratoire d'intervention en évaluation pour organismes communautaires (LaboEval)

Le Laboratoire d’intervention en évaluation pour organismes communautaires (LaboEval), associé à l’université d’Ottawa et l’ENAP, permet aux « organismes communautaires de recevoir une formation pratique en évaluation et de réaliser des projets évaluatifs en profitant d’un accompagnement et d’un soutien technique ». Le LaboEval a lancé ses activités en 2019 et est actif dans la région d’Ottawa-Gatineau. On peut en apprendre davantage dans leur brochure.


Organismes associés à l’économie sociale offrant de l’accompagnement


Comité sectoriel de la main-d’œuvre en économie sociale et action communautaire (CSMO-ÉSAC)

Le Comité sectoriel de la main-d’œuvre en économie sociale et action communautaire (CSMO ÉSAC) est actif depuis très longtemps dans le domaine de la mesure d’impact social, grâce à la contribution de Lynda Binhas qui a publié un document de réflexion sur les indicateurs de rentabilité sociale (Binhas, 2004) ainsi qu’un guide sur la réalisation d’études pouvant être appliquées à n’importe quelle entreprise d’économie sociale ou organisme communautaire (Binhas, 2007a).

Les exemples d’évaluation des effets d’entreprises d’économie sociale réalisés par cet organisme et rendus publics portent sur les télévisions communautaires (Binhas, 2007b, 2016).

En plus de faire de l’évaluation d’organisations, de réseaux, de projets ou de programmes particuliers, le CSMO-ÉSAC offre des formations sur la mesure d’impact social depuis plusieurs années. On peut en apprendre davantage sur leur site Internet et en consultant ce fascicule. Enfin, une formation à distance élaborée en partenariat avec la SOFAD sera bientôt mise en ligne sur le portail de formation à distance de l’économie sociale et de l’action communautaire FC3.


Centre de formation populaire (CFP) - Évalpop

Le Centre de formation populaire (CFP) offre des services d’accompagnement en évaluation. Il prône une approche par et pour l’organisme ou le regroupement qui en fait la demande et appelle cette démarche Évalpop. Il offre également une formation sur l’évaluation des effets. De nombreux témoignages et exemples d’évaluations d’organismes communautaires réalisées par le CFP peuvent être consultés sur le site web d’Évalpop.


HumanovIS

L’organisme de liaison et transfert HumanovIS a développé une expertise en lien avec l’utilisation du SROI au Québec. En 2017, Humanovis a mobilisé cette expertise pour analyser la valeur sociale du projet Harmonie.


MCE Conseils

MCE Conseils fait de la consultation et propose, parmi son offre de service, de réaliser des études d’impact socio-économique ainsi que « des démonstrations des retombées économiques, de l’utilité et de la rentabilité sociale des entreprises pour renforcer leur capacité de négociation ». Ils ont notamment évalué l’effet du travail de la Fédération des coopératives de développement régional du Québec (MCE Conseils, 2014).


Dynamo

Dynamo offre des services d’évaluation, en particulier dans un contexte de développement des communautés. Ces évaluations peuvent traiter des effets ou non. Cet organisme est responsable d’ÉvalPIC dans le cadre du Projet à impact collectif (PIC), un projet mené par Centraide avec certaines tables de quartiers dans la ville de Montréal.

Aucune étude produite par cette organisation, et rendue publique à ce jour, ne porte spécifiquement sur l’évaluation des effets d’entreprises d’économie sociale.


Communagir

Communagir offre des services en évaluation évolutive et en accompagnement de la préparation de démarches d’évaluation qui permettront de traiter d’effets et d’impacts, en particulier dans le domaine du développement collectif. En 2018, ils ont publié le guide pratique « Une évaluation utile et mobilisatrice, est-ce possible? » (Groupe de travail sur l’évaluation, 2018).


Coop Niska

La coop Niska offre des services d’évaluation et de formation qui peuvent porter sur les effets des activités des organisations de l’économie sociale. Ils ont notamment réalisé des études sur les impacts sociaux de la coopérative Alentour, de Centraide en Estrie (Nadeau et Lussier, 2018) et du PIC à Montréal (coop Niska, 2019).


L'Esplanade

L’Esplanade est un accélérateur et espace collaboratif situé à Montréal et dédié à l’entrepreneuriat et l’innovation sociale. Il soutient notamment des entreprises d’économie sociale. L’Esplanade aborde le thème de mesurer et communiquer son impact dans le cadre du parcours d’accompagnement Impact8.


Convergence

La coopérative d’expertes conseils Convergence offre notamment des services d’évaluation (portant sur les impacts ou autres). Cette coopérative a souvent fait affaires avec des groupes de l’économie sociale et surtout de l’action communautaire dans la région.


Références

AECOM, Côté, M., Demars, E., Girard, O. et Leleu, A. (2013). Étude sur les impacts sociaux des activités de la société d’habitation du Québec (no 60275283). Québec : Société d’habitation du Québec.

Binhas, L. (2004). Indicateurs de rentabilité sociale ou indicateurs d’impact économique? Comment les définir et comment les construire. Comment mesurer les impacts sociaux et économiques en économie sociale et en action communautaire? Montréal : Comité sectoriel de main-d’oeuvre de l’économie sociale et de l’action communautaire.

Binhas, L. (2007a). Comment mener une étude de A à Z: guide méthodologique à l’intention des regroupements, associations, fédérations, entreprises et organismes du secteur de l’économie sociale et de l’action communautaire. Montréal : Comité sectoriel de main-d’oeuvre économie sociale action communauté.

Binhas, L. (2007b). Mesure d’impact social et profil d’auditoire des télévisions communautaires autonomes du Québec.

Binhas, L. (2016). Mesure d’impact social et profil d’auditoire des télévisions communautaires autonomes du Québec (p. 23). CSMO-ÉSAC & FTCAQ.

Bouchard, M. (2004). Vers une évaluation multidimensionnelle et négociée de l’économie sociale. Revue internationale de l’économie sociale: Recma, (292), 59–74.

Bouchard, M. J. (dir.). (2009). The Worth of the Social Economy, An International Perspective. Brussels : CIRIEC. Peter Lang.

Bouchard, M. J., Leduc Berryman, L., Léonard, M., Matuszewski, J., Rousselière, D. et Tello Rozas, S. (2017). Analyse du rôle du réseau d’investissement social du Québec (RISQ) dans l’écosystème d’économie sociale et estimation des retombées économiques et fiscales de ses investissements – 1998-2014. Montréal : Université du Québec à Montréal / E&B Data.

Coop Niska. (2019). An 3 – Vers des changements systémiques. Projet Impact Collectif – Centraide du Grand Montréal.

Delorme, F. (2015). Mise à jour de l’étude d’impacts socio-économiques des entreprises d’insertion du Québec.

Fagnen, S., Charron-Doucet, F., Brodeur, C. et Revéret, J.-P. (2011). Rapport d’analyse détaillée – Analyse du cycle de vie environnementale et sociale de deux options de gestion du matériel informatique en fin de vie. CIRAIG & Groupe AGECO.

Fillion, G. (2014, 24 novembre). L’effet des garderies et les femmes. Le blogue Économie de Gérald Fillion | Radio-Canada.ca. Repéré à http://blogues.radio-canada.ca/geraldfillion/2014/11/24/leffet-des-garderies-et-les-femmes/

Fontan, J.-M. et Lachance, É. (2005) Pour une évaluation de cinquième génération (no C-18-2005). Montréal : ARUC-ÉS.

Fortin, P., Godbout, L. et St-Cerny, S. (2012). L’impact des services de garde à contribution réduite du Québec sur le taux d’activité féminin, le revenu intérieur et les budgets gouvernementaux.

Groupe de travail sur l’évaluation. (2018). Une évaluation utile et mobilisatrice, est-ce possible? Communagir.

Kramer, M., Parkhurst, M. et Vaidyanathan, L. (2009). Breakthroughs in shared measurement and social impact. FSG Social Impact Advisors. Repéré à http://www.strongerfamilies.co/files/Breakthroughs_in_Shared_Measurement_complete.pdf

Lafleur, M. et Merrien, A.-M. (2012). Quand le passé inspire le futur: contribution des coopératives et des mutuelles à un monde meilleur. Sherbrooke : Institut de recherche et d’éducation pour les coopératives et les mutuelles de l’université de Sherbrooke (IRECUS).

Lessard, M., Shields, G., Allard, M.-C., Lafortune, J.-M. et Vaillancourt, S. (2009). L’utilité sociale du milieu associatif du loisir du Conseil québécois du loisir : une réalité méconnue aux incidences majeures: Rapport de synthèse. Cahiers de l’ARUC-ÉS. Montréal.

MCE Conseils. (2014). Étude d’impacts socioéconomiques du travail des coopératives de développement régional du Québec (p. 76). Longueuil.

Ministère de l’Emploi et de la Solidarité sociale (MESS). (2013). Évaluation des interventions des entreprises d’insertion.

Nadeau, A.-M., & Lussier, K. (2018). Les impacts sociaux de Centraide Estrie. Coop Niska.

Neamtan, N. (2000, septembre). Économie sociale et évaluation – État du dossier au Québec.

Renaud, M. et Brésil, M. (2006). Comprendre et évaluer les impacts sociaux d’un organisme à but non lucratif à l’aide du tableau de bord de Kaplan et Norton (no C-15-2006). Montréal : ARUC-ÉS. Repéré à http://www.aruc-es.uqam.ca/Portals/0/cahiers/resumes/Resume_C-15-2006.pdf

Rondot, S. et Bouchard, M. (2003). L’évaluation en économie sociale: petit aide-mémoire. Montréal : ARUC-économie sociale.

Tardif, C., Tessier, I., Patry, É., Klein, J.-L. et Carrière, J. (2001). Système d’information et d’évaluation en économie sociale (no R-02-2002).

United Way. (2017). United Ways Worldwide. Repéré 21 mars 2017, à http://www.unitedway.org/find-your-united-way

United Way Centraide Canada. (2017). Find Your UWC. Repéré à http://www.unitedway.ca/how-we-help/find-your-uwc/

Si vous repérez des erreurs ou oublis dans cette recension, nous vous invitons à faire parvenir vos commentaires à gabriel.salathe-beaulieu@tiess.ca

En dehors du Québec

Il existe de nombreux autres acteurs en dehors du Québec qui, comme le TIESS, s’efforcent de faciliter la compréhension de l’enjeu de l’évaluation et de la mesure d’impact social en produisant des outils souvent très pertinents. Sans entrer dans les détails, voici des références vers quelques-uns d’entre eux:

D’autres acteurs canadiens sont présentés dans la version anglaise de cette page.

Pour aller plus loin