8. Qui fait quoi?

Certaines évaluations sont réalisées directement par les employés du Gouvernement du Québec, à l’interne. Un exemple notable est l’évaluation produite par le ministère de l’Emploi et de la Solidarité sociale (MESS) en 2013 au sujet des entreprises d’insertion.

Dans d’autres cas, le gouvernement préfère recourir à des ressources externes afin d’évaluer les effets de ses programmes. C’est le cas dans le secteur de l’habitation où des programmes de la SHQ, qui financent plusieurs coopératives et OBNL d’habitation, ont été évalués par AECOM (AECOM, Côté, Demars, Girard et Leleu, 2013).

La direction de l’entrepreneuriat collectif, au sein du ministère de l’Économie et de l’Innovation (MEI) s’intéresse évidement de très près aux retombées des activités du secteur de l’économie sociale, mais n’a ni les ressources ni le mandat de s’impliquer directement dans la réalisation de telles évaluations.

La Fondation Lucie et André Chagnon s’intéresse à l’évaluation des retombées des financements qu’elle accorde. Elle a mis en place en 2009, en partenariat avec le gouvernement du Québec, trois programmes phares :

• Québec en Forme pour les saines habitudes de vie;
• Avenir d’enfants pour le développement de la petite enfance;
• Réunir Réussir pour la persévérance scolaire.

Plusieurs évaluations ont été menées dans le cadre de ces programmes, en partenariat avec les groupes financés et des évaluateurs externes.

Le site Internet Agirtôt.org, mis en ligne dans le cadre du projet Avenir d’enfants, offre toute une série de ressources liées à l’évaluation participative dont un guide et des exemples.

Centraide/United Way est un réseau philanthropique mondial regroupant environ 1800 organisations dans une quarantaine de pays ou territoires (United Way, 2017). Il existe 18 groupes régionaux au Québec (United Way Centraide Canada, 2017).

Au Québec, Centraide du Grand Montréal est le groupe qui collecte et distribue le plus de fonds. Ils ont notamment, en partenariat avec d’autres fondations, mis en place en 2016 le Projet à impact collectif (PIC), inspiré d’une notion qui circule dans le milieu philanthropique depuis quelques années déjà. En théorie, ce type de projet implique la mise en place d’une évaluation partagée, une approche qui permettrait d’identifier l’impact visé par un ensemble d’organisations et de le mesurer avec une certitude supérieure à l’évaluation d’un projet isolé (Kramer, Parkhurst et Vaidyanathan, 2009). Des exemples d’évaluation partagée ont été diffusés par la Fondation J. W. McConnell via son programme Innoweave (voir plus bas).

Dans le cas du PIC à Montréal, ce sont principalement certaines tables de quartiers et leurs membres qui sont visés. L’approche d’évaluation privilégiée, intitulée ÉvalPIC, est participative et évolutive et le principal responsable de celle-ci est Dynamo.

En 2019, la Coop Niska a réalisé une démarche d’évaluation transversale sur les communautés locales. Les résultats sont présentés sous la forme d’une infographie.

La Fondation McConnell recourt parfois à l’évaluation évolutive et s’intéresse beaucoup à la notion d’impact. Ainsi, le programme Innoweave, financé par la fondation, offre de nombreuses formations aux organismes de bienfaisance et sans but lucratif.

Les modules « Impact et clarté stratégique » et « Impact collectif » aident les participants à clarifier l’impact qu’ils recherchent à travers, notamment, l’articulation d’une théorie du changement claire, ce qui constitue une étape préalable essentielle à la mesure d’impact.

Le module sur l’« Évaluation évolutive » aide les participants à utiliser les données disponibles en vue d’une rétroaction en temps réel. Enfin, les modules « Utilisation des données » et « Mesure de l’impact », encore en cours d’élaboration, viendront compléter l’offre d’Innoweave en matière de mesure d’impact.

L’alliance de recherche université-communauté en économie sociale (ARUC-ÉS) a été active au Québec entre 2000 et 2009. Bien que ses travaux ne portaient pas spécifiquement sur l’évaluation, on relève quelques publications à ce sujet :

• Un état du dossier (Neamtan, 2000);
• Un rapport concernant la mise en place d’un système d’information et d’évaluation de l’économie sociale (Tardif, Tessier, Patry, Klein et Carrière, 2001);
• Un aide-mémoire sur l’évaluation en économie sociale (Rondot et Bouchard, 2003);
• Un appel à une nouvelle approche participative en évaluation (Fontan et Lachance, 2005);
• Une réflexion et étude de cas sur le thème du tableau de bord en économie sociale (Renaud et Brésil, 2006);
• Une évaluation de l’utilité sociale du milieu associatif du loisir (Lessard, Shields, Allard, Lafortune et Vaillancourt, 2009).

Sans être exclusivement concentrée à l’Université du Québec à Montréal (UQAM), l’ARUC-ÉS était tout de même proche de cet établissement. Encore aujourd’hui, plusieurs professeurs, en particulier au sein du département d’organisation et ressources humaines, s’intéressent à l’évaluation des pratiques et aux effets de l’économie sociale.

C’est le cas notamment des professeures Marie J. Bouchard, Maude Léonard et Sonia Tello-Rozas qui ont participé à l’étude d’impact portant sur le Réseau d’investissement social du Québec (RISQ) (M. J. Bouchard et al., 2017).

La Chaire de recherche du Canada en économie sociale, dont la titulaire était Marie J. Bouchard, a été en activité de 2003 à 2013. Son troisième axe de recherche était « l’évaluation socio-économique ». Certaines publications produites à cette époque portaient sur le thème de l’évaluation en ÉS : 

• un article proposant trois dimensions à considérer dans le cadre d’une évaluation négociée de l’économie sociale : organisationnelle, utilité sociale et institutionnelle (M. Bouchard, 2004);
• un ouvrage entier recueillant plusieurs perspectives sur la question de l’évaluation de l’économie sociale (M. J. Bouchard, 2009).

La démarche du TIESS sur l’évaluation et la mesure d’impact en économie sociale s’inscrit d’ailleurs dans la lignée de ces travaux, puisque la professeure Marie J. Bouchard en assure la direction scientifique.

La Chaire de recherche en fiscalité et finances publiques de l’Université de Sherbrooke ne s’intéresse pas directement à l’évaluation des effets des entreprises d’économie sociale, mais des chercheurs qui y sont affiliés ont publié une étude sur les services de garde subventionnés et le taux d’activité des femmes (Fortin, Godbout et St-Cerny, 2012) qui les concerne indirectement. Cette étude a généré un certain nombre de discussions dans les médias au Québec (Fillion, 2014). Le professeur François Delorme, associé à cette chaire de recherche, s’est également récemment intéressé à l’évaluation des retombées économiques des entreprises d’insertion au Québec à titre de consultant (Delorme, 2015).

L’Institut de recherche et d’éducation pour les coopératives et les mutuelles de l’université de Sherbrooke (IRECUS) a un axe de recherche portant sur les « Retombées individuelles, collectives et sociétales » des coopératives, c’est-à-dire qu’il « vise à comprendre l’impact social, culturel, économique et environnemental des coopératives et des mutuelles sur les personnes, les groupes de personnes et la société, de façon à valoriser la contribution des coopératives au développement durable de leurs communautés ». Pour l’instant, seule la publication de (Lafleur et Merrien, 2012) semble directement aborder ce thème, mais d’autres sont peut-être à venir.

Le Centre interdisciplinaire de recherche en opérationnalisation du développement durable (CIRODD) s’intéresse aux outils de mesure du développement durable. Il se retrouve de facto à contribuer à la recherche en matière de mesure de l’impact social d’une activité donnée, même si ce n’est pas l’angle de recherche adopté.

Le CIRAIG vise à « développer, interpréter, intégrer et transférer les connaissances nécessaires à l’opérationnalisation de la pensée cycle de vie et à sa mise en œuvre au service d’un développement durable et ce, dans une optique de consommation, production et gouvernance responsables ». Ce faisant, le CIRAIG contribue à l’évaluation des effets sociaux, environnementaux et économiques de diverses activités. Par exemple, des chercheurs affiliés ont produit une étude qui traite des « entreprises comme Insertech et certains Centres de formation en Entreprise et Récupération (CFER) » (Fagnen, Charron-Doucet, Brodeur et Revéret, 2011, p. 1).

Pour en savoir davantage sur l’analyse du cycle de vie, consultez la fiche du TIESS à ce sujet, co-écrite avec le CIRAIG.

Le Centre d’expertise et d’accompagnement en innovation sociale (CERESO), associé au Cégep de Lanaudière, offre des services de collecte de données, analyse d’impact et évaluation de programme. Un exemple de réalisation est l’évaluation du programme Dominos, mené par l’organisme l’Avenue, justice alternative. Le CERESO pourrait éventuellement soutenir des entreprises d’économie sociale dans l’évaluation de leurs retombées.

Le Centre d’Étude des COnditions de vie et des BESoins de la population (ÉCOBES), associé au Cégep de Jonquière, ne vise pas spécifiquement les entreprises d’économie sociale, mais s’intéresse à la recherche appliquée en sciences sociales. Il compte de nombreuses évaluations de programme dans le domaine de l’intervention sociale à son actif et a le potentiel d’aider des entreprises d’économie sociale à évaluer leurs effets.

Le Centre d’étude en responsabilité sociale et écocitoyenneté (CERSÉ), associé au Collège de Rosemont, offre des services « d’analyse, évaluation et amélioration des projets, programmes et processus ». Cependant, aucune étude produite par cette organisation et rendue publique à ce jour ne porte spécifiquement sur l’évaluation des effets d’entreprises d’économie sociale.

Le Laboratoire d’intervention en évaluation pour organismes communautaires (LaboEval), associé à l’université d’Ottawa et l’ENAP, permet aux « organismes communautaires de recevoir une formation pratique en évaluation et de réaliser des projets évaluatifs en profitant d’un accompagnement et d’un soutien technique ». Le LaboEval a lancé ses activités en 2019 et est actif dans la région d’Ottawa-Gatineau. On peut en apprendre davantage dans leur brochure.

Le Comité sectoriel de la main-d’œuvre en économie sociale et action communautaire (CSMO ÉSAC) est actif depuis très longtemps dans le domaine de la mesure d’impact social, grâce à la contribution de Lynda Binhas qui a publié un document de réflexion sur les indicateurs de rentabilité sociale (Binhas, 2004) ainsi qu’un guide sur la réalisation d’études pouvant être appliquées à n’importe quelle entreprise d’économie sociale ou organisme communautaire (Binhas, 2007a).

Les exemples d’évaluation des effets d’entreprises d’économie sociale réalisés par cet organisme et rendus publics portent sur les télévisions communautaires (Binhas, 2007b, 2016).

En plus de faire de l’évaluation d’organisations, de réseaux, de projets ou de programmes particuliers, le CSMO-ÉSAC offre des formations sur la mesure d’impact social depuis plusieurs années. On peut en apprendre davantage sur leur site Internet et en consultant ce fascicule. Enfin, une formation à distance élaborée en partenariat avec la SOFAD est disponible via le portail de formation à distance de l’économie sociale et de l’action communautaire FC3.

Le Centre de formation populaire (CFP) offre des services d’accompagnement en évaluation. Il prône une approche par et pour l’organisme ou le regroupement qui en fait la demande et appelle cette démarche Évalpop. Il offre également une formation sur l’évaluation des effets. De nombreux témoignages et exemples d’évaluations d’organismes communautaires réalisées par le CFP peuvent être consultés sur le site web d’Évalpop.

L’organisme de liaison et transfert HumanovIS a développé une expertise en lien avec l’utilisation du SROI au Québec. En 2017, Humanovis a mobilisé cette expertise pour analyser la valeur sociale du projet Harmonie.

MCE Conseils fait de la consultation et propose, parmi son offre de service, de réaliser des études d’impact socio-économique ainsi que « des démonstrations des retombées économiques, de l’utilité et de la rentabilité sociale des entreprises pour renforcer leur capacité de négociation ». Ils ont notamment évalué l’effet du travail de la Fédération des coopératives de développement régional du Québec (MCE Conseils, 2014).

Dynamo offre des services d’évaluation, en particulier dans un contexte de développement des communautés. Ces évaluations peuvent traiter des effets ou non. Cet organisme est responsable d’ÉvalPIC dans le cadre du Projet à impact collectif (PIC), un projet mené par Centraide et d’autres fondations en collaboration avec plusieurs tables de quartiers dans la ville de Montréal.

La démarche de Dynamo en ce sens invite les acteurs locaux à expérimenter la mesure de leur impact dans un contexte d’action collective axée sur la réduction de la pauvreté tout en développant, chemin faisant, une pratique évaluative participative et durable.

Ainsi, depuis 2016, de nombreuses activités de renforcement des capacités en évaluation ont été réalisées avec des acteurs des 17 quartiers soutenus par le Projet Impact Collectif (PIC). Plusieurs en mode espace de renforcement des connaissances et des pratiques dont par exemple des ateliers de formation, des rendez-vous capteurs d’impacts entre les quartiers traités comme un marché des savoirs et une communauté de pratique en évaluation en contexte collectif. Auxquels s’ajoute un accompagnement personnalisé et adapté au rythme et aux capacités des collectifs pour coconstruire et mettre en œuvre les différentes étapes de démarches d’évaluation axées sur la mesure d’effets des projets et leur contribution aux changements visés.

Cependant, aucune étude produite par cette organisation, et rendue publique à ce jour, ne porte spécifiquement sur l’évaluation des effets d’entreprises d’économie sociale.

Communagir offre des services en évaluation évolutive et en accompagnement de la préparation de démarches d’évaluation qui permettront de traiter d’effets et d’impacts, en particulier dans le domaine du développement collectif. En 2018, ils ont publié le guide pratique « Une évaluation utile et mobilisatrice, est-ce possible? » (Groupe de travail sur l’évaluation, 2018).

La coop Niska offre des services d’évaluation et de formation qui peuvent porter sur les effets des activités des organisations de l’économie sociale. Ils ont notamment réalisé des études sur les impacts sociaux de la coopérative Alentour, de Centraide en Estrie (Nadeau et Lussier, 2018) et du PIC à Montréal (coop Niska, 2019).

L’Esplanade est un accélérateur et espace collaboratif situé à Montréal et dédié à l’entrepreneuriat et l’innovation sociale. Il soutient notamment des entreprises d’économie sociale. L’Esplanade aborde le thème de mesurer et communiquer son impact dans le cadre du parcours d’accompagnement Impact8.

La coopérative d’expertes conseils Convergence offre notamment des services d’évaluation (portant sur les impacts ou autres). Cette coopérative a souvent fait affaires avec des groupes de l’économie sociale et surtout de l’action communautaire dans la région.