Depuis 2016, le TIESS travaille, en collaboration avec de nombreux partenaires, sur le thème de la mesure d’impact social. Le but ? Faciliter non seulement la compréhension du sujet, mais aussi l’orientation des organisations et des réseaux de l’économie sociale par rapport à cet enjeu.
Pourquoi parler d’enjeu ? Parce que la mesure d’impact social, c’est bien plus que des méthodes et des indicateurs. C’est une réflexion fondamentale sur la valeur de notre action. Or la manière de porter un jugement sur cette valeur, tout comme le choix des personnes qui seront impliquées dans cette décision, est une question hautement stratégique, et même politique.
Politique, car même si nous voulons tous que notre analyse soit la plus objective possible, il est malheureusement impossible qu’elle soit complètement neutre. Même si les chiffres et les faits ne mentent pas, la sélection des aspects à évaluer, la manière de les mesurer et leur interprétation impliquent des choix et ne peuvent échapper à un certain degré de subjectivité.
Il est essentiel que les réseaux et les acteurs de l’économie sociale soient en mesure de définir, en collaboration avec l’ensemble de leurs parties prenantes et de leurs bailleurs de fonds, des modes d’évaluation qui leur correspondent plutôt que de s’en faire imposer par des acteurs externes.
C’est donc pour aider les acteurs de l’économie sociale à s’orienter que le TIESS a tenu, au cours du printemps 2018, une série de trois ateliers de travail où une diversité d’intervenants (experts, universitaires, bailleurs de fonds, entrepreneurs) ont abordé des enjeux, des tensions et des pièges à éviter en lien avec la mesure d’impact social. Ce travail a permis de produire de nouvelles sections de l’espace web qui sont dévoilées aujourd’hui. Voici leurs résumés.
Pourquoi évaluer ? Stratégies de distinction et d’apprentissage
L’évaluation, la mesure d’impact et la reddition de comptes sont parfois utilisées comme synonymes alors qu’elles désignent des exercices différents qui peuvent toutefois être complémentaires. Deux grandes stratégies se dégagent dans le domaine : l’évaluation qui permet de rendre des comptes ou de se distinguer (orientée vers l’externe) et l’évaluation qui permet d’apprendre ou de s’améliorer (orientée vers l’interne). Même si parfois il est possible de combiner plusieurs objectifs dans le cadre d’une même démarche, les organisations qui s’engagent dans l’évaluation et leurs bailleurs de fonds devraient garder ces distinctions en tête et s’entendre sur la stratégie à suivre.
Vers une mesure standardisée de l’impact social ?
L’évaluation peut servir à analyser les résultats atteints au regard des objectifs fixés ou à les comparer à ceux d’autres organisations, au risque de voir seulement ce qui est comparable et de rater ce qui est spécifique ou nouveau dans le contexte de l’organisation. À l’inverse, une évaluation peut examiner ce que l’organisation a de spécifique, voire d’unique, et qui par conséquent est peu comparable aux autres organisations ou aux objectifs d’un programme ou d’une politique.
Peut-on et doit-on mesurer l’intangible ?
Il existe des effets intangibles difficilement chiffrables. Gardons tout de même à l’esprit que ce sont souvent des éléments très importants et qu’il est toujours utile de tenter de les évaluer… mais attention au choix des méthodes et à leurs biais potentiels.
Comparaison : peut-on et doit-on tout « monétariser » ?
La monétarisation désigne l’action d’attribuer une valeur monétaire à des effets qui, traditionnellement, ne font pas l’objet de transactions sur le marché. Elle comporte certains avantages, mais aussi certains risques et soulève plusieurs critiques. Il s’agit donc d’un exercice potentiellement utile, mais dont les résultats devraient toujours être considérés avec précaution.
Tension entre standardisation et flexibilité
Le malaise entourant l’arbitrage entre, d’une part, une description fine et détaillée qui tient compte de la complexité du contexte et, d’autre part, la mise en place d’indicateurs communs pratiques, mais potentiellement réducteurs, est lié à l’usage qu’on souhaite faire de la mesure d’impact : décrire, comprendre et mettre en valeur son action, comparer les projets en vue d’éclairer la prise de décision ou agréger les effets d’un ensemble de projets ou d’actions.
Prouver l’impact ? Causalité, attribution et contribution
La causalité, l’attribution et l’essai randomisé contrôlé (RCT)
Les notions de causalité et d’attribution sont essentielles à la définition de la mesure d’impact. La causalité désigne un lien qui permet d’attribuer un effet à une intervention ou à une action donnée. Pour établir un lien de causalité, il faut pouvoir estimer le « contrefactuel », c’est-à-dire « ce qui serait arrivé en l’absence de l’intervention ». Or, la variété des contextes et la complexité des interactions au sein d’une société font en sorte qu’il est difficile, voire impossible, de réunir les conditions nécessaires pour attribuer un changement social à une intervention spécifique. Pour certains, il s’agit d’un défi méthodologique à relever. Pour d’autres, il s’agit au contraire d’une raison pour éviter de chercher à prouver qu’une activité a causé un impact.
L’analyse de la contribution et la théorie du changement
L’analyse de la contribution d’une intervention ou d’un programme propose d’établir un lien tel qu’une « personne raisonnable serait d’accord pour dire, à partir des preuves et des arguments, que [l’intervention] a contribué de manière importante au résultat observé » (Mayne, 2012) [1]. Ce type de lien est moins fort que le lien de causalité au sens où il ne prouve pas l’attribution d’un impact à une seule action. Il est toutefois pertinent dans des situations où l’intervention n’est ni nécessaire ni suffisante pour produire un effet, mais où il est vraisemblable qu’elle y ait substantiellement contribué. Pour établir ce type de lien, on suggère de développer une théorie du changement, de la confronter à la réalité et de tester des explications rivales.
Les impacts négatifs potentiels de la mesure d’impact
Réactivité
Si on leur impose la mesure d’impact, certaines organisations vont réagir de manière attendue ou non. Elles pourraient, par exemple, avoir recours à des stratégies ou à des comportements qui visent à les faire paraître performantes par rapport aux indicateurs à partir desquels elles sont évaluées – plutôt qu’en fonction des effets réellement recherchés par leurs membres – ou carrément adopter des pratiques de manière symbolique, sans véritablement y croire.
Concurrence et conformation
En mettant des entreprises d’économie sociale en concurrence sur une base inadaptée à leurs particularités, un bailleur de fonds qui souhaite financer uniquement les entreprises à « impact social » risquerait de décourager certaines innovations et de récompenser les entreprises les plus aptes à générer et à démontrer certains effets préétablis au détriment d’autres résultats tout aussi désirables, mais moins prévisibles.
L’évaluation comme mode de gouvernance
L’évaluation des effets des entreprises d’économie sociale est une question stratégique qui n’est jamais neutre. Nous espérons que ce texte permet de comprendre cette prémisse du projet du TIESS sur la mesure d’impact. Les enjeux que nous venons d’évoquer ne remettent pas en cause l’activité d’évaluation elle-même. Il s’agit plutôt d’une mise en garde contre l’utilisation qui peut en être faite dans certains contextes et d’un appel aux organisations et aux réseaux d’économie sociale à développer un point de vue critique par rapport aux questions soulevées. Ces réseaux et organisations ne doivent donc pas s’éloigner de l’évaluation, mais au contraire se l’approprier, la saisir comme une occasion de réfléchir, de repenser ou de réaffirmer leurs objectifs, leurs priorités, leur identité et leur projet social.
Pour en apprendre davantage sur ces enjeux, consultez les nouvelles sections dans l’espace web du TIESS sur la mesure d’impact social.
- Les stratégies de distinction et d’apprentissage
- Les impacts négatifs potentiels de la mesure d’impact
- Vers une mesure standardisée de l’impact social ?
- Prouver l’impact ? Causalité, attribution et contribution
[1] Mayne, J. (2012). Contribution analysis: Coming of age? Evaluation, 18(3), 270–280.
