Archives par étiquette : mesure d’impact

Comment faire valoir l’économie sociale ?

Le 20 novembre dernier, le TIESS a réuni une quinzaine d’acteurs clés associés à divers réseaux de l’économie sociale afin de réfléchir aux pratiques et aux effets spécifiques de l’économie sociale (ÉS). Les participants devaient faire des présentations afin de persuader leur auditoire, un jury fictif, de la valeur de l’économie sociale et de l’intérêt de la soutenir. Ce texte vise à résumer certaines lignes d’argumentaires qui ont émergé de cet exercice de communication.

(Pour celles et ceux qui le souhaitent, il est possible de consulter le document de préparation remis aux participants ainsi qu’un tableau synthèse créé à la suite de l’événement)

Avant toute chose, pour parler de l’économie sociale, il faut d’abord rappeler ce que c’est. À cet égard, la Loi sur l’économie sociale adoptée au Québec en 2013 nous est bien utile. Pour être qualifiées d’entreprises d’économie sociale, les coopératives, les mutuelles et les associations doivent mener des activités marchandes et respecter 6 critères : mission sociale, autonomie, gouvernance démocratique, aspiration à la viabilité économique, distribution limitée des surplus et impossibilité de partager les actifs nets entre les membres en cas de dissolution. Il est aussi énoncé dans la Loi que les entreprises d’économie sociale ont le potentiel de contribuer à l’occupation et au développement des territoires, qu’elles sont souvent issues de mobilisations locales en réponse aux besoins de la communauté et qu’elles permettent de constituer une richesse collective. Les participants de l’activité ont particulièrement insisté sur les effets positifs de la gouvernance démocratique, « les entreprises d’économie sociale sont des écoles citoyennes », « elles ont des atouts pour une meilleure gestion grâce au croisement des expériences et des savoirs », et sur l’intérêt d’investir dans ces entreprises, car « elles sont souvent plus transparentes dans la gestion » et « presque impossibles à délocaliser ». Ce dernier point fait directement écho à l’ancrage territorial des entreprises d’économie sociale.

Deuxièmement, on parle généralement de la taille du secteur et de son impact économique. On évoque à cette fin les indicateurs économiques classiques comme le nombre d’emplois créés, le nombre d’entreprises et leur chiffre d’affaires. Cela peut s’appliquer autant à l’ensemble de l’économie sociale, « 7000 entreprises et 40 milliards de chiffre d’affaires », qu’à un secteur, « le Conseil québécois du loisir regroupe 40 organismes nationaux et 4500 organismes locaux dont 1400 emploient l’équivalent de 123 000 personnes à temps plein ». On ne manque pas non plus de rappeler la stabilité des entreprises d’économie sociale et des investissements qui y sont faits : « le taux de survie des coopératives est supérieur à celui des entreprises privées ».

Troisièmement, il est souvent question de ce que l’entreprise d’économie sociale fait de plus que l’entreprise conventionnelle. Traditionnellement, « elle naît souvent dans des marchés où le privé n’est pas ou peu présent ». En empruntant le langage économique, on peut alors dire qu’elle vient combler une faille de marché. On pourrait ajouter que l’économie sociale produit des biens et des services collectifs qui profitent non seulement aux utilisateurs directs, mais à l’ensemble de la communauté, produisant ainsi des externalités positives : « prenez l’exemple de Destination Saint-Camille qui, en convertissant son église en salle de spectacle, a contribué au dynamisme et à l’attractivité de toute la communauté ». Certains participants sont même allés jusqu’à parler de justice économique : « L’entreprise d’économie sociale charge le juste prix d’un bien ou d’un service », ni plus ni moins. « Elle permet de répondre aux besoins existants plutôt que d’en créer des nouveaux ». Ce faisant, « elle contre la montée des inégalités de toutes sortes de manières, y compris, souvent, en limitant les écarts de salaires ».

Bien entendu, pour être persuasive, la communication doit être adaptée à son destinataire. L’esprit comptable voudra entendre parler d’emplois et de retour social sur investissement ; on rappellera plutôt à l’idéaliste tout le potentiel transformateur de l’économie sociale en ce qui concerne la démocratisation économique. Il importe à cette fin de continuer à garnir la boîte à argumentaires de l’ÉS dans les prochaines années.

Aussi, il serait possible d’élaborer davantage l’alignement entre les objectifs poursuivis par les administrations publiques et ceux de l’économie sociale. On sait déjà que dans bien des cas l’action des entreprises d’ÉS permet d’éviter de nombreux coûts aux systèmes de santé, de justice et de services sociaux, en plus de générer de nouvelles taxes. Par conséquent, « après 27 mois d’insertion en emploi, les gouvernements du Québec et du Canada récupèrent entièrement leurs investissements ». Mais cela va beaucoup plus loin : l’économie sociale permet l’atteinte d’objectifs éducatifs, l’accroissement de la qualité de vie, l’insertion sociale et bien plus. C’est à chaque entreprise, secteur ou réseau de cerner la valeur de son intervention pour un ministère ou une ville en particulier et de montrer en quoi leurs objectifs concordent.

La contribution de l’économie sociale aux objectifs de développement durable de l’ONU sera également de plus en plus étudiée dans les prochaines années, non seulement parce que les administrations publiques de même que les entreprises privées sont soucieuses de démontrer en quoi elles s’inscrivent dans ce mouvement, mais aussi parce que notre conscience l’exige dans un contexte de crise environnementale.

Cependant, le poids de ces arguments ne doit pas nous faire tomber dans la complaisance ou l’hypocrisie. Il est sain de se remettre en question et stratégique de le faire avant que d’autres ne s’en chargent. Quel modèle de développement économique voulons-nous ? Est-ce que l’ÉS participe effectivement à démocratiser l’économie, à combattre les inégalités ? Est-ce qu’un OBNL avec un CA coopté de 3 personnes est vraiment démocratique ? Est-ce qu’un mouvement coopératif avec plus de 40 000 employés et 6 millions de membres peut perdre de vue ses principes et ses objectifs fondateurs ? Qu’on l’appelle audit social, bilan sociétal ou bilan coopératif, l’économie sociale s’intéressait déjà, il y a des décennies, à des manières d’évaluer sa performance sociale et environnementale pour s’assurer que ses principes soient respectés et en constante amélioration. À l’heure où les discours sur l’économie d’impact et la mesure d’impact social invitent les organisations à déployer tous les moyens possibles pour prouver qu’elles sont les meilleures et se démarquer de la concurrence, nous sommes peut-être mûrs pour nous élever au-dessus de ces débats, déterrer certains des outils évoqués plus haut et démarrer un vaste chantier de valorisation des pratiques de l’économie sociale. Des efforts doivent être faits pour adapter les outils à la réalité des entreprises d’économie sociale et pour développer une saine culture de l’évaluation chez les acteurs qui l’ont à cœur.

 

Pourquoi l’économie sociale devrait-elle se positionner face à la mesure d’impact social ?

 

Préambule et considérations éthiques

L’évaluation peut être définie de nombreuses façons, mais fondamentalement elle renvoie toujours à la même chose. L’évaluation, c’est un jugement sur la valeur sociale d’une intervention ou d’une organisation.

Il existe de nombreuses théories qui tentent d’aborder les questions de valeur, mais aucun consensus sur la meilleure façon d’en juger. Au fond, qu’est-ce qui compte vraiment ? Qu’est-ce qui est bon pour notre société et les individus qui la composent ? Qu’est-ce qui, en fin de compte, a de la « valeur » ? Les réponses qu’une société apporte à ces questions sont essentielles, car elles l’orienteront ensuite dans des directions potentiellement très différentes. Ce qui est jugé comme ayant de la valeur fera alors l’objet de toutes nos attentions. Personne ne peut remettre en question la volonté partagée d’une société et de ses membres d’améliorer leur sort. Si le sens de cette amélioration est déterminé, alors il ne reste plus qu’à avancer dans cette direction.

Mais qui décide de ce qui est « bon » ou de ce qui est « bien » ? Qui participe à cet exercice ô combien important ? Sur quelle base cette décision est-elle prise ? Selon quel processus ? Et finalement, existe-t-il une réponse définitive à cette question ?

Devant la taille de l’enjeu, un tel exercice pourra difficilement satisfaire pleinement toutes les parties impliquées. Chacun essaiera de faire valoir son point de vue dans un cadre qui ne peut échapper à certains rapports de force. C’est pourquoi cet exercice est fondamentalement politique, au sens où il interroge l’organisation et l’exercice du pouvoir dans une société organisée.

L’économie sociale défend depuis des décennies la valeur (ajoutée) de ses organisations et de ses entreprises pour la société, la valeur de leur action et de leur façon de faire, une valeur qui trouve sa source dans la réponse démocratique et solidaire qu’elles offrent aux problèmes économiques de notre temps. Il est essentiel qu’elle ne se laisse pas aveugler par des méthodes miracles ou des indicateurs universels qui participeront à définir ce qu’elle devrait être et/ou ce qu’elle devrait devenir. Ces choix nous appartiennent, disons-le haut et fort.

Évaluation et mesure d’impact social, de la démocratie politique à la gouvernance par les nombres

Depuis quelques années, la notion de mesure d’impact social prend une place grandissante au sein du domaine de l’évaluation, et supplante même parfois tout bonnement la discipline dans laquelle elle s’inscrit. Ce changement n’est pas anodin et ne doit pas être pris à la légère. Derrière le remplacement de la notion d’évaluation par celle de mesure d’impact se cache une volonté (souvent inconsciente) de dépolitiser la question de la valeur et, plus largement, de l’action sociale.

Quand on remplace la notion d’évaluation par celle de mesure d’impact social, on sous-entend implicitement deux choses :

  1. Ce qui a de la valeur doit pouvoir se mesurer (quantitativement, puisque c’est ce à quoi fait référence le terme de mesure). 
  2. La valeur d’une intervention, d’une organisation ou d’un processus ne peut s’appréhender qu’à partir de ses résultats, de ses effets et de son impact.

À travers ce glissement de vocabulaire, ces deux postulats viennent balayer d’un revers de la main des siècles de débat de philosophie éthique sur ce qui constitue la valeur d’une chose ou d’un acte. Loin de proposer une synthèse dialectique comme il est d’usage devant une question épineuse, on nous laisse entendre ici que ce qui compte doit pouvoir se compter, et que ce qui ne produit rien de mesurable n’a pas de valeur.

Pourquoi un tel glissement ?

Au risque d’apparaître caricatural, on peut expliquer ce glissement par deux tendances.

La première est fondée sur un vieux rêve de l’humanité, qui s’est trouvé exacerbé dans nos sociétés modernes occidentales. Ce rêve, c’est celui de régler les affaires du monde par le calcul et d’atteindre ainsi une parfaite harmonie [1]. L’idée selon laquelle on peut traiter les affaires sociales à coups d’équations, de ratios et d’agrégats continue à hanter l’être humain dans sa recherche d’une société idéale. Cette tendance se retrouve parfaitement dans la façon dont l’économie est enseignée dans nos universités et utilisée par nos gouvernements pour mieux légitimer et dépolitiser leurs actions. On ne parle plus d’économie politique, mais de sciences économiques. On présente ainsi l’économie comme une science dure aux côtés de la physique et de la chimie, et on lui taille cette place par tous les moyens jusqu’à lui inventer un prix Nobel [2]. Appliquée au champ de l’évaluation, cette dynamique se traduit par la même volonté d’occulter tout ce qui pourrait laisser planer un doute sur l’objectivité, la neutralité et, en définitive, la véracité des résultats obtenus. De rationnelles [3], les méthodes employées deviennent « rationalisantes » [4] et s’écartent par là même de l’expérience et du réel. Ceci fonctionne très bien, puisqu’aujourd’hui, comme l’économie, le domaine de l’évaluation fait peur ; on dit ne rien y comprendre et on laisse ça aux « experts » qui savent ce qu’ils font et dont nous devrions suivre les recommandations les yeux fermés. Après tout, ils ont des « données probantes », ce qu’ils avancent doit donc être « vrai ».

La deuxième tendance est directement issue de la première, mais elle est beaucoup plus récente et contemporaine, et nous concerne plus directement. Depuis que le monde de la finance est montré du doigt comme l’un des responsables des maux de notre société, il cherche à se racheter une réputation. Ces efforts se sont traduits dans les années 2000 (voir les travaux du TIESS) par une volonté d’utiliser les forces des marchés financiers pour faire le bien (cette fois). Le problème, c’est qu’en matière d’éthique, le curriculum de la haute finance était relativement mince. En quelques années, il a donc fallu qu’elle réponde à la question vertigineuse du bien et du mal, ou disons du bon (investissement) et du moins bon. Elle l’a fait avec les outils en sa possession, en développant un produit dérivé, qu’on pourrait appeler un « proxy » en évaluation, celui de l’impact social. Certes, l’impact social existait avant que la finance s’y intéresse, et a sa vie propre, mais on ne peut aborder l’histoire de la notion d’impact social sans parler d’investissement d’impact. Assez ironiquement, c’est en 2007, à la veille d’une crise financière qui ne fera qu’accélérer la nécessité de redorer le blason de la finance traditionnelle, que le terme investissement d’impact entre pleinement en scène [5]. On ne parle pas ici de n’importe quel impact, on parle d’impact mesurable, comme nous le rappelle ad nauseam tout bon fonds d’investissement à impact social [6]. Ainsi, le monde financier a finalement trouvé un chiffre à utiliser pour insérer une éthique à son équation de risque et de rentabilité, et pour continuer à allouer son portefeuille d’investissements, mais pour le bien de l’humanité cette fois.

Ainsi, d’une part, parce que l’argent reste le nerf de la guerre, et d’autre part, parce que de nombreux acteurs au sein des gouvernements comme de certaines grandes fondations ont trouvé là une solution à nombre de leurs maux, nous voilà partis à chercher comment mesurer le bien, euh pardon, l’impact et le chiffrer, en dollars de préférence, s’il vous plaît ! Nous allions pouvoir maintenant nous diriger vers cette société idéale, cette « économie d’impact » à toute vapeur, à coups de milliards de dollars régulièrement annoncés par le marché de l’investissement d’impact autour duquel des banques bien intentionnées comme Goldman Sachs ont eu tôt fait de prendre leur place.

Pourquoi l’économie sociale n’est-elle pas prête à participer à ce conte de fées ?

L’économie sociale prône une vision de l’économie qui la conçoit comme partie intégrante de la sphère sociale (qui s’inscrit elle-même dans l’environnement).

L’économique ne doit pas être dissocié du social, il y est encastré comme le disait Polanyi. L’économie ne se limite pas au marché, bien que le marché ait sa place au sein des activités économiques. L’économie, c’est aussi la redistribution des richesses par l’État et les mécanismes de solidarité et de réciprocité communautaires (bénévolat, implication citoyenne, échanges non marchands, etc.) qui font société.

L’économie est donc sociale par essence, le fait qu’on ait dû développer un mouvement qui lui appose ce qualificatif tient en fait du pléonasme, mais parfois les pléonasmes sont nécessaires.

Partant de cette prémisse, la recherche d’un impact social ne suffit pas. L’économie sociale pense que la valeur ajoutée d’une organisation et de son action pour notre société doit aller plus loin. Elle se demande vers où l’impact social doit nous amener, vers quel futur désirable, vers quel changement. Car ce concept énoncé seul comme une fin en soi ne fait souvent qu’occulter le fond des propositions de transformation qui se trouvent derrière nos actions (ou pas !). L’impact social, oui, mais pour aller où ? Dans quelle direction ? Cette direction, l’économie sociale l’a clairement identifiée, et depuis longtemps. C’est celle de la satisfaction des besoins individuels par des approches collectives (et non l’inverse), celle d’une économie plus démocratique et d’une société plus solidaire. En d’autres termes, un peu moins de marché et de compétition, et beaucoup plus d’humain et de coopération.

Partant de cette vision démocratique et de la construction collective d’un futur désirable, l’économie sociale s’inquiète d’une vision standardisée, objectivée, « mathématisante » et « universalisante » du « bien » (à travers cette notion d’impact social) et des façons dont on doit l’évaluer.

La Déclaration de Montréal sur l’évaluation et la mesure d’impact social souhaite donc insister sur un certain nombre de points clés qui nous permettront de continuer à discuter tous ensemble de valeur, de « bien », de « bonnes » organisations, du futur que l’on souhaite pour nous et les générations futures et, bien sûr, d’effets, de retombées et d’impacts !

Émilien Gruet
Conseiller en transfert
Territoires innovants en économie sociale et solidaire (TIESS)

 

[1] Alain Supiot. (2015). La Gouvernance par les nombres. Fayard.
[2] Voir les travaux du TIESS sur la question.
[3] « La raison, ou plutôt la rationalité, est l’application de principe de cohérence aux données fournies par l’expérience ». Edgar MORIN, Pour entrer dans le XXIesiècle, Seuil, 2004, page 139.
[4] « La rationalisation se fonde sur le principe que le réel est à tout prix rationalisable. Il nous faut reconnaître qu’une partie du réel est irrationalisable. Aucune preuve rationnelle ne démontre qu’il faut de l’être et de l’existence plutôt que du non-être et du néant. La logique, partout nécessaire, est partout insuffisante dès que nous arrivons à l’infiniment petit, à l’infiniment grand, à tout problème de fond, à tout problème de sens ». Edgar MORIN, Pour entrer dans le XXIesiècle, Seuil, 2004, page 146.
[5] Harji, K. et Jackson, E. (2012). Accelerating Impact: Achievements, Challenges and What’s Next in Building the Impact Investing Industry
 
(p. 62). New York : The Rockefeller Foundation.
[6] GIIN

Les enjeux de la mesure d’impact social

Depuis 2016, le TIESS travaille, en collaboration avec de nombreux partenaires, sur le thème de la mesure d’impact social. Le but ? Faciliter non seulement la compréhension du sujet, mais aussi l’orientation des organisations et des réseaux de l’économie sociale par rapport à cet enjeu.

Pourquoi parler d’enjeu ? Parce que la mesure d’impact social, c’est bien plus que des méthodes et des indicateurs. C’est une réflexion fondamentale sur la valeur de notre action. Or la manière de porter un jugement sur cette valeur, tout comme le choix des personnes qui seront impliquées dans cette décision, est une question hautement stratégique, et même politique. 

Politique, car même si nous voulons tous que notre analyse soit la plus objective possible, il est malheureusement impossible qu’elle soit complètement neutre. Même si les chiffres et les faits ne mentent pas, la sélection des aspects à évaluer, la manière de les mesurer et leur interprétation impliquent des choix et ne peuvent échapper à un certain degré de subjectivité. 

Il est essentiel que les réseaux et les acteurs de l’économie sociale soient en mesure de définir, en collaboration avec l’ensemble de leurs parties prenantes et de leurs bailleurs de fonds, des modes d’évaluation qui leur correspondent plutôt que de s’en faire imposer par des acteurs externes.

C’est donc pour aider les acteurs de l’économie sociale à s’orienter que le TIESS a tenu, au cours du printemps 2018, une série de trois ateliers de travail où une diversité d’intervenants (experts, universitaires, bailleurs de fonds, entrepreneurs) ont abordé des enjeux, des tensions et des pièges à éviter en lien avec la mesure d’impact social. Ce travail a permis de produire de nouvelles sections de l’espace web qui sont dévoilées aujourd’hui. Voici leurs résumés.

Pourquoi évaluer ? Stratégies de distinction et d’apprentissage

L’évaluation, la mesure d’impact et la reddition de comptes sont parfois utilisées comme synonymes alors qu’elles désignent des exercices différents qui peuvent toutefois être complémentaires. Deux grandes stratégies se dégagent dans le domaine : l’évaluation qui permet de rendre des comptes ou de se distinguer (orientée vers l’externe) et l’évaluation qui permet d’apprendre ou de s’améliorer (orientée vers l’interne). Même si parfois il est possible de combiner plusieurs objectifs dans le cadre d’une même démarche, les organisations qui s’engagent dans l’évaluation et leurs bailleurs de fonds devraient garder ces distinctions en tête et s’entendre sur la stratégie à suivre.

Vers une mesure standardisée de l’impact social ?

L’évaluation peut servir à analyser les résultats atteints au regard des objectifs fixés ou à les comparer à ceux d’autres organisations, au risque de voir seulement ce qui est comparable et de rater ce qui est spécifique ou nouveau dans le contexte de l’organisation. À l’inverse, une évaluation peut examiner ce que l’organisation a de spécifique, voire d’unique, et qui par conséquent est peu comparable aux autres organisations ou aux objectifs d’un programme ou d’une politique.

Peut-on et doit-on mesurer l’intangible ?

Il existe des effets intangibles difficilement chiffrables. Gardons tout de même à l’esprit que ce sont souvent des éléments très importants et qu’il est toujours utile de tenter de les évaluer… mais attention au choix des méthodes et à leurs biais potentiels.

Comparaison : peut-on et doit-on tout « monétariser » ?

La monétarisation désigne l’action d’attribuer une valeur monétaire à des effets qui, traditionnellement, ne font pas l’objet de transactions sur le marché. Elle comporte certains avantages, mais aussi certains risques et soulève plusieurs critiques. Il s’agit donc d’un exercice potentiellement utile, mais dont les résultats devraient toujours être considérés avec précaution.

Tension entre standardisation et flexibilité

Le malaise entourant l’arbitrage entre, d’une part, une description fine et détaillée qui tient compte de la complexité du contexte et, d’autre part, la mise en place d’indicateurs communs pratiques, mais potentiellement réducteurs, est lié à l’usage qu’on souhaite faire de la mesure d’impact : décrire, comprendre et mettre en valeur son action, comparer les projets en vue d’éclairer la prise de décision ou agréger les effets d’un ensemble de projets ou d’actions. 

Prouver l’impact ? Causalité, attribution et contribution 

La causalité, l’attribution et l’essai randomisé contrôlé (RCT) 

Les notions de causalité et d’attribution sont essentielles à la définition de la mesure d’impact. La causalité désigne un lien qui permet d’attribuer un effet à une intervention ou à une action donnée. Pour établir un lien de causalité, il faut pouvoir estimer le « contrefactuel », c’est-à-dire « ce qui serait arrivé en l’absence de l’intervention ». Or, la variété des contextes et la complexité des interactions au sein d’une société font en sorte qu’il est difficile, voire impossible, de réunir les conditions nécessaires pour attribuer un changement social à une intervention spécifique. Pour certains, il s’agit d’un défi méthodologique à relever. Pour d’autres, il s’agit au contraire d’une raison pour éviter de chercher à prouver qu’une activité a causé un impact.  

L’analyse de la contribution et la théorie du changement

L’analyse de la contribution d’une intervention ou d’un programme propose d’établir un lien tel qu’une « personne raisonnable serait d’accord pour dire, à partir des preuves et des arguments, que [l’intervention] a contribué de manière importante au résultat observé » (Mayne, 2012) [1]. Ce type de lien est moins fort que le lien de causalité au sens où il ne prouve pas l’attribution d’un impact à une seule action. Il est toutefois pertinent dans des situations où l’intervention n’est ni nécessaire ni suffisante pour produire un effet, mais où il est vraisemblable qu’elle y ait substantiellement contribué. Pour établir ce type de lien, on suggère de développer une théorie du changement, de la confronter à la réalité et de tester des explications rivales.

Les impacts négatifs potentiels de la mesure d’impact

Réactivité

Si on leur impose la mesure d’impact, certaines organisations vont réagir de manière attendue ou non. Elles pourraient, par exemple, avoir recours à des stratégies ou à des comportements qui visent à les faire paraître performantes par rapport aux indicateurs à partir desquels elles sont évaluées – plutôt qu’en fonction des effets réellement recherchés par leurs membres – ou carrément adopter des pratiques de manière symbolique, sans véritablement y croire.

Concurrence et conformation

En mettant des entreprises d’économie sociale en concurrence sur une base inadaptée à leurs particularités, un bailleur de fonds qui souhaite financer uniquement les entreprises à « impact social » risquerait de décourager certaines innovations et de récompenser les entreprises les plus aptes à générer et à démontrer certains effets préétablis au détriment d’autres résultats tout aussi désirables, mais moins prévisibles.

L’évaluation comme mode de gouvernance

L’évaluation des effets des entreprises d’économie sociale est une question stratégique qui n’est jamais neutre. Nous espérons que ce texte permet de comprendre cette prémisse du projet du TIESS sur la mesure d’impact. Les enjeux que nous venons d’évoquer ne remettent pas en cause l’activité d’évaluation elle-même. Il s’agit plutôt d’une mise en garde contre l’utilisation qui peut en être faite dans certains contextes et d’un appel aux organisations et aux réseaux d’économie sociale à développer un point de vue critique par rapport aux questions soulevées. Ces réseaux et organisations ne doivent donc pas s’éloigner de l’évaluation, mais au contraire se l’approprier, la saisir comme une occasion de réfléchir, de repenser ou de réaffirmer leurs objectifs, leurs priorités, leur identité et leur projet social.  

Pour en apprendre davantage sur ces enjeux, consultez les nouvelles sections dans l’espace web du TIESS sur la mesure d’impact social.

[1] Mayne, J. (2012). Contribution analysis: Coming of age? Evaluation, 18(3), 270–280.

L’histoire de la mesure d’impact social

La notion de mesure d’impact social, même si elle semble davantage attirer l’attention au Québec depuis quelques années, a une histoire relativement longue et complexe. Les termes employés pour la décrire et ce qu’ils signifient varient beaucoup en fonction des « cultures » qui y ont recours. « Cultures » au sens de pays ou de nations (France, États-Unis, Royaume-Uni, Canada, Québec), mais aussi, et surtout, « cultures » au sens de secteur d’activité ou de discipline académique qui mobilise la notion en question : évaluation, philanthropie, action communautaire, finance solidaire, investissement d’impact, mouvement coopératif, développement durable, etc. Ces croisements et confrontations font en sorte que les acteurs utilisent parfois les mêmes mots pour décrire des choses différentes ou, inversement, ont l’impression de ne pas se comprendre alors qu’ils parlent de la même chose.

Ainsi, il n’est pas rare d’entendre certains citer en exemple la certification B Corp comme un modèle de mesure d’impact alors qu’il s’agit essentiellement d’une méthode comparable à ce qui se fait depuis 30 ans dans le domaine du développement durable et de la responsabilité sociale (voir, par exemple, les normes GRI). Dans les deux cas, l’exercice consiste à compiler certains indicateurs qui portent sur les processus de l’entreprise en matière de respect de l’environnement, des salariés et des bons principes de gouvernance, pour n’en nommer que quelques-uns. Certains promoteurs de « l’économie d’impact » sont donc beaucoup plus proches qu’ils ne le pensent des acteurs de l’investissement responsable, même s’ils utilisent des mots différents. À l’inverse, ils sont potentiellement très éloignés de tout un pan de la recherche en évaluation qui voit dans l’essai randomisé contrôlé le summum de la rigueur scientifique évaluative. Même si les deux font l’éloge de l’impact, ils ont une compréhension très différente de ce qu’il implique, notamment en ce qui concerne sa mesure.

Repères historiques

Pour Reisman et al. (2015) [1], l’évaluation et la mesure d’impact social sont deux courants qui ont évolué en parallèle pendant des décennies et qui sont maintenant appelés à nouer un dialogue afin de s’enrichir mutuellement. Ces auteurs mettent effectivement le doigt sur deux courants dominants en Occident. 

D’une part, l’essor de l’État-providence après la Seconde Guerre mondiale a stimulé une demande pour l’évaluation de programmes dans tous les pays occidentaux. L’objectif était de déterminer si une politique mise en place par une administration publique génère réellement les résultats escomptés. C’est ainsi que l’évaluation s’est constituée comme discipline académique. Encore aujourd’hui, c’est avec les notions développées par l’évaluation pour décrire une intervention gouvernementale (modèle logique, intrant, extrant, effet, indicateur, etc.) que nous pouvons étudier l’impact d’une entreprise d’économie sociale.

D’autre part, le monde financier et philanthropique anglo-saxon a grandement contribué à accroître l’intérêt pour la mesure d’impact social des projets à finalité sociale. Ces acteurs se sont toujours intéressés aux retombées générées par leurs dons et leurs investissements, mais à partir de la fin des années 1990, des organisations comme la Fondation Rockefeller ont proposé de mesurer plus systématiquement le rendement social de leurs investissements. Cette préoccupation ancienne pour le « qu’est-ce que ça donne ? », renouvelée à travers la lunette du monde financier, a donné naissance aux notions de retour social sur investissement (SROI) et d’indicateurs standardisés (voir, par exemple, les indicateurs IRIS), essentielles au développement d’un nouveau secteur : l’investissement d’impact. En effet, pour remplir sa promesse d’offrir un rendement à la fois financier et social, ce secteur doit être capable de calculer le rendement social des organisations financées, d’où l’intérêt croissant pour la mesure d’impact social.

Pour éviter les dédoublements, les acteurs traditionnels de l’évaluation et les acteurs de l’investissement d’impact seraient donc appelés à converger et à apprendre les uns des autres. Par ailleurs, si ces deux courants sont effectivement très importants, voire dominants dans les discours sur le sujet, il serait réducteur de se limiter à cette vision dualiste. La notion d’« acteurs traditionnels de l’évaluation » désigne en fait une grande diversité d’initiatives qui fait appel à des méthodes et à des expériences très différentes. En voici quelques exemples :

  • Depuis les années 1970, les grands projets de développement économique cherchent à atténuer leurs impacts sociaux négatifs dans une perspective de développement durable. Les travaux de l’International Association for Impact Assessment (IAIA) illustrent bien cette volonté.
  • L’analyse du cycle de vie (ACV) permet de documenter rigoureusement l’impact d’un produit ou d’un service du début à la fin. Ces analyses, traditionnellement orientées sur les aspects économiques et environnementaux, intègrent de plus en plus des aspects sociaux.
  • Depuis des décennies, les acteurs du développement international cherchent à connaître l’impact de leurs interventions. Pour y parvenir, ce secteur propose une grande diversité d’approches allant des méthodes expérimentales (essais randomisés contrôlés) à la cartographie des incidences.
  • Tout au long de la seconde moitié du 20e siècle, la comptabilité sociale et environnementale a cherché à aller au-delà des données financières. Le bilan sociétal en France et le Balanced Scorecard au Royaume-Uni sont des exemples de ces pratiques très variées.

Certaines initiatives sont directement issues du secteur de l’économie sociale et solidaire.

  • Le courant de l’évaluation de l’utilité sociale, mieux connu en France, cherche depuis plusieurs décennies à repérer et valoriser la plus-value générée par les organisations de l’économie sociale et solidaire pour leur territoire.
  • Le projet Demonstrating Value (DV), en Colombie-Britannique, est issu d’une démarche qui visait à mettre en place un cadre d’évaluation partagé pouvant être utilisé par les entreprises sociales et par les bailleurs de fonds afin de mesurer leur performance, leur impact et d’en rendre compte. La phase initiale du projet s’est échelonnée de 2007 à 2009.
  • L’action communautaire au Québec a développé sa propre approche d’évaluation au cours des dernières décennies. Le Manuel d’évaluation participative et négociée de Gaudreau et Lacelle (1999) illustre bien cette pratique.
  • La première décennie qui a suivi le Sommet sur l’économie et l’emploi de 1996 a été une période de réflexion intense sur le thème de l’évaluation de l’économie sociale alors en plein essor au Québec. Les chercheurs impliqués au sein de l’Alliance de recherche universités-communautés (ARUC) en économie sociale et le CSMO-ESAC ont grandement contribué à cette réflexion.

Pour en apprendre davantage sur ces histoires multiples, le TIESS vient de publier une ligne du temps de la mesure d’impact social. Elle a pour objectif d’offrir un pas de recul aux lecteurs et ainsi de situer l’engouement pour la mesure d’impact dans un contexte historique beaucoup plus global. Sans être exhaustive ni définitive, cette ligne du temps permet tout de même de contribuer à répondre à quelques questions importantes : d’où vient cet intérêt pour la mesure d’impact social ? Comment s’est-il manifesté dans les pratiques à travers l’histoire ? Quels enjeux politiques et idéologiques sous-tendent ces pratiques ?  

Voir la ligne du temps.

[1] Reisman, J., Orians, C., MacPherson, N., Olazabal, V., Picciotto, R., Jackson, E. et Harji, K. (2015). Streams of social impact work. Repéré à http://etjackson.com/wp-content/uploads/StreamsRev6pages.pdf

Obligations à impact social. Un glissement des responsabilités vers le secteur privé.

OIS – Qu’est-ce que c’est ?

Les obligations à impact social (OIS)[1], aussi appelées contrats à impact social, proposent une restructuration des relations entre les pouvoirs publics, les organisations à vocation sociale et les bailleurs de fonds privés. En ce sens, elles constituent certes une innovation sociale, mais dont il reste à déterminer si elle aura un impact positif ou négatif. Apparues pour la première fois en 2010 au Royaume-Uni, les OIS se sont depuis répandues dans plusieurs autres pays, générant de nombreux débats entre engouement et méfiance des acteurs concernés.

À travers ce mécanisme, les services sociaux fournis par des acteurs indépendants de l’État sont financés par des investisseurs privés sur la base d’un contrat de remboursement passé avec un gouvernement (municipalité, région, État, etc.). Ce contrat adosse le rendement financier de ces investissements aux retombées sociales du programme ainsi financé. Au terme du programme, ses effets sociaux (impacts) sont évalués (mesurés) pour être traduits en rendement financier.

Source : contrat-impact-social.fr

  • Quelles conséquences ces changements pourraient-ils entraîner ?
  • Qui tiendra le gros bout du bâton à la suite d’une telle restructuration des relations ?

D’un point de vue financier, il est important de souligner que ces outils ne sont pas des obligations au sens financier traditionnel (intérêt fixe et durée prédéterminée)[2], mais plutôt des contrats ou programmes d’investissement d’où la diversité des terminologies employées. Notons également que cet outil n’a rien à voir avec les obligations communautaires (community bonds), un mécanisme plus proche du financement participatif qui est de plus en plus utilisé au Québec et ailleurs au Canada, et qui est présenté sur le site du TIESS.

Devant l’abondance de littérature grise vantant les bienfaits potentiels de cette innovation financière, il semble légitime et important de soulever plusieurs questions.

Plus de 60 programmes d’OIS dans 15 pays

Cet instrument initialement élaboré par Social Finance Ltd. (une organisation basée à Londres et développant le marché de l’investissement social) a été mis en application pour la première fois en septembre 2010 par le ministère de la Justice dans le cadre d’un programme de lutte contre la récidive de détenus à leur sortie de prison. Depuis, il ne cesse de faire parler de lui et intéresse de nombreux gouvernements qui voient en lui un moyen de minimiser les risques politique et financier liés à l’engagement de dépenses publiques dans les services sociaux. À l’heure actuelle, plus de 60 programmes d’OIS ont été lancés dans 15 pays[3]. Les évaluations des résultats de ces expériences varient selon les analyses.

En octobre 2016, l’Agence de la santé publique du Canada (ASPC) a annoncé l’emploi des OIS pour financer une initiative communautaire de prévention de l’hypertension (ICPH) et marquait ainsi la première utilisation par le gouvernement canadien d’une obligation à impact social (OIS) dans le domaine de la santé publique[4]. Au Québec, aucune expérience concrète n’a eu lieu jusqu’à aujourd’hui.

Un partenariat gagnant-gagnant ?

Les OIS apparaissent, à première vue, comme un outil simple, efficace et générateur de partenariats gagnant-gagnant. L’État n’engage des dépenses que pour les projets dont les retombées sociales avérées lui font faire des économies. Dans le cas contraire, il ne paye rien et les investisseurs assument les pertes éventuelles (transfert de risque du public au privé). L’État se soustrait ainsi au risque politique et financier de l’intervention sociale, les investisseurs privés font fructifier leurs capitaux tout en contribuant à l’intérêt général et les organismes fournisseurs de services trouvent un financement approprié. Tout est pour le mieux dans le meilleur des mondes possibles.

C’est dans cette apparente simplicité que réside toute la force de cet outil, et c’est justement pour cette raison qu’il faut l’examiner de plus près pour bien comprendre les tenants et aboutissants d’un tel mécanisme.

“Il existe pour chaque problème complexe une solution simple, directe et fausse”. 

(H.L. Mencken)

Limites et questionnements

Cette nouvelle configuration redistribue les rôles assignés à l’État, aux investisseurs privés et aux organisations à vocation sociale dans la construction de réponses aux problématiques sociales. Il est sans doute encore trop tôt pour tirer des conclusions quant aux nouveaux rapports de force qui s’installeraient si cet outil devait être utilisé de manière extensive, mais on peut néanmoins se poser certaines questions.

  • Investisseurs privés

Les conséquences, parfois déplorables, des privatisations opérées dans l’éducation, la santé ou la sécurité publique nous amènent à douter des bienfaits d’une marchandisation des services sociaux. Or, dans la nouvelle configuration proposée par les OIS, les investisseurs privés et le marché joueraient un rôle de premier plan dans la sélection des modes d’intervention sociale. L’impact social prévaudra-t-il toujours sur le rendement financier dans ces choix ? L’empressement de banques d’affaires comme Goldman Sachs (connues pour leurs pratiques spéculatives de court terme) à utiliser cet outil soulève certaines inquiétudes en la matière.

  • État

L’hypothèse sur laquelle se fonde les OIS est que l’État a échoué dans la gestion des services sociaux et que le privé serait plus à même d’y répondre. Cette posture idéologique est rarement étayée et semble être tenue pour acquise. On postule que le privé gère mieux que le public, mais ce secteur n’est-il pas tout autant responsable que l’État des plus grosses factures sociétales actuelles, soit la crise écologique, la fragilité du système financier et la montée des inégalités ? Deux questions subsistent. L’État a-t-il vraiment échoué ? Les privatisations de services sociaux ont-elles réussi ?

  • Fournisseurs de services sociaux (entreprises, associations, etc.)

Ce type de programme de financement est difficilement accessible aux petites organisations dont les programmes sont pourtant souvent les plus en lien avec les besoins des communautés locales. L’orientation des financements vers des organisations de plus grandes tailles ne risque-t-elle pas d’entraîner une uniformisation du traitement de la question sociale au détriment des particularités locales ?

Par ailleurs, quel que soit le domaine d’activité, quand il est question de survie la réalité prévaut sur les idéaux. Or, si les sources de financement des organisations à vocation sociale passent de plus en plus par ces mécanismes, l’intervention sociale se subordonnera-t-elle aux critères d’éligibilité des programmes de financement ? En ajoutant un intermédiaire (investisseur privé) dans la « chaîne » de prestation de services sociaux, les fournisseurs pourraient s’orienter vers les programmes sociaux dont les effets seront quantifiables, facilement mesurables à court terme et donc susceptibles de se faire financer. À titre d’exemple, comment mesure-t-on la reprise de confiance en soi d’un décrocheur scolaire ? Qu’adviendra-t-il des programmes dont les effets sont difficilement mesurables et ne se font sentir que sur le long terme ? Par ailleurs, au sein des programmes, il serait logique que pour les mêmes raisons une sélection, appelée aussi « écrémage », s’opère au profit des cas les plus simples à traiter. Qu’adviendra-t-il des populations les plus marginalisées et à risque ?

  • Mécanismes d’évaluation

On l’a compris, au cœur de ces nouvelles interactions se trouve une quatrième variable, objet de nombreux débats actuellement : l’évaluation des effets de ces actions ou, pour employer une expression plus en vogue, la mesure de l’impact social. Comment seront déterminés ces mécanismes ? Est-ce que toutes les parties prenantes seront impliquées ? Auront-elles un poids équivalent dans les négociations qui ne manqueront pas de prendre place notamment autour des méthodes et des indicateurs choisis ? En fin de compte qui évaluera les retombées ? Quel que soit son niveau d’indépendance supposé ou avéré, comment justifier le rôle central que cette entité jouera dans le champ des services sociaux ? Enfin, dans l’octroi de services sociaux, les processus (difficilement mesurables) sont aussi importants que les résultats. Quelle sera leur place dans un contexte où l’évaluation se concentrera sur les résultats de court terme ?

En somme, les OIS constituent un outil puissant et transformateur qui renforcerait le rôle des intérêts privés et financiers dans la gestion de l’action sociale. Devant l’engouement suscité chez certains, ce billet vise à mettre en lumière quelques-uns des enjeux entourant un tel glissement des responsabilités.

Pour aller plus loin :

www.associations-citoyennes.net/?p=7308

www.associations-citoyennes.net/?page_id=5286

nonprofitquarterly.org/2014/08/13/first-social-impact-bond-fails-to-meet-halfway-mark-performance-target/

nonprofitquarterly.org/2015/08/07/what-we-learned-from-the-failure-of-the-rikers-island-social-impact-bond/

www.governing.com/topics/finance/gov-social-impact-bonds.html

www.brookings.edu/research/the-potential-and-limitations-of-impact-bonds-lessons-from-the-first-five-years-of-experience-worldwide/

www.avise.org/ressources/evaluation-du-premier-social-impact-bond-sib

www.avise.org/ressources/avis-du-hcva-relatif-aux-social-impact-bonds

www.avise.org/actualites/contrats-a-impact-social

www.ontario.ca/fr/page/obligations-impact-social

www.socialfinance.org.uk/sib-white-paper/

[1] Également appelée en anglais social impact bonds, pay by results ou pay for success projects

[2] Neil McHugh et al, 2013

[3] European Venture Philanthropy Association. 60 Social Impact Bonds across 15 countries show growing global momentum. Répéré à: evpa.eu.com/blog/60-social-impact-bonds-across-15-countries-show-growing-global-momentum

[4] Agence de la santé publique du Canada.  La ministre de la Santé annonce une obligation à impact social pour favoriser la santé cardiaque et vasculaire. Répéré à: nouvelles.gc.ca/web/article-fr.do?mthd=index&crtr.page=1&nid=1144179&_ga=1.224616538.114908343.1475606095