Dans un monde où les entreprises d’économie sociale seraient obligées de mesurer leur impact social pour prospérer, on risquerait d’observer certaines conséquences indésirables. Cette section explore certains de ces impacts négatifs potentiels : effets de réactivité, mise en concurrence et influence indue sur la gouvernance des entreprises d’économie sociale.
Réactivité
Résumé : si on leur impose la mesure d’impact, certaines entreprises vont réagir de manière attendue ou non. Elles pourraient, par exemple, avoir recours à des stratégies ou des comportements qui visent à les faire paraître performantes par rapport aux indicateurs sur lesquels elles sont évaluées – plutôt qu’en fonction des effets réellement recherchés – ou carrément adopter des pratiques de manière symbolique, sans véritablement y croire.
Dans un article fort intéressant, Espeland et Sauder (2007) étudient le cas de l’introduction de classements dans les programmes de droit des universités aux États-Unis. Pour ce faire, ils ont recours à un concept très utile : la réactivité. La réactivité désigne une situation où « les personnes ou organisations soumises à l’évaluation, l’observation ou la mesure vont changer leur comportement de manière attendue ou non » (p. 6).
La réactivité peut notamment se manifester à travers les deux mécanismes suivants :
- Prophétie autoréalisatrice (Self-fulfilling prophecy) – on annonce un résultat, les acteurs ajustent leurs comportements en fonction de ce résultat attendu et, en raison du nouveau comportement des acteurs, le résultat se concrétise (p. 11). Par exemple, si personne ne croit qu’un candidat a une chance d’être élu et que, par conséquent, les électeurs décident de voter stratégiquement pour quelqu’un d’autre, le candidat ne sera effectivement pas élu.
- « Commensuration » – la commensuration est le processus par lequel on transforme des qualités en quantités qui peuvent être comparées parce qu’elles partagent une unité de mesure commune (p. 16). L’attribution d’une valeur monétaire est l’exemple le plus typique de commensuration, mais n’importe quel classement ou note a le même effet.
Par ailleurs, la réactivité peut notamment produire les trois effets suivants sur les organisations :
- Allouer les ressources afin de maximiser les résultats liés à la mesure – indicateurs, classements, etc. (p. 25).
- Redéfinir les politiques et le travail afin de maximiser les résultats liés à la mesure (p. 27).
- Jouer avec les règles et les chiffres afin de paraître plus performant – Gaming strategies (p. 29). Certaines de ces stratégies sont évoquées plus bas.
Substitution des objectifs poursuivis
L’un des risques les plus connus de l’introduction d’une évaluation de la performance basée sur des indicateurs imposés de l’externe est ce que la littérature appelle le goal displacement, c’est-à-dire la substitution de buts initialement visés par de nouveaux objectifs directement liés aux indicateurs mis de l’avant.
Pour être bien notées, certaines structures pourraient arrêter tout ce qui n’est pas représenté dans les chiffres et investir dans l’obtention de « beaux indicateurs » plutôt que dans l’activité elle-même. Puisque les investisseurs recherchent la performance, on risque d’assister à un délaissement des chantiers les plus difficiles. La standardisation de la mesure d’impact risque de nier le haut degré de contextualisation des entreprises sociales. (Alix et Baudet, 2015, p. 21)
Par exemple, un médecin rémunéré à l’acte rapportera le nombre de patients qu’il a rencontré dans une journée (si c’est l’indicateur qui a été fixé), plutôt que de rendre des comptes sur l’amélioration de la santé des patients (l’objectif initialement visé et imparfaitement reflété par l’indicateur).
Dans certains cas, l’évaluation de la performance, définie par un bailleur de fonds à travers certains indicateurs imparfaits, pourrait se faire au détriment d’objectifs souhaités par d’autres parties prenantes.
Par exemple, un organisme en développement international pourrait être récompensé par ses donateurs en fonction du nombre de sacs de riz distribués, même si la population locale conteste la légitimité de cette action, la considérant comme du dumping nuisible aux agriculteurs locaux.
Lorsque ces changements de comportement sont suffisamment importants pour affecter le cœur de la raison d’être de l’organisation, on parle de dérive de mission – mission drift (Hurvid, 2013).
La mesure d’impact social et l’évaluation axée sur les résultats ont-elles une influence réelle sur les objectifs que poursuivent les organisations qui en font l’objet ? Les études qui le prouvent sont rares, mais selon Ebrahim et Rangan, (2014, p. 120), qui citent une enquête de United Way of America (2000), 46 % des organismes sondés par Centraide aux États-Unis, à la suite de l’implantation d’une gestion axée sur la mesure des résultats, pensent que ces nouvelles pratiques les ont amenés à « se préoccuper des résultats mesurables aux dépens d’autres résultats importants » [1].
Business washing
Morley (2017), dans un article sur « l’impact de l’impact », a documenté des cas d’organisations (entreprises sociales ou organismes de bienfaisance) au Royaume-Uni qui ont intégré le langage et la logique de la mesure d’impact à leurs activités et à leurs communications. Si, dans certains cas, cette intégration était jugée utile et satisfaisante, dans d’autres, on ne parle pas vraiment d’intégration, mais plutôt d’une adoption symbolique de certains codes pour accroître sa légitimité auprès de bailleurs de fonds et autres parties externes. On qualifie cette situation où un organisme à but non lucratif souhaite paraître plus professionnel et comparable à une entreprise classique, sans forcément l’être, de business washing.
Le témoignage suivant illustre parfaitement ce qu’on entend par business washing :
La raison pour laquelle on a utilisé la méthode SROI [social return on investment] et l’impact social était parce que ma prédécesseure essayait de rendre l’organisation crédible. Elle a de nombreux contacts et a toujours évolué parmi les plus grands dans le domaine, alors [elle] savait ce que les gens seraient contents de voir. Et ça a vraiment été utile. Alors on a fait tout ça, ensuite on a tout ignoré, sauf la mise à jour des calculs (Interviewé no 1). (Morley, 2017, p.7, traduction libre)
Ainsi, après le green washing, où des entreprises veulent projeter une image de responsabilité environnementale sans véritablement s’engager dans des démarches conséquentes, et le social washing, où de grandes entreprises veulent projeter une image de responsabilité et d’engagement social supérieure à ce qu’elles font vraiment, on pourrait voir apparaître le business washing où, pour être prises au sérieux par les milieux entrepreneuriaux, des organisations à but non lucratif empruntent le langage de la mesure d’impact social pour se donner une apparence plus professionnelle.
Dans des cas comme celui-ci, « la simple utilisation du langage de l’impact social, en particulier la reddition de comptes qui fait appel à la terminologie économique et financière, a un effet démotivant sur les employés, même s’il n’y a pas de changement en ce sens dans les pratiques organisationnelles [2]. » Ainsi, non seulement on n’atteint pas l’objectif initial (améliorer la performance), mais on démoralise les employés. Comment est-ce possible ? Procédons par analogie.
En 1970, Richard Titmuss a soutenu que les dons de sang diminueraient si les donneurs potentiels recevaient des récompenses financières en raison de l’exclusion (crowding out) de leur motivation morale à donner du sang. Les économistes ont décrit cet effet comme l’éviction de la motivation intrinsèque (interne, non financière) par des incitations extrinsèques (externes, financières). (Morley, 2017, p.16, traduction libre)
Il en est de même dans plusieurs domaines d’intervention où l’économie sociale est active, comme le soin à la personne : « “Épargner l’argent des contribuables” peut aller à l’encontre de la motivation intrinsèque du personnel et ne pas être leur objectif, alors qu’ils peuvent avoir l’intention “d’améliorer la qualité de vie d’une personne” » (Morley, 2017, p. 21, traduction libre).
Autres effets de réactivité
D’autres effets de réactivité (comportements inattendus ou indésirables) sont recensés par Cabaj (2017, p. 13‑15), qui s’inspire de Smith (1995), et sont résumés ici:
Comportements indésirables causés par des mesures de performance trop étroites
- Vision – les organisations, devant des cibles différentes, choisissent celles qui sont les plus faciles à mesurer ou les plus avantageuses et ignorent les autres.
- Sous-optimisation – les organisations choisissent d’agir de manière à bien servir leur propre fonctionnement, mais nuisent aux performances de l’ensemble du système.
- Myopie – les organisations concentrent leurs efforts sur des objectifs à court terme au détriment des objectifs à plus long terme.
- Fixation sur les mesures facilement atteignables – lorsque les effets sont difficiles à mesurer, il existe une tendance naturelle à utiliser des mesures basées sur des extrants plus facilement mesurables, qui remplacent les effets souhaités ou définis dans les objectifs de l’organisation.
- Déformations – les organisations font de faux rapports ou déforment les mesures de performance pour faire bonne impression.
- Interprétations erronées – les organisations utilisent ou analysent des informations d’une manière trompeuse et/ou difficile à interpréter.
- Manipulations – les organisations « sous-performent » délibérément afin d’obtenir une cible plus facile à atteindre lors de leurs activités.
- Ossification – les organisations ne prennent pas la peine de réviser ou de supprimer des mesures périmées ou qui n’ont plus de raison d’être.
Concurrence et conformisme
Résumé : en mettant des entreprises d’économie sociale en concurrence sur une base qui serait inadaptée, un bailleur de fonds qui souhaite financer uniquement les entreprises à « impact social » risquerait de décourager le développement de certaines innovations et de récompenser les entreprises qui sont les plus aptes à générer et à démontrer certains effets préétablis, au détriment d’autres résultats tout aussi désirables.
Comme le souligne l’Agence Phare (2017, p. 29‑31), plusieurs acteurs expriment des craintes vis-à-vis un certain discours sur la mesure d’impact social qui serait directement inspiré du nouveau management public et du néolibéralisme. La mesure d’impact social deviendrait alors un outil de « contrôle et [de] mise en concurrence des structures » (Agence Phare, 2017, p. 29). Chiapello (2013), dans un éditorial percutant de la revue Confrontations Europe, évoque certaines de ces craintes, voire ce rejet de la mesure d’impact social :
Ce glissement est lié à la volonté d’étendre la concurrence à toutes les activités. Les structures de l’économie sociale, qui travaillaient historiquement sur la longue durée avec les pouvoirs publics sur des missions larges, doivent maintenant entrer dans des processus d’appels d’offres sur des projets précis et des horizons de temps limités. Évidemment, cette évolution pousse au développement de mesures pour comparer et exiger des résultats. Joue également dans ce déplacement le souhait de voir se développer les financements privés. Les caisses des États sont vides, alors que des fonds privés abondants sont en quête d’investissements. Il s’agit donc de les attirer en construisant un univers d’investissement qui ressemble à celui de la finance et qui puisse être intermédié par des gestionnaires de fonds ou de fortune non spécialistes.
L’engouement pour la mesure d’impact est donc un signe des temps. Elle apparaît attrayante, non à cause de son efficacité présumée, mais du fait de sa capacité à organiser autrement le monde des services sociaux en favorisant le pilotage à distance par des non-professionnels du social, la contractualisation sur projet pour des financeurs publics ou privés, et la génération d’une information digeste pour d’éventuels investisseurs. Il faudra faire attention à ce qui risque d’être perdu si ces pratiques finissaient par dominer tout le champ des activités sociales.
La principale crainte est donc que l’introduction d’une concurrence accrue pour certains financements, réalisée sur la base de mesures d’impact social nécessairement imparfaites, encourage un type d’entreprises en particulier : celles qui sont douées pour mettre en valeur cet impact plutôt que celles qui sont douées pour en produire.
Il en faudrait peu pour que des différences initiales marginales s’accroissent par effet de boucle de rétroaction : plus les entreprises aptes à se mettre en valeur mesurent leur impact, plus elles reçoivent de financement, plus elles sont aptes à mesurer leur impact social, laissant les retardataires loin derrière et creusant constamment l’écart.
Cette concurrence introduit par ailleurs un biais dommageable : seules les évaluations qui mettent en valeur l’organisation sous un jour favorable seraient alors réalisées, ou du moins rendues publiques. On perdrait alors l’esprit d’une évaluation franche, réalisée dans la perspective de mettre en lumière des faiblesses et d’apporter des améliorations, au profit d’une opération coûteuse de communication et de marketing destinée à convaincre certains acteurs sensibles au langage à la mode de l’impact social.
Une autre conséquence potentielle de la mesure d’impact social est ce que certains appellent le mimétisme, la conformation ou encore la normalisation (VISES, 2017, p. 28). Alix et Baudet expliquent le processus : la concurrence pour la reconnaissance et le financement basée sur la mesure commune de certains effets plutôt que d’autres mène « à l’alignement des pratiques sur la majorité », conduisant ainsi à la conformation et à la restriction de l’innovation (Alix et Baudet, 2015, p. 22) :
D’autres risques à mentionner sont ceux de conformation, de restructuration de l’offre et d’évitement de l’innovation. Les impacts pourraient perdre de leur importance par rapport à la conformation aux critères de notation […] Si le GECES [3] n’oblige pas à se référer à un tel protocole, il préconise le système « se conformer ou se justifier » (comply or explain), dont l’expérience montre qu’il conduit plutôt à l’alignement sur la pratique de la majorité. Une labellisation des entreprises sociales à partir de « méthodes statistiques et [de] la mise en place d’indicateurs communs » (Commission européenne, 2011) jouerait dans le même sens. C’est la raison pour laquelle les politiques ne doivent pas toutes s’aligner sur des « e-mesures » d’impact social telles qu’est en train d’en fabriquer l’industrie financière (Alix, Baudet, 2013). La connaissance de proximité des structures et des métiers reste un élément incontournable et complémentaire de toute politique sociale responsable (Chiapello, 2013). (Alix, 2015, p. 111‑112)
Mise en concurrence, perte de confiance et pilotage à distance du social, voilà donc les craintes les plus importantes parfaitement résumées par Ève Chiapello, déjà citée plus tôt :
On substitue dès lors des processus compliqués de mesures standardisées, et éventuellement auditées, à un contrôle par des connaisseurs. Ce glissement est lié à la volonté d’étendre la concurrence à toutes les activités. Les structures de l’économie sociale, qui travaillaient historiquement sur la longue durée avec les pouvoirs publics sur des missions larges, doivent maintenant entrer dans des processus d’appels d’offres sur des projets précis et des horizons de temps limités. Évidemment, cette évolution pousse au développement de mesures pour comparer et exiger des résultats. Les effets de réactivité sont maintenant bien documentés, à commencer par celui de prophétie autoréalisatrice. De faibles différences de scores au départ peuvent contribuer à produire de grandes différences réelles notamment en termes de ressources. D’autres risques sont ceux de conformation, de restructuration de l’offre et d’évitement de l’innovation. Pour être bien notées, certaines structures pourraient être tentées d’arrêter tout ce qui n’est pas représenté dans les chiffres… (Chiapello, 2013)
En somme, ce n’est pas tant la mesure d’impact social qui fait peur que la transformation des modes de financement qu’elle rend possible. En effet, la mesure d’impact social ne vient pas seule, elle accompagne un paradigme, une vision de ce que devrait être le monde, portée par des acteurs qui disposent de ressources, qui font partie d’un réseau et qui ont des intérêts. Une solution pour éviter que la mesure d’impact serve à permettre une transformation qui ne va pas dans le sens désiré par le secteur de l’économie sociale serait, comme le suggère Gouin (2018), de découpler impact et efficience du don. On aurait alors des bailleurs de fonds qui soutiennent l’évaluation dans un souci de soutenir et d’améliorer les pratiques du secteur plutôt que de mettre en concurrence les entreprises d’économie sociale et faciliter leur « pilotage à distance ». Mais est-ce vraiment possible ?
L’évaluation comme mode de gouvernance
Résumé : l’évaluation des effets des entreprises d’économie sociale est une question stratégique qui n’est jamais neutre. Les lignes qui précèdent permettent de comprendre cette prémisse du projet du TIESS sur la mesure d’impact. Ainsi, les critiques évoquées dans les sections précédentes ne remettent pas en cause l’activité d’évaluation elle-même, elles mettent en garde contre l’utilisation qui peut être faite de cette activité et appelle les entreprises et les réseaux d’économie sociale à développer un point de vue critique par rapport aux enjeux posés. Ces réseaux et entreprises ne doivent donc pas s’éloigner de l’évaluation, mais plutôt se l’approprier, la saisir comme une occasion de réfléchir, de repenser ou de réaffirmer leurs objectifs, leurs priorités, leur identité et leur projet politique.
Ces avertissements se basent sur la prémisse résumée dans la conclusion de Bouchard (2009), « le mode d’évaluation détermine potentiellement le mode de gouvernance des organisations qui en font l’objet [4] ». Ainsi, certains auteurs critiques appellent à se méfier de la promesse d’une évaluation qui serait dépolitisée, « neutre », fondée sur une expertise technique externe qui permet de prendre des décisions objectives dans une perspective de « bonne gouvernance ».
Dans un système de décision qui substitue des indicateurs et des standards à l’expérience des experts, les mesures retenues seront forcément contraintes par les chiffres qu’il est possible de produire, et les effets de prophétie autoréalisatrice joueront à plein (Chiapello, 2014). (Alix, 2015, p. 111‑112)
Les tensions autour de l’évaluation apparaissent lorsque l’une des parties prenantes s’approprie le droit de définir seule ce qui fait l’utilité sociale, et lorsqu’elle impose une méthode particulière pour mettre celle-ci en valeur. Adopter une méthode d’évaluation en effet revient à chausser des lunettes à focale particulière. Selon le type de lunettes, les observations diffèrent. Comprendre les enjeux liés à l’évaluation de l’utilité sociale et faire de ce processus une démarche vertueuse demande donc de comprendre d’abord qui l’évalue et comment elle est évaluée. (Branger, Gardin, Jany-Catrice et Pinaud, 2014, p. 4)
Cet appel à la méfiance n’est pas pour autant un rejet de l’évaluation, de l’expertise ou de la recherche d’information objective, informée, « vraie ».
Si la légitimité de l’expert – considéré impartial parce qu’extérieur – peut être mise en cause par la légitimité des processus démocratiques, elle ne doit pour autant pas être rejetée. La présence d’un expert maîtrisant les différentes méthodes s’est avérée indispensable dans les méthodes testées par Corus-ESS, y compris dans celle fondée sur la concertation. L’expertise ne doit pas être perçue uniquement en contradiction avec des processus de débat interne, de concertation et de délibération. Elle peut, dans une certaine mesure, venir l’enrichir quand on prend garde à ce qu’elle ne se substitue pas à eux. (Branger et al., 2014, p. 37)
Il s’agit simplement d’une mise en garde qui invite à la mise en place d’une évaluation participative, négociée, qui tient compte des déséquilibres dans les rapports de force et qui tente de les contrer en donnant une voix aux groupes qui risqueraient autrement d’être exclus de la discussion qui vise à déterminer ce qui a de la valeur. Car voilà tout l’enjeu de l’évaluation : déterminer ce qui a de la valeur.
Il est important de s’assurer que toutes les organisations et tous les groupes qui contribueront à son succès (ou à son échec) participent à l’étalonnage des paramètres de performance. Le processus pour déterminer qui devrait être impliqué et à quelle échelle sera une question de jugement. L’implication des parties prenantes est un des moyens de réduire le risque qu’un contributeur significatif au résultat souhaité fasse défaut. (Nicholls, 2015, p. 9, traduction libre)
En somme, la manière dont on évalue les entreprises d’économie sociale contribuera à définir le rôle que ces organisations doivent jouer dans le modèle de développement de nos sociétés (Bouchard et Richez-Battesti, 2008, p. 7).
Cela pose les jalons pour un chantier que l’initiative franco-belge Valorisons ensemble l’impact social de l’entrepreneuriat social (VISES) résume de la manière suivante :
Afin de mieux connaître et faire reconnaître l’ESS, il importe, si un système d’indicateurs doit être mis en place, que celui-ci soit à même de rendre compte de ce qu’est une entreprise d’ESS et de ce qu’elle produit. Lorsque la production de l’ESS est appréhendée seulement ou principalement par les résultats liés à ses produits, et peu ou pas par ses pratiques de gouvernance, de redistribution, etc., ses spécificités (et leurs effets) risquent de ne pas être prises en compte. (VISES, 2017)
Alors, qui définira la manière dont les entreprises d’économie sociale sont évaluées ?
Agence Phare. (2017, mars). L’expérience de l’évaluation d’impact social. Pratiques et représentations dans les structures d’utilité sociale.
Alix, N. (2015). Mesure de l’impact social, mesure du « consentement à investir ». Revue internationale de l’économie sociale : Recma, (335), 111-116. doi:10.7202/1028537ar
Alix, N. et Baudet, A. (2015). La mesure de l’impact social : facteur de transformation du secteur social en Europe (no 2014/15). Belgique : CIRIEC.
Bouchard, M. J. et Richez-Battesti, N. (2008). L’évaluation de l’économie sociale et solidaire : une perspective critique et internationale. Économie et solidarités, 39(1), 5-13.
Branger, V., Gardin, L., Jany-Catrice, F. et Pinaud, S. (2014). Évaluer l’utilité sociale de l’économie sociale et solidaire. Projet Corus-ESS (Connaissance et reconnaissance de l’utilité sociale en ESS).
Cabaj, M. (2017). Shared Measurement | The why is clear, the how continues to develop. Tamarack Institute.
Chiapello, E. (2013, mai). Mesure de l’impact social : pourquoi tant d’intérêt(s) ? Bulletin mensuel de Confrontations Europe.
Ebrahim, A. et Rangan, V. K. (2014). What Impact? A Framework for Measuring the Scale and Scope of Social Performane. California management review, 56(3), 188-141.
Espeland, W. N. et Sauder, M. (2007). Rankings and Reactivity: How Public Measures Recreate Social Worlds. American Journal of Sociology, 113(1), 1-40.
Gouin, R. (2018, janvier 25). Les dangers (relatifs) de la culture de l’impact. The Conversation. http://theconversation.com/les-dangers-relatifs-de-la-culture-de-limpact-90265
Hurvid, D. (2013, May 1). Mission Drift: Avoiding the Slippery Slope. Imagine Canada Blog. Repéré à http://www.imaginecanada.ca/blog/mission-drift-avoiding-slippery-slope
Morley, J. (2017). The impact of « impact »: The effect of social impact reporting on staf identity and motivation at social enterprises and charities in the UK. Working Paper.
Nicholls, A. (2015). Synthetic Grid: A critical framework to inform the development of social innovation metrics. Oxford: Creating Economic Space for Social Innovation (CRESSI).
Smith, P. (1995). On the unintended consequences of publishing performance data in the public sector. International Journal of Public Administration, 18(2–3), 277-310. doi:10.1080/01900699508525011
United Way of America. (2000). Agency Experiences with Outcome Measurement.
VISES. (2017). Orientation stratégique du projet VISES – Approche des théories et pratiques. Lille et Louvain-la-Neuve : CRESS et ConcertES.
[1] Traduction libre de « Implementing Program Outcome Measurement has […] led to focus on measurable outcomes at the expense of other important results » (United Way of America, 2000, p. 6).
[2] Traduction libre de : « the mere use of social impact language, in particular performance reporting using economic and financial terminology has a demotivating effect on staff, even if there is no associated change in organizational practice » (Morley, 2017, p. 4).
[3] Groupe d’experts de la Commission sur l’entrepreneuriat social (GECES).
[4] Traduction libre de : « the mode of evaluation is conducive of the mode of governance of the social economy » (Bouchard, 2009, p. 251).
Pour aller plus loin
