Une démarche évaluative se situe toujours, consciemment ou non, dans un paradigme donné. Ce dernier, compris comme une prise de position sur la nature des choses et la manière dont on peut les connaître, affecte nécessairement la méthode que l’on suivra pour analyser leur évolution. Bien qu’il soit souhaitable de rester aussi objectif que possible, chaque démarche d’évaluation implique donc certains choix et compromis qu’il vaut mieux faire de façon éclairée. Les questions « qui fera l’évaluation ? » et « qu’est-ce qui sera évalué ? » sont particulièrement importantes. Cette section vous aide à y répondre.
Objectivité
Les résultats de l’évaluation, particulièrement lorsque celle-ci est sommative (voir le glossaire), ont potentiellement des conséquences très tangibles : le non-renouvellement d’un projet, par exemple. Pour cette raison, les personnes qui réalisent l’évaluation peuvent être soumises à certaines pressions sociales. On pense, entre autres, au désir du commanditaire de l’évaluation de voir apparaître des résultats qui lui sont favorables.
Pour s’en prémunir, l’évaluateur tend à décrire son travail comme étant « objectif » : l’évaluation décrirait la réalité telle qu’elle est, grâce à des outils de mesure éprouvés. Au TIESS, nous ne croyons pas que ni l’objectivité ni la neutralité complète existent ― du moins en sciences sociales.
Une réalité sociale est éminemment relative et intersubjective : elle est construite collectivement, à travers les interactions et perceptions de chacun. Pour la saisir, il faut donner la parole à différents acteurs qui portent des visions partielles, parfois contradictoires, d’une même situation. Cette réflexion sur l’ontologie et l’épistémologie (cf. encadré) est assez bien expliquée dans l’ouvrage de Guba et Lincoln (1989), Fourth Generation Evaluation, que nous avons résumé dans l’encadré ci-dessous.
Conflits paradigmatiques : positivisme et constructivisme en évaluation
Il y a déjà 30 ans (1989), Guba et Lincoln publiaient un livre qui suggère de recourir à une « quatrième génération d’évaluation », fondée sur un nouveau paradigme : le constructivisme. Ce paradigme s’oppose à une vision conventionnelle de l’évaluation, généralement ancrée dans le positivisme, qui présuppose que l’évaluateur observe une réalité extérieure, indépendante de son action.
L’évaluation constructiviste repose à l’inverse sur trois hypothèses [1] :
L’hypothèse ontologique fondamentale du constructivisme est le relativisme. C’est-à-dire que l’on considère l’organisation de l’expérience de manière à la traduire en une forme intelligible, compréhensible et explicable en apparence comme un acte de création de sens (sémiotique) par les êtres humains. Il s’agit donc d’une construction, indépendante de toute réalité fondamentale. Si l’on adhère au relativisme, on ne peut considérer aucune vérité comme «objective». Mais cette observation ne revient pas à dire que «tout est permis».
L’hypothèse épistémologique fondamentale du constructivisme est la subjectivité transactionnelle, c’est-à-dire que les affirmations à propos de la « réalité » et la « vérité » dépendent essentiellement des informations à disposition des individus et groupes qui les formulent, et de leur degré de sophistication.
L’hypothèse méthodologique fondamentale du constructivisme est le dialectisme herméneutique, c’est-à-dire un processus par lequel les constructions interprétées par les différentes parties prenantes, groupes et individus, sont d’abord formées pour donner un sens (herméneutique) puis confrontées, comparées et nuancées dans des situations de rencontre (dialectique). Cette hypothèse ne se prononce pas sur le sujet des méthodes, en particulier sur le débat entre méthodes qualitatives et quantitatives. Les deux types de méthodes peuvent être et s’avèrent souvent appropriées dans toutes les enquêtes d’évaluation (Guba et Lincoln, 2001, p. 1).
Certains penseurs qui adhèrent à ce paradigme, comme Scriven et encore plus Patton, sont devenus de véritables gourous de l’évaluation. Mais bien que ces derniers soient souvent cités dans la littérature portant sur l’évaluation des initiatives sociales, les deux visions du monde continuent de cohabiter. Cela donne lieu à certaines tensions (Guba et Lincoln, 1989, p. 84, 112-113) qui, sans être propres à la mesure d’impact social, structurent la plupart des débats qui y ont cours ― tout comme ailleurs en sciences sociales. Les auteurs identifient plusieurs points d’achoppement :
Précision vs richesse
La précision et la concision des données (souvent chiffrées) valorisées dans les évaluations conventionnelles se font au détriment d’anecdotes et de données contextuelles susceptibles de rendre l’évaluation beaucoup plus riche en apprentissages.
Rigueur vs pertinence
L’évaluation conventionnelle est trop préoccupée par la rigueur méthodologique et la validité interne. Cela peut se faire au détriment de la pertinence de l’évaluation pour ses utilisateurs cibles ou de son applicabilité à des actions futures (validité externe).
Élégance vs applicabilité
L’évaluation conventionnelle est trop préoccupée par l’élégance des théories initiales, alors qu’elle devrait laisser celles-ci émerger du contexte local.
Objectivité vs subjectivité
La quête d’objectivité de l’évaluation conventionnelle tend à ignorer les biais qui seront immanquablement occasionnés par l’interaction entre enquêteurs et enquêtés. La solution est d’être plus transparent par rapport à ces biais, en admettant une part incompressible de subjectivité et de relativité.
Vérification vs découverte
L’évaluation conventionnelle cherche davantage à vérifier la qualité d’une intervention qu’à explorer de nouvelles solutions. Dans l’approche développée par Guba et Lincoln, l’objectif est aussi une meilleure compréhension des situations étudiées.
Prendre note que les auteurs ont développé une « checklist » afin de faciliter la mise en pratique de ces principes, vous pouvez la consulter sur Passerelles.
La conséquence pratique de cette prise de position est la suivante : la méthodologie mise en place n’est jamais parfaitement objective.
Cela ne signifie pas pour autant que l’évaluation sera mauvaise, volontairement biaisée ou que toutes les évaluations se valent comme s’il s’agissait d’une opinion comme une autre. Cela signifie simplement que l’évaluation assume les hypothèses de départ sur lesquelles elle s’appuie. Lorsqu’une organisation d’économie sociale est impliquée dans un processus d’évaluation, elle devrait être consciente que :
Le choix de la méthode d’évaluation a une incidence déterminante sur la perception qu’on se fait de l’objet évalué. L’évaluation n’est donc pas tout à fait neutre, et, en ce sens, elle participe à la définition de l’objet évalué. On peut donner une représentation très différente d’une même organisation, selon que l’on mesure un volume de production, une efficience-coût ou la pertinence sociétale d’une action. Lorsqu’on choisit des lunettes pour observer (évaluer) quelque chose, selon qu’on opte pour un microscope, des jumelles ou un télescope, on ne verra pas la même chose. Ainsi, le choix des outils et méthodes d’évaluation influence grandement notre vision du monde, mais peut également, en retour, influencer l’objet évalué ou nous influencer nous-mêmes. (TIESS, 2017)
Pour composer avec ces enjeux éthiques et politiques, il ne faut pas seulement être au clair du point de vue paradigmatique, mais aussi faire un choix réfléchi quant à la personne qui mènera le processus d’évaluation.
Qui doit évaluer ?
Devrait-on faire appel à une ressource externe ? La réponse à cette question, que se posent plusieurs organisations au début d’un processus d’évaluation, dépend non seulement des ressources et expertises disponibles à l’interne, mais aussi du destinataire de l’évaluation. Ainsi, une évaluation destinée à un public interne (gestionnaires et administrateurs) peut parfois être réalisée par des membres de l’équipe avec des résultats satisfaisants. Cependant, si la démarche s’adresse à un public externe, avec pour objectif de persuader les destinataires de la pertinence et de la légitimité d’une action donnée, il vaut peut-être mieux faire appel à une personne qui a plus de recul sur la situation et qui jouit d’une apparence d’objectivité supérieure.
Mais les gens ne sont pas dupes : une étude payée par une organisation pour se mettre en valeur, même si elle implique un consultant externe, sera souvent accueillie avec une touche de scepticisme. Le cas des entreprises d’insertion au Québec, résumé dans la section Impact de l’économie sociale au Québec, en est un bon exemple. Avant de vous lancer dans une bataille par études interposées potentiellement ruineuse, pourquoi ne pas, comme le suggèrent l’ONN ou l’Avise, coconstruire votre évaluation en partenariat avec vos bailleurs de fonds ?
Pour vous guider davantage dans votre prise de décision de recourir ou non à une ressource externe, vous pouvez consulter ce tableau extrait du Guide du groupe de travail sur l’évaluation de Communagir :
Source : Groupe de travail sur l’évaluation / Communagir (2018)
Précisons qu’il y a évidemment un entre-deux. Une partie du travail d’évaluation peut, dans bien des cas, être réalisée à l’interne avant d’être confiée à un tiers de confiance (pour valider la stratégie d’évaluation, par exemple).
Dans tous les cas, l’évaluation n’est pas une expertise technique que l’on devrait laisser à des experts. Il s’agit d’une compétence de base pour un ou une gestionnaire, au même titre que la gestion des ressources humaines, ou la compréhension des états financiers.
Pour avancer dans votre démarche, il faudra au minimum un porteur dans l’organisation déterminé à faire progresser cette question. Idéalement, il y en aura plusieurs, de sorte que l’expertise acquise ne se perde pas en raison de la mobilité de la main d’œuvre.
Que doit-on évaluer ?
Tel qu’indiqué dans la section Pourquoi évaluer ? Pour qui ? Quelle approche ?, l’évaluation peut porter sur plusieurs objets. Partant de là, dans la section Quand et quoi évaluer?, le TIESS vous conseille, en matière de mesure d’impact, de cibler des effets plus directs qui peuvent raisonnablement être attribués à votre intervention ― ce qu’on appelle votre zone d’imputabilité ―, plutôt que de documenter les effets (ou leur absence) sur l’objectif ultime.
Le choix d’évaluer un aspect plutôt qu’un autre a une dimension éthique. Ainsi, sans vous dire si la mesure d’impact social est désirable ou non dans votre cas, sachez que les choix que vous ferez en la matière découlent de préférences idéologiques qui sont souvent implicites, et qui gagnent à être nommées.
On pourrait ainsi expliquer l’engouement pour la mesure d’impact social par le passage, dans nos sociétés, d’une éthique déontologique à une éthique utilitariste (ou conséquentialiste).
Wikipédia nous dit que :
- L’éthique (du grec ethos « caractère, coutume, mœurs ») est une discipline philosophique portant sur les jugements de valeur.
- Le conséquentialisme fait partie des éthiques téléologiques et constitue l’ensemble des théories morales qui soutiennent que ce sont les conséquences d’une action donnée qui doivent constituer la base de tout jugement moral de ladite action.
- L’éthique déontologique ou déontologisme (dérivé d’un mot grec signifiant « obligation » ou « devoir ») est la théorie éthique qui affirme que chaque action humaine doit être jugée selon sa conformité (ou sa non-conformité) à certains devoirs.
Par exemple, l’intérêt pour la responsabilité sociale des organisations (RSO), encore présent aujourd’hui, mais qui s’est particulièrement développé dans les années 1990 et 2000, était fondé sur des principes de transparence et de respect de certains devoirs et processus. L’économie sociale, dont fait partie le mouvement coopératif, en guidant son action par des principes et valeurs, s’est traditionnellement inscrite dans cette lignée. À l’opposé, le projet de l’investissement d’impact et de l’entrepreneuriat social suggère plutôt de juger la valeur d’une action sur les résultats produits : son impact social.
La citation suivante, datant de plus de quinze ans, déjà, nous met en garde contre une utilisation abusive de la notion d’impact social [2] :
Les partisans du triple bottom line et de la responsabilité sociale de l’entreprise parlent souvent de performance sociale ou d’impact social, comme si cela englobait tout ce qui était pertinent pour une évaluation éthique de l’entreprise. Dans cette perspective, ce qui est moralement pertinent, c’est la manière dont l’entreprise améliore son effet positif sur les individus ou les communautés (ou réduit ses retombées négatives). On présume alors que «l’impact social» est ici étroitement lié à «l’impact sur le bien-être» (y compris le bien-être des organismes non humains). Dans le langage de la philosophie morale, il s’agit de situer l’ensemble de l’éthique des affaires et de la responsabilité sociale dans la “théorie du bien” (theory of the good): en quoi l’entreprise ajoute-t-elle de la valeur au monde? De toute évidence, cette question est très pertinente lors de l’évaluation d’une entreprise. Mais une grande partie de ce qui est éthiquement pertinent au sujet des activités d’une entreprise relève de ce que les philosophes moraux appellent la “théorie du juste” (theory of right): par exemple, le respect des droits et le respect des obligations. De toute évidence, il existe des liens importants entre notre vision des droits et des obligations, et notre vision des actions tendant vers un monde meilleur (ou pire). Mais à moins de faire partie des utilitaristes-les-plus-obtus, nous reconnaissons que le lien n’est jamais direct: nous ne sommes pas cantonnés à une seule obligation (en l’occurrence maximiser le bien-être). Remplir un devoir particulier ou respecter les droits d’un individu (par exemple, en honorant un contrat contraignant qui finit par nuire à l’entreprise ou à d’autres) peut très bien ne pas avoir d’impact social positif évident. Reste que cela doit tout de même être fait. (Norman et MacDonald, 2004, p. 253)
En somme, en mettant l’accent sur les résultats que génère l’entreprise (son impact) plutôt que sur la manière dont elle opère (ses processus), la notion de mesure d’impact social vient en quelque sorte bousculer le mode d’action traditionnel de l’économie sociale et de l’action communautaire.
[1] citations originales :
« The basic ontological assumption of constructivism is relativism, that is, that human (semiotic) sense-making that organizes experience so as to render it into apparently comprehensible, understandable, and explainable form, is an act of construal and is independent of any foundational reality. Under relativism there can be no “objective” truth. This observation should not be taken as an “anything goes” position.
The basic epistemological assumption of constructivism is transactional subjectivism, that is, that assertions about “reality” and “truth” depend solely on the meaning sets (information) and degree of sophistication available to the individuals and audiences engaged in forming those assertions.
The basic methodological assumption of constructivism is hermeneutic-dialecticism, that is, a process by which constructions entertained by the several involved individuals and groups (stakeholders) are first uncovered and plumbed for meaning and then confronted, compared, and contrasted in encounter situations. The first of these processes is the hermeneutic; the second is the dialectic. Note that this methodological assumption is silent on the subject of methods and, in particular, on the subject of “quantitative” vs. “qualitative” methods. Both types of methods may be and often are appropriate in all forms of evaluative inquiries. » (Guba et Lincoln, 2001, p. 1).
[2] Citation originale: “It is common for advocates of [triple bottom line] and [corporate social responsibility] to talk of the “social performance” or “social impact” of a firm, as if this captured everything that was relevant for an ethical evaluation of the firm. On this view, what is morally relevant is how the firm improves its positive impact on individuals or communities (or reduces its negative impact). Presumably “social impact” here must be closely related to “impact on well-being” (including the well-being of non-human organisms). In the language of moral philosophy, this is to locate all of business ethics and social responsibility within the theory of the good: asking, roughly, how does the firm add value to the world? Obviously, this is a very relevant question when evaluating a corporation. But much of what is ethically relevant about corporate activities concerns issues in what moral philosophers call the theory of right: e.g., concerning whether rights are respected and obligations are fulfilled. Now clearly there are important links between our views about rights and obligations, on the one hand, and the question of what actions make the world better or worse, on the other. But unless we are the most simple-minded act-utilitarians, we recognize that the link is never direct: that is, we do not simply have one obligation, namely, to maximize wellbeing. Sometimes fulfilling a particular obligation or respecting a particular person’s rights (e.g., by honouring a binding contract that ends up hurting the firm or others) might not have a net positive “social impact” but it should be done anyway.” (Norman et MacDonald, 2004, p. 253).
Groupe de travail sur l’évaluation. (2018). Une évaluation utile et mobilisatrice, est-ce possible? Communagir.
Guba, E. G. et Lincoln, Y. S. (1989). Fourth generation evaluation. Sage.
Guba, E. G. et Lincoln, Y. S. (2001). Guidelines and checklist for constructivist (aka fourth generation) evaluation. Retrieved January, 23, 2010.
Nicholls, A. (2015). Synthetic Grid: A critical framework to inform the development of social innovation metrics. Oxford : Creating Economic Space for Social Innovation (CRESSI).
Norman, W. et MacDonald, C. (2004). Getting to the Bottom of the « Triple Bottom Line ». Business Ethics Quarterly, 14(2), 243-262.