Glossaire

La mesure d’impact social et l’évaluation

Évaluation : Démarche systématique permettant d’estimer la valeur d’une intervention.

Évaluation des effets : Démarche systématique permettant d’estimer les conséquences attribuables à une intervention.

Mesure d’impact social : Activité qui consiste à évaluer les effets découlant d’une intervention.

Pour éviter la confusion ou l’utilisation d’un anglicisme, il est possible, à la place d’utiliser l’expression « mesure d’impact social », de parler d’évaluation des effets.

En principe, l’évaluation des effets diffère de la reddition de comptes.

Reddition de comptes : Relation fondée sur l’obligation de faire la preuve du rendement, de l’examiner et d’en assumer la responsabilité, soit à la fois des résultats obtenus à la lumière des attentes convenues et des moyens employés ». (Bureau du vérificateur général du Canada Gouvernement du Canada, 2002)

Alors que l’impact social est utilisé de manière assez générale pour référer à n’importe quel effet découlant d’une intervention (voir section 1 de l’espace web) La notion d’utilité sociale est un concept un peu plus spécifique qui se définit comme suit:

Utilité sociale: L’utilité sociale est une notion employée pour distinguer les activités qui servent l’intérêt de la société de celles qui servent avant tout l’intérêt d’individus (intérêt particulier) ou de groupes d’individus (intérêt mutuel). L’utilité sociale est mobilisée dans certains pays comme la France pour justifier un traitement particulier (comme des subventions) (Rodet, 2008). 

Le modèle logique

Activité (Activity) : Processus ou opération permettant la production des extrants d’une intervention à partir de ses intrants.

Les principales activités d’une organisation peuvent être plus ou moins précises et comporter plusieurs sous-activités pouvant être organisées dans une structure hiérarchisée. La formation, la recherche, la construction d’infrastructures, la production d’information et la négociation sont des exemples d’activités (Leblanc-Constant et Bard, 2013, p. 1).

Effet (Outcome et impact) : Conséquence attribuable à une intervention (Marceau et Sylvain, 2014, p. 17).

Extrant (Output) : Les extrants sont des biens ou des services (un document d’information, l’aménagement d’un parc, un renseignement, une subvention, etc.) observables et mesurables. Leur production étant habituellement sous le contrôle exclusif de l’organisation, il est généralement plus facile d’en rendre compte, comparativement aux effets (Leblanc-Constant et Bard, 2013, p. 11).

Intervention : Action conduite dans l’intention d’avoir un effet sur la société (Leblanc-Constant et Bard, 2013, p. 13). En référence au modèle logique, c’est l’ensemble des chaînes d’action (des processus) qui permettent de mobiliser des ressources (intrants) pour faire des activités et produire des services, de façon à atteindre des résultats (extrants et effets) (François Champagne, Brousselle, Hartz et Contandriopoulos, 2011, p. 74).

Intrant (Input) : Ressources humaines, financières, matérielles ou informationnelles utilisées pour mener à bien les activités de production. 

Ce sont, par exemple, le personnel qui assure la prestation des services, les ressources financières consenties, des locaux, des véhicules, des logiciels, etc. (Leblanc-Constant et Bard, 2013, p. 13).

Modèle logique : Image du fonctionnement [du] programme, une illustration de la théorie et des hypothèses qui le sous-tendent. Un tel modèle constitue une feuille de route pour le déroulement du programme, mettant en évidence la façon dont [il] est censé fonctionner, la séquence des différentes activités et les moyens par lesquels on arrive aux résultats attendus (W.K. Kellogg Foundation, 2004, p. III).

Types d’évaluation – les approches

Évaluation axée sur l’utilisation (utilization-focused evaluation) : Approche évaluative qui a pour prémisse que l’évaluation doit être conçue dans le but de faire en sorte que ses destinataires l’utiliseront effectivement (Patton, 2008, 2013).

Évaluation axée sur les principes : Évaluation qui vise à déterminer si les principes sont bien définis et applicables, la mesure dans laquelle ces principes sont respectés et s’ils mènent aux résultats souhaités (Patton, 2017).

Évaluation constructiviste : Forme d’évaluation qui s’appuie sur les principes fondateurs du paradigme constructiviste en termes d’ontologie, d’épistémologie et de méthodologie (Guba et Lincoln, 2001, p. 1). Également présentée comme une évaluation de quatrième génération par Guba et Licoln (1989).

Évaluation directive : Évaluation où la personne qui évalue adopte le rôle d’expert, neutre et distancé de l’objet évalué, et prend seul les décisions. Le rôle des autres acteurs est celui de source d’information (Ridde et Dagenais, 2009, p. 27).

Évaluation émancipatrice : Évaluation servant explicitement à favoriser le pouvoir d’agir (empowerement), l’évaluateur prend alors une posture d’animateur et ce sont les participants qui prennent les décisions (Ridde et Dagenais, 2009, p. 28).

Évaluation évolutive : Approche évaluative ayant pour finalité de soutenir l’apprentissage dans des contextes complexes et changeants (Gamble, 2008; Meunier, 2013).

Évaluation externe : Évaluation impliquant la participation d’une personne ou d’une équipe indépendante de l’équipe qui assure la réalisation de l’intervention.

Évaluation formative : Évaluation don l’objectif est de brosser, en cours de mise en œuvre d’une intervention, un tableau du fonctionnement des activités dans une perspective d’amélioration (Rondot et Bouchard, 2003).

Évaluation interne : Évaluation réalisée par les responsables et les agents de l’action (Eme, Fraisse et Gardin, 2000, p. 22).

Évaluation négociée : Utilisé dans le contexte de l’évaluation d’organismes communautaires au Québec, ce terme désigne une évaluation où l’organisme est reconnu comme partenaire de son bailleur de fonds, le gouvernement (Gaudreau et Lacelle, 1999, p. 8).

Évaluation participative : Évaluation où les acteurs impliqués dans le projet, des membres de l’équipe de projet jusqu’aux membres de la population concernée, ont l’opportunité de fournir un retour sur le projet et, si approprié, d’influencer son développement et/ou des projets futurs (ÉvalPop, 2016).

Évaluation pratique : Type d’évaluation participative qui sert un objectif précis comme résoudre un problème, améliorer un programme, ou éclairer la décision (Ridde et Dagenais, 2009, p. 28).

Évaluation sommative : Évaluation dont l’objectif est de tirer des conclusions et de poser un jugement sur la valeur des interventions. Elle se réalise à la fin d’une intervention habituellement dans une perspective de reddition de compte (Rondot et Bouchard, 2003).

Dans ce cas, l’évaluation appuie la prise de décision, que ce soit de modifier un programme, ou d’attribuer un financement, par exemple.

Gestion axée sur les résultats : Approche de gestion qui accorde la priorité aux résultats et met ce principe en pratique dans tous les aspects de la gestion (Gouvernement du Québec et Conseil du trésor, 2014, p. 12).

Types d’évaluation – les objets

Évaluation des besoins : Évaluation visant à déterminer […les] besoins, ceux-ci étant compris comme la différence entre la situation actuelle et la situation souhaitée (Leblanc-Constant et Bard, 2013, p. 8).

Évaluation de la pertinence : Évaluation portant sur la pertinence des objectifs (aussi appelé évaluation stratégique). Il s’agit alors de déterminer la justesse du lien entre les objectifs explicites de l’intervention et la nature du problème qu’elle est censée résoudre ou prendre en charge (F. Champagne et al., 2011).

Évaluation de la mise en œuvre : Aussi appelée évaluation des processus ou de l’implantation, elle permet de vérifier si les activités se sont déroulées comme prévues et si les ressources (intrants) et produits (extrants) impliqués sont conformes à ce qui était prévu. Il existe une grande variété d’évaluations liées à la mise en œuvre. Certaines, plus spécifiques, se concentrent surtout sur les activités, d’autres, plus larges, visent à étudier les effets observés en tenant compte du contexte.

Évaluation de l’efficacité : Évaluation comparant les résultats obtenus aux objectifs d’une action (Marceau et Sylvain, 2014, p. 23).

Évaluation de l’efficience : Évaluation mettant en rapport les résultats obtenus avec les ressources (intrants) d’une action.

Évaluation des résultats (ou du rendement) : Évaluation portant à la fois sur les extrants et les effets résultants de l’intervention.

Évaluation des effets : Démarche systématique permettant d’estimer les conséquences attribuables à une intervention.

Évaluation d’impact : Voir évaluation des effets.

Vocabulaire lié aux indicateurs

Cible : Rendement mesurable ou niveau de réussite prévu par une organisation ou attendu d’un programme ou d’une initiative au cours d’une période donnée. Les cibles peuvent être quantitatives ou qualitatives et elles conviennent tant pour les extrants que pour les résultats. Par exemple, 70 % des ménages au Canada posséderont leur propre maison en 2006 (Secrétariat du Conseil du Trésor du Canada, 2015)

Critère : Élément, caractère ou propriété d’après lesquels une appréciation est faite ou un jugement est forgé. (Leblanc-Constant et Bard, 2013, p. 5)

Dimension : Aspect significatif de quelque chose (Larousse, 2017).

Indicateur de substitution (Proxy) : Mesure indirecte qui représente ou procure une approximation d’un phénomène ou d’un concept impossible ou difficile à mesurer directement (Leblanc-Constant et Bard, 2013, p. 13). Ces indicateurs sont régulièrement utilisés par les méthodes SROI ou ACA afin d’attribuer une valeur monétaire à un effet qui n’est traditionnellement pas transigé sur le marché.

Indicateur : Mesure qui sert à évaluer ou à apprécier les résultats, l’utilisation des ressources, l’état d’avancement des travaux, le contexte, etc. Un indicateur permet d’apprécier un phénomène qualitativement ou quantitativement à l’aide de données ou de renseignements utilisés comme points de repère. (Leblanc-Constant et Bard, 2013, p. 12)

Intangible : Caractéristique d’un effet difficile à mesurer objectivement à partir d’un instrument de mesure externe et standardisé.

Monétarisation : Action d’attribuer une valeur monétaire à des effets qui traditionnellement ne font pas l’objet de transactions sur le marché.

Norme (Standard) : Règles documentées destinées à guider et à harmoniser l’activité d’un secteur ou à améliorer la pratique d’une profession. Une norme peut aussi être une spécification technique approuvée par un organisme reconnu ou une donnée établie pour servir de point de comparaison. (Leblanc-Constant et Bard, 2013, p. 14)

Référentiel : Ensemble de critères et d’indicateurs précisant l’utilité sociale de la structure (Duclos, 2007, p. 113)

Variable : Caractéristique observable ou mesurable qui peut prendre différentes valeurs tant quantitatives que qualitatives. Les variables sont dites « dépendantes » quand elles subissent l’influence d’autres variables et « indépendantes » lorsqu’elles exercent une influence sur une autre variable ou en expliquent les variations.  Les variables peuvent être de différentes natures: nominales, ordinales ou numériques. (Leblanc-Constant et Bard, 2013).

Vocabulaire lié aux enjeux

Attribution : Confirmer une relation causale entre les changements observés (ou que l’on s’attend à observer) et une action spécifique (OCDE, 2002).

Asymétrie d’information : On parle d’asymétrie d’information lors d’un échange quand certains des participants disposent d’informations pertinentes que d’autres n’ont pas. Les asymétries d’information peuvent ainsi engendrer un déséquilibre entre le producteur et le consommateur ou entre le vendeur et l’acheteur Bouchard et al., 2017, p. 18).

Biens et services collectifs : Les biens et services collectifs sont ceux que l’on souhaite rendre accessibles à tous notamment parce leur usage procure à l’ensemble de la collectivité des avantages bien supérieurs à leur coût. Ces biens ou services peuvent être source d’externalités positives à leur consommation ou à leur production (Bouchard et al., 2017, p. ix).

Business washing : Situation où un organisme à but non lucratif souhaite paraître plus professionnel et comparable à une entreprise classique, sans forcément l’être (Morley, 2017). Utilisé par analogie avec green washing, où une entreprise cherche à paraître plus environnementalement responsable qu’elle ne l’est vraiment.

Contribution : Établir que, à la lumière des multiples facteurs ayant une influence sur le résultat, l’intervention a eu un effet perceptible (Mayne, 2012).

Causalité : Lien qui unit une cause à un effet (Hutchinson, 2018).

Commensuration : Processus par lequel on transforme des qualités en quantités qui peuvent être comparées parce qu’elles partagent une unité de mesure commune (Espeland et Sauder, 2007, p. 16). L’attribution d’une valeur monétaire est l’exemple le plus typique de commensuration, mais n’importe quel classement ou note a le même effet.

Conséquentialisme : Fait partie des éthiques téléologiques et constitue l’ensemble des théories morales qui soutiennent que ce sont les conséquences d’une action donnée qui doivent constituer la base de tout jugement moral de ladite action (Wikipédia, 2020).

Contrefactuel : Situation ou condition dans lesquelles se trouveraient les personnes, les organisations ou les groupes concernés si [l’intervention] n’existait pas » (OECD, 2002).

Déontologisme : L’éthique déontologique ou déontologisme (dérivé d’un mot grec signifiant « obligation » ou « devoir ») est la théorie éthique qui affirme que chaque action humaine doit être jugée selon sa conformité (ou sa non-conformité) à certains devoirs (Wikipédia, 2020).

Éthique : Du grec ethos « caractère, coutume, mœurs », l’éthique est une discipline philosophique portant sur les jugements de valeur (Wikipédia, 2020).

Externalité : L’externalité se définit comme les conséquences ou effets qu’une activité a sur des tiers non directement concernés par cette activité, sans que ces effets donnent lieu à un paiement ou à une transaction (Bouchard et al., 2017, p. 17). L’externalité peut être positive ou négative.

Prophétie autoréalisatrice (Self-fulfilling prophecy) : Phénomène observé lorsque les acteurs ajustent leurs comportements en fonction d’un résultat attendu et, en raison du nouveau comportement des acteurs, le résultat se concrétise effectivement (Espeland et Sauder, 2007, p. 11). Par exemple, si personne ne croit qu’un candidat a une chance d’être élu et que, par conséquent, les électeurs décident de voter stratégiquement pour quelqu’un d’autre, le candidat ne sera effectivement pas élu.

Réactivité : Situation où les personnes ou organisations soumises à l’évaluation, l’observation ou la mesure vont changer leur comportement de manière attendue ou non (Espeland et Sauder, 2007, p. 6).

Stratégie d’apprentissage : Type d’évaluation orienté vers l’apprentissage, qui vise surtout à mieux comprendre l’action et à améliorer la gestion et qui s’adresse davantage à un public interne à l’organisation.

Stratégie de distinction : Type d’évaluation orientée vers la distinction, qui vise surtout à se démarquer ou à rendre des comptes et qui s’adresse davantage à un public externe à l’organisation.

Substitution des objectifs poursuivis (goal displacement) : Substitution de buts initialement visés par de nouveaux objectifs directement liés aux indicateurs mis de l’avant.

Zone d’imputabilité : Résultats sur lesquels l’organisation a une influence et pour lesquels elle peut raisonnablement être tenue responsable.

Vocabulaire lié à la culture organisationnelle

Capacités organisationnelles en évaluation : Concept qui comprend à la fois les capacités individuelles (c’est-à-dire les compétences techniques et interpersonnelles de l’évaluateur ainsi que les connaissances des gestionnaires et autres membres de l’organisation en matière d’évaluation) et les systèmes, structures et outils organisationnels qui servent à la production et à l’utilisation des évaluations (Bourgeois et Valiquette L’Heureux, 2018, p. 131).

Culture d’apprentissage : Lorsqu’une organisation utilise la réflexion, le retour d’information et le partage de connaissances dans le cadre de ses activités quotidiennes. Elle implique un apprentissage continu à partir des expériences des membres et l’application de cet apprentissage pour s’améliorer. Les cultures d’apprentissage amènent les organisations à dépasser l’accent mis sur les résultats axés sur les programmes pour se concentrer sur la durabilité et l’efficacité de manière plus systémique et à l’échelle de l’organisation. Il s’agit de passer des données aux informations et aux connaissances (Center for Nonprofit Excellence, 2016).

Culture évaluative : Façon d’intégrer systématiquement des processus évaluatifs à vos activités. Autrement dit, elle désigne l’habitude de chercher de l’information sur les résultats que vous générez en vue d’en tirer intentionnellement des apprentissages (Mayne, 2017, p. 8).

Culture organisationnelle : Un monde d’expériences, de significations, de valeurs et de compréhensions communes construites en interaction, qui se traduisent, se reproduisent et se communiquent à la fois sur le plan des symboles et sur le plan des actions concrètes et fonctionnelles (Alvesson, 2010).

Organisation apprenante: Une organisation dans laquelle les personnes ne cessent d’accroître leurs capacités à produire les résultats auxquels ils aspirent ; de nouvelles façons de penser sont encouragées, l’aspiration collective est libérée et les gens apprennent continuellement à apprendre ensemble (Senge, 1990).