Résumé : C’est à la suite de l’essor de l’État-providence que l’évaluation s’est constituée comme discipline académique. Encore aujourd’hui, la notion de mesure d’impact social doit beaucoup au jargon développé dans le monde de l’évaluation.
Au Québec, au Canada, aux États-Unis et plus généralement en Occident, les premières initiatives qui visent à évaluer de manière systématique les répercussions d’une intervention sur la société semblent s’être développées dans le cadre de l’évaluation de projets et de programmes gouvernementaux. On peut faire remonter cette pratique aussi tôt qu’au 18e siècle et ensuite la découper en diverses périodes, selon les auteurs auxquels on s’intéresse.
- Ainsi, Hogan (2007, p. 4‑6), en s’appuyant sur Madaus, Stufflebeam et Scriven (1983), parle d’époques de la réforme (1792-1900), de l’efficience et du test (1900-1930), de Tyler (1930-1945), d’innocence (1946-1957), de développement (1958-1972), de professionnalisation (1973-1983) et enfin d’expansion et d’intégration (1983-aujourd’hui).
- Vedung (2010) parle plutôt de quatre vagues d’évaluation, chacune liée à une idéologie politique plus générale : la vague scientifique, rationaliste et expérimentale dans les années 1960, la vague dialogique, plus constructiviste et délibérative dans les années 1970, la vague néolibérale à partir des années 1980, et enfin la vague du jugement basé sur des données probantes depuis les années 1990.
- Enfin, Guba et Lincoln (1989) parlent plutôt de quatre générations, celles de la mesure (1890-1930), de la description (1930-1967), du jugement (1967-1979) et de la négociation (1979-2000). Pour plus de détails, voir l’encadré à ce sujet.
Dans un ouvrage largement cité sur le sujet, Guba et Lincoln (1989) identifient quatre générations d’évaluation, qui correspondent à autant de modes d’engagement. Nous citerons Fontan (2013, p. 5‑7) en entier pour résumer celles-ci :
- « Selon ces auteurs, la première génération, de 1890 à 1930, est une période dite de mesure. La fonction de l’évaluation est alors de mesurer le succès au moyen de divers tests. Le rôle de l’évaluateur est technique » et l’évaluation « permet d’observer un écart entre les objectifs visés et les résultats atteint ».
- « La deuxième génération, qui s’étend de 1930 à 1970, [cherche à] décrire ce qui est évalué. […] La fonction de l’évaluation de deuxième génération vise non seulement à mesurer des écarts, mais aussi à expliquer la distance observée entre les objectifs visés et les résultats obtenus. Le rôle de l’évaluateur s’élargit pour lui permettre de prendre en considération des éléments extérieurs à ce qui est mesuré ».
- « La troisième génération, de 1970 à 1980, […cherche] à dégager un jugement neutre sur l’objet évalué. Il est alors demandé d’établir des critères d’efficacité. [et] de porter un jugement, à savoir si oui ou non l’objet évalué répond aux critères identifiés. Le rôle de l’évaluateur consiste à se prononcer sur la valeur et les mérites de l’objet évalué ».
- Enfin, « la quatrième génération, de 1980 à 2000 » constitue ce qu’on appelle une évaluation négociée (ou encore constructiviste) (Guba et Lincoln, 2001). « Au-delà de la technique de mesure, de la description de la réalité et du jugement, il est clair que l’évaluation d’un objet met en scène des acteurs ayant des intérêts différents. Dès lors, l’évaluation, pour être objective, demande qu’une convention soit négociée entre les parties afin que les intérêts de chacun soient pris en considération et respectés. Nous assistons alors à une construction conjointe entre les parties prenantes des paramètres globaux devant régir la finalité et la mise en œuvre de l’évaluation. La fonction de l’évaluation consiste alors à dégager un jugement collectif sur l’objet évalué. Apprécier l’efficacité de l’objet évalué demande que les acteurs soient impliqués dans le processus évaluatif. Le rôle de l’évaluateur relève de la médiation. Il doit agir en tant que négociateur et chercheur ».
La connaissance de ces générations d’évaluation est utile dans la mesure où les entreprises d’économie sociale cherchent de plus en plus à « adapter la méthode évaluative aux caractéristiques et aux besoins spécifiques de leurs organisations », à « atténuer les problèmes découlant d’une contractualisation mettant en scène des acteurs inégaux » et à « utiliser l’évaluation pour démontrer la légitimité, la pertinence et l’utilité d’un mode d’intervention qui, bien que désiré par la population, est partiellement reconnu par l’État et faiblement pris en compte par le marché » (Fontan, 2013, p. 3). Ainsi, le recours accru à une évaluation de cinquième génération permettrait de sortir de l’évaluation spontanée, de dépasser le bilan, d’intérioriser la pratique évaluative et de s’approprier politiquement et éthiquement l’évaluation (Fontan, 2013, p. 20‑21).
C’est au cours des années 1960-70 que l’évaluation s’est véritablement professionnalisée (Duclos, 2007, p. 102 ; Hogan, 2007, p. 6 ; Rossi, Lipsey et Freeman, 2003, p. 9 ; Zappalà et Lyons, 2009, p. 6), et c’est cette époque en particulier qui nous intéresse.
Cette professionnalisation est notamment marquée par une systématisation des représentations et des termes employés, tel que le modèle logique, qui donnera lui-même naissance, dans les années 1990, à la théorie du changement. Cette approche de modélisation, qui consiste à décortiquer l’intervention d’une organisation en activités et en changement attendus et observés, constitue le squelette de la plupart des méthodes liées à l’évaluation des effets aujourd’hui.
C’est aussi dans ce contexte que le modèle intersectoriel du Québec de l’ISQ (Institut de la statistique du Québec) a été développé à la fin des années 1960. C’est également en réaction à la hausse d’investissements par le gouvernement et conséquemment à une demande pour de l’information sur les résultats et la désirabilité de ces investissements que s’est développée l’analyse coût-avantage (ACA). Bien qu’elle n’ait pas été conçue à cette fin, on constate aujourd’hui que cette technique est parfois applicable à l’évaluation des activités et des effets de plus petites organisations qui relèvent de l’économie sociale. En effet, l’ACA aspire à prendre en considération tous les coûts et les avantages d’une intervention, peu importe si ceux-ci sont traditionnellement négociés sur le marché (auquel cas on peut plus facilement établir un prix) ou non. Trelstad (2014, p. 585) estime d’ailleurs que c’est la combinaison de l’évaluation traditionnelle et de l’ACA qui est à l’origine de la mesure d’impact social contemporaine.
Aujourd’hui, le domaine de l’évaluation a progressé sur certains aspects et dispose notamment de sa propre terminologie qui, malgré la persistance d’une certaine confusion entre les auteurs et les traductions (Marceau et Sylvain, 2014), tend à se stabiliser. Plusieurs de ces définitions peuvent être consultées dans notre glossaire.
Selon Mortier (2014, p. 3), « l’insistance récente sur l’importance de l’évaluation de l’impact social » s’inspire non seulement de « l’évaluation des politiques publiques » mais aussi, « concomitamment, [de l’évaluation des] associations principalement financées par les pouvoirs publics pour des missions d’intérêt général. C’est notamment le cas des organismes de coopération au développement qui sont invités depuis de nombreuses années à évaluer leurs pratiques, leurs résultats et leurs impacts » (p. 3). La section suivante présente comment se sont développées les pratiques d’évaluation d’organisations actives dans les milieux du développement international et du développement durable.
Duclos, H. (2007). Évaluer l’utilité sociale de son activité: Conduire une démarche d’auto-évaluation. Paris (167 rue du Chevaleret, 75013) : Agence de valorisation des initiatives socio-économiques (AVISE).
Fontan, J.-M. (2013). L’Évaluation de Cinquième Génération, une Innovation Sociale Appropriée a l’Économie Sociale. Ciências em Debate, 1(1), 1‑34.
Guba, E. G. et Lincoln, Y. S. (1989). Fourth generation evaluation. Sage.
Guba, E. G. et Lincoln, Y. S. (2001). Guidelines and checklist for constructivist (aka fourth generation) evaluation. Retrieved January, 23, 2010.
Hogan, R. L. (2007). The Historical Development of Program Evaluation: Exploring Past and Present. Online Journal for Workforce Education and Development, 2(4), 1‑14.
Madaus, G. F., Stufflebeam, D. et Scriven, M. S. (1983). Program evaluation. Dans Evaluation models (p. 3‑22). Springer.
Marceau, R. et Sylvain, F. (2014). Dictionnaire terminologique de l’évaluation : politiques, programmes, interventions : la dimension conceptuelle. Québec : Les Éditions GID.
Mortier, Q. (2014). Évaluation de l’impact social: de quelques clarifications et craintes. Solidarité des Alternatives Wallonnes et Bruxelloises (SAW-B).
Rossi, P. H., Lipsey, M. W. et Freeman, H. E. (2003). An Overview of Program Evaluation. Dans Evaluation: A systematic approach (Sage, p. 1‑30). Sage publications.
Trelstad, B. (2014). The Elusive Quest for Impact: The Evolving Practice of Social-Impact Measurement. Dans New Frontiers of Philanthropy: A Guide to the New Tools and New Actors that Are Reshaping Global Philanthropy and Social Investing (p. 583‑603). Oxford University Press. doi:10.1093/acprof:oso/9780199357543.001.0001
Vedung, E. (2010). Four Waves of Evaluation Diffusion. Evaluation, 16(3), 263‑277. doi:10.1177/1356389010372452
Zappalà, G. et Lyons, M. (2009). Recent approaches to measuring social impact in the Third sector: An overview. Centre for Social Impact Sydney. Repéré à http://www.socialauditnetwork.org.uk/files/8913/2938/6375/CSI_Background_Paper_No_5_-_Approaches_to_measuring_social_impact_-_150210.pdf
