2. Pourquoi et pour qui évaluer?

• La « démarche » est une activité, un processus, qui implique normalement une collecte puis une analyse d’information. Elle est « systématique » dans la mesure où elle s’appuie sur une méthode.
• L’intervention est une action conduite dans l’intention d’avoir un effet sur la société.
• Pour en savoir plus, consultez le Glossaire.

Peu importe qui est à l’initiative de la démarche d’évaluation, celle-ci peut avoir différentes finalités.

Les introductions à l’évaluation commencent souvent en opposant les finalités sommative et formative.

• L’évaluation sommative est une évaluation dont l’objectif est de porter un jugement sur la pertinence d’une intervention, et de la poursuivre ou de l’interrompre. Elle est généralement réalisée au terme de l’intervention, par des observateurs qui n’ont pas pris part à l’action, ce qui lui procure une certaine neutralité.
• L’évaluation est dite formative si l’objectif est de brosser, pendant la mise en œuvre d’une intervention, un portrait du fonctionnement des activités dans une perspective d’amélioration. Elle a alors tendance à être réalisée en étroite collaboration avec les personnes impliquées dans l’intervention et sa validité sera davantage tournée vers l’interne.

Il existe cependant de nombreuses autres finalités qui s’inscrivent plus ou moins dans cet axe sommatif-formatif. Ainsi, l’évaluation peut aussi être un moyen de :

• Rendre des comptes ;
• Renforcer le pouvoir d’agir des participants ou valoriser la contribution des employés et bénévoles ;
• Contribuer à l’avancement des connaissances ;
• Enfin, particulièrement dans le cas de certaines démarches de mesure d’impact social, faire reconnaitre les résultats de son action, voire constituer un plaidoyer pour légitimer celle-ci et obtenir du financement.

Ces diverses finalités sont reprises dans notre outil d’aide à la prise de décision, au bas de cette page.

À quels besoins ou objectifs les organisations tentent-elles de répondre dans les faits ?

À la fin de 2016, une équipe de KPMG France a mené une enquête auprès de 366 répondants (associations, entreprises sociales, coopératives, bailleurs de fonds) afin de connaître leurs pratiques en matière de mesure d’impact social.

Source : KPMG France. (2017). Baromètre de la mesure d’impact social. p. 13.

Les bailleurs de fonds qui répondaient à cette question ont priorisé les mêmes besoins dans des proportions légèrement différentes : d’abord « améliorer nos activités » (85,7%), puis «rendre des comptes à nos partenaires » (71,4%) et enfin  « communiquer sur notre activité» (50%).

Ce baromètre a été mis à jour en 2018.

En 2021, l’ESSEC et l’Impact Tank ont poussé l’analyse encore plus loin avec le Panorama de l’évaluation d’impact social en France.

En 2022, un portrait des pratiques d’évaluation dans les organismes communautaires au Québec a été publié. Les 302 répondants ont indiqué s’engager dans une démarche d’évaluation pour les raisons suivantes:

• Améliorer nos activités (89,4%)
• Prendre un temps d’arrêt privilégié pour questionner nos pratiques (84,1%)
• Vérifier les effets de notre action (82%)
• Donner un sens à notre action (81,12%)
• Être plus structuré dans nos pratiques (81%)

D’autres sondages peuvent nous renseigner sur les besoins et pratiques des organisations vis-à-vis la mesure d’impact social:

Au Canada

• Imagine Canada – L’évaluation: état des lieux pratiques de mesure et d’évaluation dans le secteur caritatif canadien (2019)
• Demonstrating Value – Social Enterprise Impact Assessment Project: Stakeholder Interviews (2006)
• Imagine Canada – Evaluation Practices in Canadian Voluntary Organizations (2005)

Aux États-Unis

• Innovation Network – State of Evaluation (2016)
• United Way – Agency Experiences with Outcomes Measurement (2000)

En Australie

• Centre for Social Impact – Outcomes Measurement in the Community Sector (2017)
• Centre for Social Impact – The Practice, prevalence and funding of outcomes measurement in the community sector (2016)

Plusieurs acteurs peuvent contribuer à initier une démarche d’évaluation :

• Les gestionnaires d’un organisme (que ce soit le conseil d’administration ou la direction générale) peuvent conclure qu’une évaluation plus systématique de leurs activités serait souhaitable afin de les aider à s’améliorer, à motiver leurs employés, à « clarifier et maximiser leur impact » ou encore à convaincre d’autres parties prenantes de leur pertinence.
• Les bailleurs de fonds peuvent demander une telle démarche de manière plus ou moins contraignante, en l’imposant par exemple comme une condition de financement. Le financement peut dépendre ou non des résultats de l’évaluation, mais dans presque tous les cas une forme de reddition de compte devra être faite.
• D’autres parties prenantes, par exemple les membres, employés, utilisateurs, bénéficiaires ou consommateurs des biens et services rendus par l’organisation, peuvent exercer une certaine pression pour qu’on leur rende des comptes. Cette pression peut concorder avec une volonté interne de mieux communiquer les détails des processus, résultats et impacts associés à l’action de l’organisation.

Gardez en tête que cette section concerne les destinataires de l’évaluation qui ne sont généralement pas les personnes qui réaliseront les évaluations. La réponse à cette nouvelle question dépend de l’approche et de la méthode que vous choisirez.

En se référant au modèle logique, on peut classer divers types d’évaluation en fonction de l’aspect ou du moment de l’intervention qui est étudiée, leur objet.

L’évaluation des besoins vise à déterminer les besoins, compris ici comme la différence entre la situation actuelle et la situation souhaitée.

Il est ensuite possible d’évaluer la pertinence des objectifs (aussi appelé évaluation stratégique). Il s’agit alors de déterminer la justesse du lien entre les objectifs de l’intervention et la nature du problème qu’elle est censée traiter.

L’évaluation de la mise en œuvre (aussi appelée évaluation des processus ou de l’implantation) permet de vérifier si les activités se sont déroulées comme prévues et si les ressources (intrants) et produits (extrants) impliqués sont conformes à ce qui était prévu. Il existe une grande variété d’évaluations liées à la mise en œuvre. Certaines, plus spécifiques, se concentrent surtout sur les activités, d’autres, plus larges, visent à étudier les effets observés en tenant compte du contexte.

L’évaluation de l’efficacité compare les résultats obtenus aux objectifs d’une action.

L’évaluation de l’efficience met en rapport les résultats obtenus avec les ressources (intrants) mobilisées.

L’évaluation des résultats (aussi appelée évaluation du rendement) concerne à la fois les extrants et les effets résultants de l’intervention.

L’évaluation des effets concerne l’ensemble des effets, c’est-à-dire des conséquences attribuables à une intervention., qu’ils soient directs, intermédiaires ou ultimes, sur les cibles ou hors cibles, intentionnels ou non. En accord avec la vision que nous avons introduite dans la section « Définition et grandes étapes », cette évaluation peut être comprise comme un synonyme d’évaluation d’impact.

Au-delà des finalités et des destinataires, l’évaluation peut être faite dans des perspectives qui varient. Il existe une vaste littérature sur les différentes approches en évaluation. Cette liste ne vise donc pas à être exhaustive, mais à couvrir la plupart des concepts auxquels les gestionnaires d’entreprises d’économie sociale sont susceptibles d’être confrontés.

On peut situer les personnes qui mènent l’évaluation en fonction d’un axe externe – interne.

• Une évaluation menée à partir de l’externe implique la participation d’une personne ou d’une équipe indépendante des personnes chargées de l’intervention.
• À l’inverse, un processus mené à l’interne est réalisé par les responsables et les agents de l’action.

On peut aussi organiser les approches évaluatives autour d’un axe directif – participatif. On tend à associer externe avec directif et interne avec participatif, mais cette conjonction n’est pas automatique.

• Dans le cas d’une évaluation directive, la personne qui évalue adopte un rôle d’expert, neutre et distancé de l’objet évalué, et prend seule les décisions. Le rôle des autres acteurs se limite à celui de source d’information.
• À l’opposé, dans une évaluation participative, les parties prenantes du projet, des membres de l’équipe de projet jusqu’aux membres de la population concernée en passant par les bailleurs de fonds, ont l’opportunité de fournir un retour sur le projet et, si approprié, d’influencer son développement et/ou de nouveaux projets. Ce second type d’approche peut être privilégié pour des raisons pragmatiques (favoriser l’utilisation des résultats), politiques (souci démocratique de participation) et épistémologiques (le jugement ultimement porté est construit à partir d’une pluralité de points de vue). Aussi, l’évaluation participative peut se décliner en différentes catégories :
  • L’évaluation pratique est un type d’évaluation participative qui sert un objectif précis comme résoudre un problème particulier, améliorer un programme ou éclairer une décision.
  • L’évaluation émancipatrice sert explicitement à favoriser le pouvoir d’agir (empowerement), l’évaluateur joue alors le rôle d’animateur et ce sont les participants qui prennent les décisions.
  • L’évaluation négociée, utilisée dans le contexte de l’évaluation d’organismes communautaires au Québec, désigne une évaluation où l’organisme est reconnu comme partenaire de son bailleur de fonds, le gouvernement.
• Finalement, l’évaluation évolutive soutient l’apprentissage dans des contextes complexes et changeants en proposant une rétroaction sur le projet en temps réel.

Pour en savoir plus sur :

• L’évaluation participative, consultez le MOOC offert par Dynamo et HEC Montréal.
• L’évaluation évolutive, consultez la Fiche de Communagir et la formation offerte par Innoweave.