L’évaluation et la mesure d’impact posent plusieurs défis pratiques. Ces défis sont importants à comprendre puisque toute personne qui se lance dans cette activité est susceptible d’y être confrontée.
Par exemple, l’Agence Phare (2017, p. 46) a recensé plusieurs freins à la mesure d’impact social. Parmi eux, le manque de connaissances et de compétences ou certaines résistances. Mais le plus souvent, ce sont les ressources qui font défaut : l’argent pour financer l’expertise et le travail nécessaires, le temps pour bien faire les choses et pour impliquer l’ensemble des parties prenantes.
Source: Agence Phare (2017, p. 46)
Les coûts, principale barrière à l’évaluation et la mesure d’impact
Les coûts de l’évaluation d’impact (le temps consacré par la direction, les employés et les parties prenantes, mais aussi les sommes à débourser pour recourir à une expertise externe) constituent un obstacle important à sa pratique. Selon KPMG France (2017, p. 28, 34), il s’agit de la principale « barrière à l’entrée » invoquée par les répondants qui ne font pas de mesure d’impact social (56% d’entre eux), ou qui ont rencontré cette difficulté (54%).
Source : KPMG. (2017). Baromètre de la mesure d’impact social. France: KPMG.
C’est aussi la conclusion tirée par Seivwright et al. (2016, p. 3, 6) dans le cas du secteur communautaire australien, où 80% des organismes interrogés pensent que le manque de financement est un obstacle à la mesure des résultats, bien loin devant d’autres problèmes potentiels comme le manque d’engagement des employés et utilisateurs ou encore le manque d’outils standardisés.
Better Evaluation (2017) nous informe que les coûts d’une évaluation (mesure d’impact ou autre) correspondent généralement à 5 à 20% des coûts totaux du projet. L’expérience du Social Innovation Fund (SIF), dont l’un des objectifs est de favoriser le développement d’interventions sociales fondées sur des données probantes en mesurant l’impact, nous apprend qu’il faut prévoir environ 15% du budget total pour la seule évaluation. Et ce pourcentage monte à 25% dans le cas d’une étude expérimentale (RCT) produisant des preuves fortes (Zandniapour et Vicinanza, 2013). L’expérience du SIF est cependant plutôt atypique: au Québec et au Canada les bailleurs de fonds ne dédient généralement pas plus de 10% des coûts totaux d’un projet à son évaluation. Les acteurs financiers de l’investissement d’impact, qui proposent des prêts plutôt que des subventions, n’ont, pour leur part, pas l’habitude de défrayer les frais d’évaluation des organismes qu’ils financent.
Par ailleurs, ne négligeons pas le temps qui doit être consacré à la collecte de données et qui requiert la disponibilité des personnes responsables de l’évaluation, mais aussi de l’ensemble des parties prenantes impliquées dans le processus. On pense notamment aux entrevues ou aux discussions portant sur l’analyse des résultats.
Comment réduire les coûts sans pour autant sacrifier la rigueur de l’exercice?
Parfois, le budget disponible pour réaliser une évaluation sera inférieur à ce qui était anticipé, voire réduit en cours de route. Il faut alors se débrouiller pour tout de même produire quelque chose de crédible (Bamberger & Rugh, 2009, p. 170).
Les différentes techniques de cueillette de données n’entraînent pas toutes les mêmes coûts. Une série d’entrevues ou un focus group coûteront moins cher que la mise en place d’une étude de type RCT (essai randomisé contrôlé). L’analyse des données existantes sera bien moins onéreuse que la mise en place de nouveaux systèmes de collectes de données.
Il existe aussi des raisons méthodologiques à préférer certaines stratégies de cueillette et de traitement des données à d’autres. Une approche quantitative ne génère pas forcément le même type d’informations qu’une approche plus qualitative. Un questionnaire écrit ne génère pas nécessairement le même niveau de détail qu’une entrevue individuelle.
La plupart des manuels de méthode qualitative et quantitative pourront vous en dire plus sur les différents outils de collecte de données comme le sondage, le dénombrement, l’étude de cas, les groupes de discussion, l’observation et l’analyse de données administrativesé
Deux ressources pertinentes en ligne à cet effet :
- Research Methods Knowledge Database : un manuel en ligne (en anglais)
- What works: un site dédié aux OBNL qui souhaitent mesurer leur impact et qui décrit ces outils ainsi que leurs forces et faiblesses (en anglais)
Prioriser les données à colliger
Au-delà des aspects méthodologiques, nous retenons un grand principe pour vous aider dans la réduction des coûts : Prioriser le plus tôt possible ce que vous souhaitez évaluer.
Pour la plupart des entreprises d’économie sociale, l’aspect qui fera le plus monter la facture dans une évaluation de l’impact, c’est la collecte et la reconstitution de données pertinentes. Si vous accumulez déjà celles-ci de manière ordonnée et intelligente, en les intégrant à votre gestion et vos pratiques, comme le ferait une organisation apprenante, vous êtes dans la bonne voie.
On ne peut trop insister sur l’importance de prioriser, étant donné qu’il est impossible de tout évaluer. Nous vous suggérons donc, dès lors que vous vous intéressez à l’évaluation de l’impact de vos activités, de faire un modèle logique ou une théorie du changement illustrant votre action et les hypothèses de liens causaux qui la sous-tendent. Cet exercice devrait vous permettre de cibler l’information que vous connaissez déjà ainsi que celle que vous avez besoin de connaître. Il sera alors possible, en considérant les sources de données à votre disposition, de choisir les aspects à évaluer en premier lieu. Autrement dit, il faut circonscrire la quantité de données à collecter et à analyser. Dans le jargon de l’entreprise, ces quelques aspects priorisés sont appelés des key performance indicators (KPI).
Qui doit payer pour l’évaluation?
Plusieurs entreprises d’économie sociale obtiennent du financement de la part des grands bailleurs de fonds, comme les fondations et les administrations publiques, sous forme de dons ou encore en échange de services rendus. Ces bailleurs de fonds peuvent alors être en position de demander à l’entreprise d’économie sociale une forme de reddition de comptes, d’évaluation ou de mesure d’impact. Qui doit alors prendre en charge les coûts encourus? Est-ce que les bailleurs de fonds devraient dédier un certain montant de leur financement spécifiquement à l’évaluation ou à la mesure d’impact? Devraient-ils embaucher eux-mêmes les personnes qui réaliseront ou coordonneront cette évaluation? Le cas échéant, sont-ils en droit de formuler certaines exigences quant au processus d’évaluation (évaluer qui, quoi et comment?) ?
Le Social Innovation Fund (SIF), aux États-Unis, a pour objectif de financer des organisations à vocation sociale dans les domaines de la santé, de l’éducation et de la lutte à la pauvreté. Le SIF veut uniquement financer des interventions pour lesquelles des preuves préliminaires d’efficacité (par exemple une enquête auprès des participants au début et à la fin de l’intervention) existent déjà, et amener ces organisations à générer des preuves élevées d’efficacité de leur intervention (par exemple avec la réalisation d’essais randomisés contrôlés dans plusieurs contextes). Sachant qu’il s’agit d’exigences très élevées en matière d’évaluation, le SIF a mis sur pied un centre d’expertise, a produit des outils et alloué des budgets spécifiques pour financer les études d’impact requises. Le SIF est également impliqué dans le design de l’évaluation proposée et juge si celui-ci est suffisamment rigoureux ou pas.
Aux Îles-de-la-Madeleine, une table de concertation en persévérance scolaire souhaitait encourager les organisations membres à s’investir davantage dans des activités d’évaluation. Le service du développement social des Îles a donc financé une formation collective sur l’évaluation ainsi qu’une banque d’heures de consultation avec une professionnelle en évaluation pour chaque organisation.
La réponse à ces questions dépend de plusieurs paramètres propres à votre situation et de la réponse à des questions comme : Qui est à l’origine de la demande d’évaluation? Qui dispose des ressources requises?
Nous croyons cependant, au TIESS, que lorsque les bailleurs de fonds exigent des évaluations, ce sont eux qui devraient prévoir une part de budget pour en couvrir les frais. Autrement dit, ces coûts ne doivent pas venir gruger le budget initialement alloué à l’initiative.
Pour vous guider dans le processus de négociation et de coconstruction d’une évaluation mutuellement bénéfique pour l’entreprise et le bailleur de fonds, deux guides sont à votre disposition :
Les coûts et avantages de l’évaluation
Dans un contexte où tous s’entendent pour dire que l’évaluation et la mesure d’impact sont importantes, mais où peu d’organismes mettent de côté les fonds requis pour s’y engager sérieusement, il importe se demander : est-ce vraiment si important? La vérité est qu’il y a à la fois des coûts et des avantages à se lancer dans une démarche d’évaluation. Lorsque les organisations décident (ou non) de se lancer dans une telle démarche, elles font implicitement ce calcul. Quand viendra votre tour, assurez-vous de le faire de la manière la plus consciente et éclairée possible.
Agence Phare. (2017, mars). L’expérience de l’évaluation d’impact social. Pratiques et représentations dans les structures d’utilité sociale.
Bamberger, M., & Rugh, J. (2009). Une stratégie pour composer avec les contraintes inhérentes à la pratique. Dans V. Ridde & C. Dagenais (Éd.), Approches et pratiques en évaluation de programme (p. 159‑175). Montréal, QC: Les Presses de l’Université de Montréal.
Better Evaluation. (2017). Determine and Secure Resources. Consulté 10 janvier 2017, à l’adresse http://betterevaluation.org/plan/manage_evaluation/determine_resources
KPMG. (2017). Baromètre de la mesure d’impact social. France: KPMG.
Seivwright, A., Flatau, P., Adams, S., & Stokes, C. (2016). The future of outcomes measurement in the community sector (Bankwest Foundation Social Impact Series No. 6). Sydney, Australia: Centre for Social Impact.