7. Utiliser et communiquer les résultats d’évaluation

Résumé : à quel moment la question de l’utilisation et de la diffusion des résultats d’évaluation doit-elle se poser ? Dans bien des cas, c’est lorsque l’analyse des résultats a été complétée que l’on réfléchit de façon plus précise à des publics potentiels et à des utilisations possibles. Dans une certaine mesure, ce sont les résultats qui déterminent l’utilisation qu’on en fera. Nous verrons dans cette section tous les bénéfices qu’il y a à inverser cette logique : c’est l’utilisation que l’on compte en faire qui doit guider toute la démarche d’évaluation, et ce, dès le départ. Cette approche offre la meilleure garantie d’une utilisation optimale des résultats. Mieux, elle postule que c’est l’utilisation qu’on en fait qui détermine la valeur d’une démarche d’évaluation.

L’évaluation axée sur l’utilisation

Introduite il y a une trentaine d’années par Michael Quinn Patton, l’évaluation axée sur l’utilisation s’appuie sur le principe suivant : la valeur d’une évaluation est déterminée par l’utilisation qui en est faite.

Si, au départ, l’idée a pu susciter une certaine controverse, elle a rapidement conquis de nombreux adeptes. Un sondage a été réalisé en 1996 auprès de 564 évaluateurs et évaluatrices et 68 praticiennes et praticiens, tous membres d’associations professionnelles d’évaluation au Canada et aux États-Unis. Les participant·es devaient indiquer s’ils étaient d’accord ou non avec une liste d’énoncés. L’affirmation qui a obtenu le plus grand consensus était : « Les évaluateurs devraient formuler des recommandations à partir de l’étude ». Le second consensus le plus important (71 %) a été généré par l’affirmation suivante : « La principale fonction de l’évaluation est de maximiser les utilisations attendues des données de l’évaluation par les utilisateurs attendus » (Patton et LaBossière, 2012).

Selon cette approche, une évaluation devrait être conçue et menée en tenant compte de son utilisation future, du début à la fin. Cette particularité est importante. Souvent, la question de l’utilisation et de la diffusion se pose une fois que l’analyse des résultats a été complétée. On pense alors à des publics potentiels et à des utilisations possibles. Cette façon de faire peut limiter considérablement la portée des résultats. Voici quelques-unes des critiques les plus fréquentes concernant les rapports d’évaluation :

• le rapport est en retard, les décisions ont déjà été prises ;
• le rapport est très volumineux, personne ne le lira ;
• les questions posées ne sont pas les bonnes ;
• le rapport ne nous dit pas ce qui nous voulions savoir ;
• le jargon rend le rapport ennuyeux et difficile à comprendre (Patton et LaBossière, 2012, p. 146).

Pour éviter ces écueils, il importe de bien comprendre ce que les personnes qui sollicitent une évaluation veulent savoir et quel usage elles comptent faire des résultats. On doit identifier à l’avance quels en seront les véritables utilisateurs et utilisatrices, pour être en mesure de mettre l’accent sur l’utilisation attendue des résultats. 

En effet, pour chaque évaluation, on peut envisager de multiples utilisations possibles. Ce qui implique également une diversité d’utilisatrices et utilisateurs potentiels. À cet égard, on recommande généralement d’identifier « les publics » visés par une évaluation. Mais un public reste une entité plutôt vague et anonyme : on ne peut que présumer de son intérêt et de son éventuel engagement à faire usage des résultats de l’évaluation.

Il importe donc, dès le début, de sortir du général et du vague pour se concentrer sur des cibles spécifiques et concrètes. Les utilisatrices et utilisateurs attendus de l’évaluation, ce sont les personnes ou les groupes qui sont directement concernés par une évaluation. Plus précisément, ce sont les personnes qui pourront y contribuer activement et qui ont l’intention d’utiliser les résultats à des fins clairement définies.

On doit garder à l’esprit que, dans les faits, ce sont des personnes, et non les organisations, qui utilisent les résultats des évaluations. C’est pourquoi on ne peut se limiter à cibler largement des organisations ou des catégories d’individus en tant que destinataires du rapport d’évaluation. Il faut rejoindre, parmi les parties prenantes de l’évaluation, celles qui sont susceptibles de s’intéresser personnellement aux résultats.

On comprendra que cette approche ne détermine aucunement le type d’évaluation, de modèle, de méthode, de théorie, ni même d’utilisation que l’on souhaite mettre en œuvre. Sa particularité est simplement qu’elle vise à assurer une utilisation optimale des résultats.

Pour y arriver, on doit poser les bonnes questions, connaître les vrais besoins d’information, faire coïncider les résultats de l’évaluation avec les moments de prise de décision et travailler étroitement avec les personnes qui souhaitent les utiliser. 

Voici quelques exemples de questions à se poser :

• Pourquoi évalue-t-on ?
• À quoi l’évaluation va-t-elle servir ?
• Les questions d’évaluation portent-elles sur ce qu’on veut vraiment savoir ?
• La démarche nous donnera-t-elle des informations que nous pourrons utiliser ?
• Comment compte-t-on concrètement utiliser les résultats ?
• Est-ce qu’on veut être plus efficaces dans nos actions ? Mieux perçus par la population ?
• Est-ce qu’on souhaite rejoindre une plus grande clientèle ?
• Quels aspects de l’intervention veut-on améliorer ?

Utiliser et diffuser les résultats : plan d’action ou de communication ?

Comme mentionné dans la section « Les stratégies de distinction et d’apprentissage », il y a de nombreuses motivations qui peuvent nous inciter à évaluer les effets de nos interventions. On voudra, par exemple, rendre tangibles les résultats obtenus, démontrer l’impact de nos actions pour les mettre en valeur auprès de différents publics : les utilisateurs et utilisatrices de nos services, nos partenaires ou nos bailleurs de fonds. On peut aussi se questionner sur nos pratiques, vouloir s’assurer que nos actions sont bien en concordance avec les objectifs poursuivis, vérifier que les effets attendus sont bel et bien perceptibles et non simplement présumés.

Que l’évaluation vise la distinction ou l’apprentissage, la diffusion des résultats mérite une attention particulière. Selon l’utilisation attendue, le moment et la façon de les communiquer pourront varier considérablement.

Une diffusion à l’interne vise d’abord à en tirer des apprentissages, à générer des actions pour bonifier les interventions. Dans ce cas, après une phase de collecte de données, lorsque l’analyse est en cours, il est important de partager les résultats de l’évaluation de manière préliminaire avec les parties prenantes concernées pour en discuter.

Les premiers résultats se présentent généralement sous forme de données qui devront être interprétées pour en dégager une portée plus générale. Par exemple : pourquoi observe-t-on les changements attendus dans un cas, mais pas dans un autre ? Si les données recueillies apportent certaines réponses aux questions posées, dans le cas d’évaluations vraiment utiles, elles en soulèveront d’autres également. Et ce sont ces questions, issues des données, qui peuvent alimenter des échanges très stimulants avec les utilisatrices et utilisateurs attendus. Plus la qualité des comptes rendus et des échanges sur les données recueillies sera bonne, meilleures seront les chances que les résultats d’évaluations soient utilisés de manière efficace. 

Il s’agit d’un mouvement circulaire allant de la consultation à l’investigation à la consultation et ainsi de suite :

Source : Bonbright, 2012, p. 9

De plus, en ayant des discussions préliminaires, le point de vue des parties prenantes peut être intégré au rapport final. L’intérêt des utilisatrices et utilisateurs attendus en sera accru et renforcera la validation et l’acceptation des résultats de l’évaluation, ce qui favorisera la mise en œuvre des recommandations et leur intégration aux plans d’action des organisations.

Une diffusion à l’externe a, quant à elle, d’autres visées. Le plus souvent, on voudra d’abord mettre en valeur la portée des actions de l’organisation, souligner les réussites qui la distinguent. Dans ce cas, les stratégies de diffusion feront davantage appel à une planification des communications bien ciblée. Les questions essentielles à se poser seront donc :

• Qu’est-ce que je souhaite communiquer ?
• À qui ?
• Dans quel but ?
• De quelle façon ?

Les réponses aux trois premières questions déterminent la réponse à la dernière. Pour convaincre un bailleur de fonds d’augmenter son soutien, on ne tiendra pas le même discours, autant sur le fond que sur la forme, que pour convaincre une utilisatrice ou un utilisateur potentiel des bienfaits qu’il peut retirer d’un service qu’on lui offre.

Puisqu’il s’agit de diffuser des résultats d’évaluation, on pourrait être tenté de répondre à la première question de la façon suivante : je souhaite démontrer l’impact des actions de mon organisation sur telle ou telle problématique liée à sa mission. Une façon de faire pourrait être, par exemple, de bien mettre en évidence l’importance du problème tout en illustrant, chiffres à l’appui, comment l’organisation contribue de façon significative à en atténuer les effets les plus néfastes.

La rigueur est essentielle, bien sûr, mais elle ne suffit pas. Pour qu’un message laisse une trace durable, il doit toucher différentes cordes sensibles : il faut convaincre, certes, mais aussi frapper l’imagination et susciter des émotions, en particulier lorsqu’on souhaite mettre en valeur des interventions à vocation sociale ou humanitaire.

Il existe une grande variété de techniques, de méthodes ou de stratégies pour communiquer efficacement, selon les différents publics auxquels on s’adresse. Voici quelques ressources qui pourront être utiles à cet égard.

Astuces simples pour mieux communiquer son impact

Cet outil créé par l’Ontario Nonprofit Network (ONN) présente six conseils simples pour communiquer efficacement son impact. Il s’agit de conseils assez généraux s’adressant aux OBNL : 6 Simple Tips for Communicating About Impact (2015). 

Pourquoi et comment partager ses résultats d’évaluation

Le site Internet agirtôt.org, lié au programme Avenir d’enfants de la Fondation Lucie et André Chagnon, aborde clairement la question du partage et de l’utilisation des résultats d’évaluation. 

Des manières originales de communiquer ses résultats d’évaluation

La consultante canadienne Kylie Hutchinson a publié en 2017 A Short Primer on Innovative Evaluation Reporting. Cette publication donne des idées de format pour présenter des résultats d’évaluation et animer des rencontres sur le sujet de manière ludique. 

Visualisation de données

Cet article de Ben Losman, publié en 2018 sur le site de TechSoup Canada, traite de la façon dont on peut mettre les données en image pour en faire une histoire avec des illustrations à l’appui : Visualizing Impact: A Picture Is Worth a Thousand Data Sets

Mise en récit

Le storytelling (mise en récit) est très en vogue, notamment dans le milieu du marketing d’entreprise. C’est un outil de communication particulièrement efficace pour influencer les leaders d’opinion et les décideurs et décideuses. Les histoires construites autour des expériences vécues par des personnes qui bénéficient des services d’une organisation, par exemple, peuvent avoir un impact considérable permettant de mobiliser un large public.

Les sources d’information sur ce thème sont très nombreuses : ce document en présente une bonne synthèse.

En complément, le Social Impact Story Map est un outil qui intègre les grands principes de la mise en récit et propose une démarche en quatre étapes pour raconter une histoire d’impact social.

Pour aller plus loin

• Les stratégies de distinction et d’apprentissage