Quand évaluer?
Il arrive souvent qu’on réfléchisse à l’évaluation quand un projet touche à sa fin. On gagne pourtant à s’y pencher plus en amont, pour plusieurs raisons.
La contrainte temporelle la plus fréquente se produit lorsque l’évaluateur n’est appelé qu’une fois le projet déjà bien avancé, [il] ne dispose alors que d’une période jugée beaucoup trop courte pour faire l’évaluation, tant en termes de perspective longitudinale durant la vie du projet qu’en ce qui concerne le temps alloué pour effectuer l’évaluation de fin de projet. (Bamberger et Rugh, 2009, p. 170)
Une évaluation entamée trop tardivement, par exemple à la fin d’une intervention, interdit le déploiement de certaines méthodologies. On pense par exemple à «l’utilisation d’un modèle d’évaluation pré-test/post-test avec une mesure des données de base pouvant être répétée, une fois le projet mis en œuvre » (Bamberger et Rugh, 2009, p. 170).
Lorsque l’évaluation fait l’objet d’un mandat unique limité dans le temps, les personnes responsables de l’évaluation devront trouver des stratégies pour simuler l’état pré et post intervention, par exemple en se fiant aux traces laissées par les responsables du projet ou en demandant aux participants de se rappeler quelle était la situation avant la mise en place du projet. Hélas, ce genre de méthode génère certains biais, ce qui la rend plus faible que d’autres modèles quasi-expérimentaux (Bamberger et Rugh, 2009, p. 171)
À l’inverse, une évaluation qui doit être remise dès la fin de l’intervention pourra difficilement porter sur l’impact, si l’on conçoit celui-ci comme l’ensemble des effets durables, attendus ou non, découlant d’une intervention (Cekan, Zivetz et Rogers, 2017). Ce n’est qu’après plusieurs mois—voire années—que certains des effets à long terme se manifestent.
Enfin, si on s’intéresse aux effets, comprenons qu’une évaluation basée sur des données qui évoluent dans le temps est préférable à une évaluation qui prend une « photo » à un moment donné.
Il est donc préférable de réfléchir à l’évaluation dès la phase de planification du projet. Même si cela peut vous sembler plus laborieux au départ, le recours à un modèle logique ou à une théorie du changement, accompagné d’objectifs clairs et mesurables rendra l’évaluation beaucoup plus pertinente, notamment en vous forçant, vous et vos partenaires, à bien réfléchir, dès le départ, aux résultats visés et à la manière de les atteindre.
Évidemment, le moment de l’évaluation dépend de votre objectif. Le tableau suivant vous offre quelques conseils à ce sujet.
Quoi évaluer?
Les questions du quand et du quoi évaluer sont indissociables. Par conséquent, même si la question est déjà partiellement traitée dans la section Pourquoi évaluer? Pour qui? Quelle approche?, il est utile de le répéter : il faut avoir des objectifs et attentes réalistes à l’égard de ce que l’évaluation peut apporter.
Si, par exemple, vous réalisez des ateliers de sensibilisation dans des écoles primaires afin d’inciter les jeunes filles à mener des carrières scientifiques, c’est seulement 10, 15 ou 20 ans plus tard que vous pourrez connaître l’impact ultime de votre intervention. Et même si un jour vous parvenez à suivre une cohorte suffisamment longtemps pour avoir de l’information à cet égard, il est évident que votre intervention ne sera qu’un facteur parmi d’autres ayant contribué aux résultats observés. Il y a alors lieu de se questionner sur les destinataires et l’utilité de cette démarche.
Il est donc préférable, dans l’évaluation de vos effets, de vous en tenir à ce qu’on pourrait qualifier de zone d’imputabilité. On entend par là des résultats sur lesquels vous avez une influence et pour lesquels vous pouvez raisonnablement être tenus responsables.
Pour reprendre l’exemple des étudiantes de niveau primaire, vous ne pourrez jamais démontrer qu’une participante a choisi une carrière scientifique grâce l’un de vos ateliers. Mais vous pourrez évaluer sa disposition face à ce type de métier avant et après l’intervention et faire l’hypothèse qu’une perception plus positive, attribuable à votre intervention, mènera, en moyenne, davantage de filles à choisir ce type de carrière.
En conclusion, concentrez vous sur des éléments que vous pouvez démontrer. Même si la réduction de la pauvreté d’une population est votre objectif ultime, on sait qu’une petite organisation ne peut pas arranger ça toute seule. Trouvez des effets intermédiaires sur lesquels vous pouvez agir. Documentez votre contribution à la réalisation de ces effets. Expliquez pourquoi il est raisonnable de penser que ces effets intermédiaires mèneront à une réduction de la pauvreté. Appuyez-vous, si possible, sur des études scientifiques sur le sujet et fournissez des exemples à votre auditoire.
Bamberger, M. et Rugh, J. (2009). Une stratégie pour composer avec les contraintes inhérentes à la pratique. Dans V. Ridde et C. Dagenais (dir.), Approches et pratiques en évaluation de programme (p. 159‑175). Montréal, QC : Les Presses de l’Université de Montréal.
Cekan, J., Zivetz, L. et Rogers, P. (2017). Sustained and Emerging Impacts Evaluation (SEIE). Better Evaluation. Repéré 1 mars 2017, à http://www.betterevaluation.org/en/themes/SEIE