L’évaluation

1. Qu’est-ce que c’est ?

Ø C’est mesurer l’écart entre les résultats obtenus et les résultats espérés.

Ø C’est aussi un travail sur les valeurs.

Contrairement à ce que l’on pourrait penser, l’évaluation n’est pas si objective que cela. Quand on évalue on donne de la valeur (valoriser) en fonction de ses propres valeurs, et nous n’avons pas tous les mêmes valeurs.

C’est donc par un débat sur les valeurs fondamentales que commence le processus d’évaluation, un  » outil de dialogue » au service du projet [1]

2. Quel est l’intérêt de l’évaluation ?

Ø Avoir un regard extérieur sur ce que l’on fait (ex-valuant)

Ø Améliorer son action pour la prochaine fois

Ø Mettre de l’ordre dans les différentes étapes du projet

Ø Clarifier et hiérarchiser les objectifs

L’évaluation dans la conception du projet, c’est lui donner une colonne vertébrale. Elle permet d’établir le projet dans ce dialogue entre question-réponse :

Quels sont mes objectifs en général ?

Quels résultats je souhaite obtenir suite à cette action précisément ?

Comment faire pour y arriver ?

3. Comment évaluer ? Aïe Aïe Aïe !!!

Entre évaluer à vue de nez en fin de projet et vouloir tout évaluer à tout moment, on doit faire des choix :

Ø choisir l’objet sur lequel va porter l’évaluation,

Ø Choisir l’outil le plus approprié[2] à vos attentes, celui qui vous tente, qui fait plaisir !

à 1. Relier l’action à l’idée qui a vu naître le projet : évaluer pour mieux l’organiser

Une évaluation répond à une demande précise sur le sujet à évaluer : sur une photo prise[4], parce qu’on a décidé avant de l’angle de vue, du cadrage, de la distance et de l’objectif. L’évaluation ne peut répondre qu’aux questions posées.

A chaque évaluation il faudra rédiger sa grille de questions : tout est là !  

Il n’y a pas de méthode unique, un kit prêt à appliquer, mais des choix à faire :

Ø Evaluer quand ? avant, pendant, à la fin, et après le projet

Ø Pourquoi ?

Ø Qui évalue ? auto-évaluation, évaluation interne ou externe ?

Ø Pour qui ? : quels sont les acteurs concernés, leurs motivations et leurs intérêts ?

Ø Evaluer quoi ? les actions ? les acteurs ? les systèmes ? l’impact (sic) ?

Evaluer par rapport à quoi ? à C’est construire les données…

à 2. Pour bien définir l’objet évalué, on va distinguer entre 3 niveaux¹ de questions :

1. les finalités : Formulées en termes de généralité, elles sont souvent des orientations humanistes; On ne peut les atteindre mais on peut les nommer et les partager. Une association ou un groupe de travail se réunit autour des mêmes grandes finalités. Elles répondent à la question : Agir pour, vers quoi ?

1. les intentions pédagogiques répondent à la question : « Quels résultats je vise ? » et vont définir la position du formateur envers son public de formés. Ainsi énoncées (souvent en verbes) : le formateur  va « tout mettre en œuvre pour que… » vers le résultat souhaité  = Sensibiliser, informer, mobiliser, impliquer…

1. les objectifs pédagogiques répondent à la question : « comment faire ? » et vont se définir en fonction du formé; Ils sont moins généraux et se formulent en objectifs opérationnels, spécifiques et intermédiaires.

Cette hiérarchie s’opère en fonction de qui parle et à quel niveau :

– l’organisation sur les finalités générales,

– le formateur sur ses intentions (résultats visés & actions à mener) pour mettre en œuvre les finalités de l’organisation

– et le formé sur ce qu’il attend, ce qu’on attend de lui après l’action…

à 3. Réunir des analyses et mesurer des indices de satisfaction : critère et indicateurs[5]

– Le critère permet de regarder l’objet à évaluer sous un angle bien précis et répond à la question « Quel aspect vais-je  évaluer ? ». Il permet de déterminer cohérence, pertinence, efficacité[6]… le vrai, le juste, le bon… Le critère est un principe abstrait ! Pour nos projets d’EAD, on cite souvent les critères de dynamique d’équipe, vitalité du partenariat, & surtout la participation (des jeunes[7])…à le tableau de bord de son véhicule

– L’indicateur répond à la question « A quoi je vois que…(le critère est rempli)? » et donne des indices quantitatifs et qualitatifs pour mesurer le critère; Un indicateur sera concret, et il y a plusieurs  indicateurs par critère; Ainsi, le nombre de présents aux réunions, la qualité des travaux et les responsabilités prises par les jeunes sont des indicateurs de leur participation. à le nombre de jauges…  ?

La définition des questions et des thèmes, celle des termes de référence et du cahier des charges, le choix et la construction des outils d’évaluation, le recueil d’informations et leur traitement, établir un premier diagnostic, qui est restitué et présenté, confronté aux avis des participants, la rédaction du rapport final (qui émet quelques recommandations), le suivi de l’après évaluation…

Mais personne ne vous demande de tout faire, tout de suite et tout seul …

1. Validité de la problématique (dans le domaine du développement) ;

2. Validité du public comme facteur de résolution du problème ou vecteur de changement ;

3. Qualité des outils et méthodes de communication adopté-e-s ;

4. Audience (quantité & qualité des publics) touchée par les outils ;

5. Effets induits par les coutils et

6. par les méthodes éducatives utilisées ;

7. Validité des caractéristiques attribuées au public visé par la démarche ;

8. Changement des représentations, attitudes & comportements sur le domaine de développement, «passage de l’état A initial  à l’état B recherché»

L’évaluation ne permet pas de prendre une décision (decision taking) sur les résultats de l’évaluation… mais de se faire une opinion fondée (decision making) sur son action.

Ce sont les retombées de l’évaluation qui sont intéressantes …

Le nombre de fois où l’on s’y réfère (pour améliorer son action) prouve sa qualité !

Quelques valeurs inhérentes aux grandes finalités de l’EAD :

Solidarité internationale, Paix et Fraternité, Considérer l’autre comme responsable et acteur  autonome, Respect de l’environnement, Réciprocité, Partenariat, Droits de la personne, Ethique et transparence, Non marchandisation (non appel de fonds comme objectif de l’action), Diversité culturelle (multi et inter-culturel)…

Quelques objectifs généraux (=AGIR pour/vers)

– Promouvoir des valeurs et des attitudes solidaires dans la communauté vers laquelle le projet est dirigé

– Incorporer la démarche globale de l’EAD :

et quelques objectifs spécifiques : (= que faire ?)

Montrer l’interdépendance des phénomènes du développement, Proposer des clés d’analyse et d’interprétation de ces phénomènes, Démonter les stéréotypes sur le Nord et le Sud et Lutter contre les clichés négatifs ou misérabilistes, Proposer des formes d’engagement et de coopération solidaires

Quelques uns des groupes- cibles, dans l’éducation formelle : étudiants, élèves et enseignants, et toute la communauté éducative au sens large (parents, pouvoirs organisateurs, autorités locales, syndicats et associations…) et dans la formation d’adultes : formateurs, bénévoles, associations de jeunes, éducateurs, travailleurs sociaux, membres d’ ONG et ASI, associations de migrants et issus de la migration, responsables et personnels d’institutions à impliquer ou sensibiliser

Quelques thèmes d’EAD :

Développement, Droits de l’Homme et DESC, pauvreté, faim, conflits, eau, biens publics mondiaux, femmes et développement, exploitation infantile, asile, déplacés et réfugiés,  commerce équitable; néo-colonialisme, mondialisation,  éthique d’entreprise, développement durable.

Quelques indicateurs par critère :

– faisabilité : diagnostic préalable, planification du processus, cohérence entre les résultats escomptés, le groupe cible choisi, les ressources disponibles

– durabilité, continuité des actions à long et moyen terme

– s’appuyer sur l’expérience, trajectoire de l’organisation, valorisation de l’existant ou l’acquis, qualité et impact des travaux de l’ASI, capacité à travailler en réseau

– pouvoir fédérateur, se constituer en plate-forme d’action, participation large entre acteurs et bénéficiaires, inter-activité entre les acteurs, entre les actions,  travail en réseau

– implication, renforcement des compétences, formation des acteurs et des bénéficiaires en matière de développement, déconstruction de préjugés, force de proposition alternative

– innovation pédagogique, créativité, réactivité aux évènements, adaptation au contexte, au groupe-cible, aux imprévus, transversalité d’usage des outils, stratégies et actions alternatives

– dimension globale (pluri-causalité des phénomènes de développement) et lien global-local

– évaluation des actions par rapport au degré d’approximation qualitative et quantitative aux résultats attendus.

Quelques exemples d’indicateurs négatifs :

– ne promeut pas les valeurs de coopération et d’engagement solidaire sur le plan local et international,

– n’est pas cohérent,

– ne s’adapte pas au contexte,

– renforce préjugés ou stéréotypes de genre ou culturels,

– ne dispose pas de critères pédagogiques (adaptation en termes thématiques et instrumentaux à l’âge et autres caractéristiques des groupes cibles),

– ne s’ouvre pas à la participation du groupe cible propose uniquement des activités ponctuelles et de peu d’intérêt pour le groupe cible,

– vise uniquement le court terme,

– comporte des critères d’évaluation purement quantitatifs, ou portant uniquement sur les activités

Exemples d’indicateurs positifs pour le projet :

– les différents composants deviennent partenaires au sein du projet, les contacts s’associent à l’action,

– les méthodes pédagogiques sont appropriées aux caractéristiques des publics visés,

– des impulsions à l’innovation sont visibles dans la documentation, la méthodologie, les ressources…

– offre de formation et d’appui aux groupes-cibles (avant, suivi, à la fin et après le projet)

– le contact avec les associations, surtout ASI ou OSIM, ONG, syndicats est prioritaire

– conception à (moyen et ) long terme

– prise en compte des questions liées au genre, l’inter-culturalité, l’environnement, les Droit de l’Homme

– espaces de participation pour d’autres associations ou collectifs sociaux,

– Capacité à se mettre en rapport avec le Sud par des échanges, des jumelages…

– Explicitation de critères d’évaluation qualitative (et quantitative) sur les dispositifs, l’organisation et les activités

> Qui et pour qui ?

> Pourquoi ?

> QUOI ? :

> Comment analyser et mesurer pour évaluer ?

1 – Sous quel aspect vais-je regarder ? à définir les critères abstraits qui                                                                 déterminent les principes abstraits pour                                                            examiner le vrai, le juste & le bon

=  le tableau de bord du véhicule pour                                                             savoir s’il est en état de fonctionner

2 – Comment vais-je voir (que le critère est atteint) ?

à définir les indicateurs pour chacun                                                             des critères sélectionnés :

=  lire les jauges du tableau, et                                                                      tenir compte de ce qu’elle indiquent…