Les questions posées et les réponses proposées étaient-elles claires et simples ? La première réunion du panel doit conduire les experts à une parfaite compréhension de leur rôle dans l'évaluation. Il est recommandé de doter chacun des moments d'un code d'identification (qui peut inclure une indication chronologique) permettant de faciliter son report dans les tableaux d'analyse (voir l'étape 3). Les évaluateurs doivent veiller à ne pas consacrer tout leur temps de mission à rencontrer les institutionnels aux dépens des bénéficiaires. La rapidité de mise en œuvre d'un panel d'experts représente un des avantages de cet outil. Elle peut être encore utilisée comme outil de négociation pouvant alimenter les débats autour des choix des priorités stratégiques d'intervention. Outils participatifs - 2nd Degré D'animation Avec une posture d'animateur d'activité mais surtout de projet d'instance A remettre dans cette perspective. Par exemple, l'entretien individuel est un outil de collecte utilisé dans la plupart des outils d'évaluation. trouver les coordonnées des personnes à rencontrer. Dans certaines méthodes, cette liste peut être enrichie au fur et à mesure par un processus de réflexion itératif qui permet à la fois de choisir la solution optimale (ou consensuelle selon les cas) et d'affiner le contenu de ces actions. L'analyse multicritère implique la contribution de plusieurs catégories d'acteurs : le groupe de négociation / jugement, le facilitateur, l'assistant technique, et les experts. Avant de procéder au test du diagramme provisoire, il convient d'identifier les acteurs qui ont, à titre principal ou secondaire, contribué à la formulation des objectifs (rédaction du chapitre, apports sectoriels, participation à des réunions d'élaboration, etc.). Ces outils ne sont pas toujours les mêmes suivant qu'il s'agit d'une analyse pour une entreprise, une organisation, un territoire ou un secteur, et suivant les contextes dans lesquels l'analyse SWOT s'inscrit (ex : définition de stratégie en évaluation). définir rapidement, les différents types et modèles d'indicateurs existants, et les caractéristiques que doivent avoir les indicateurs. Son but est de traiter les données recueillies lors de la phase de terrain et de relier au maximum les effets aux causes des choses observées. La rémunération de spécialistes de l'animation de groupes, si l'évaluateur lui-même n'est pas en mesure de le faire, La formation éventuelle d'animateurs locaux, La rémunération éventuelle d'intermédiaires pour organiser des réunions à longue distance, Les frais de déplacement des participants, Les frais de restauration, logistique, location de salles…. Les conséquences du choix du président sont très importantes, son rôle étant primordial dans le fonctionnement du groupe. Bien qu'avant tout destinée à la planification, utilisée en évaluation, l'analyse SWOT sert à vérifier que la stratégie mise en place constitue une réponse satisfaisante à la situation décrite par l'analyse. Dans ce cas, il est nécessaire d'avoir recours à un ou plusieurs experts compétents en la matière. Il n'existe pas de méthode de travail unique et le panel d'experts est libre de s'organiser comme il l'entend. définir des critères et méthodes pour quantifier certains éléments qualitatifs. Insuffisance/non précision des informations. ). qui ont des situations institutionnelles différentes, afin d'éviter l'écueil d'une vision initiale trop centrée sur le point de vue des institutionnels en charge de la définition et du pilotage de cette politique. Cependant, le risque d'aboutir à des résultats peu satisfaisants demeure. La dynamique du groupe dépend de sa composition, et la présence d'une ou deux personnes prenant aisément la parole et incitant les autres à se joindre aux débats peut favoriser la dynamique. Si elles peuvent poser un problème (en portant, par exemple sur le revenu, la pratique religieuse ou l'opinion politique), les placer dans le corps du questionnaire. est conforme aux règles (application des textes de référence, lesquels, à quelle fréquence ont-ils changé, règles de suivi-contrôle, …). L'analyse doit s'assurer de la reproductibilité des conclusions, c'est-à-dire avoir la certitude que n'importe quel autre évaluateur, en présence des mêmes informations aurait conclu la même chose. Les responsables et partenaires de la politique et du programme évalué. Il ne s'agit ni de parler à sa place, ni de le laisser poursuivre son propos selon son propre fil directeur. Le guide d'entretien est appliqué, ici, de façon stricte. Il s'agit notamment des versions successives des documents de base (on s'assurera de leur datation exacte) ainsi que des diverses contributions et réactions dont ils ont fait l'objet de la part de services de la Commission, des partenaires nationaux et d'autres donneurs (États Membres en particulier). Quand les documents stratégiques relatifs à la réduction de la pauvreté (qui peuvent porter différents noms mais qui sont toujours en relation avec les CSLP / PRSP) et les rapports périodiques sur ce sujet existent dans les pays, ils peuvent fournir des séries d'indicateurs proches ou complémentaires à ceux fournis par la base de données des Indicateurs Mondiaux de Développement et permettent parfois de mieux décrire certaines spécificités locales. Trois raisons peuvent expliquer l'absence de réponse d'un répondant : Cette question concerne principalement les informations à caractère sensible, telles que : Dans ces cas, la personne interrogée peut vouloir "maquiller" le sujet ou l'éviter. Dans la disposition horizontale, le diagramme se lit de droite à gauche ou de gauche à droite. Une visibilité de l'efficacité d'une intervention. Get Animate as part of Adobe Creative Cloud for just, الشرق الأوسط وشمال أفريقيا - اللغة العربية, Southeast Asia (Includes Indonesia, Malaysia, Philippines, Singapore, Thailand, and Vietnam) - English. de mauvaises pratiques (ex : mauvaise gestion des budgets, déficit de participation de la société civile aux décisions publiques, etc.). Elle peut donc également avoir sa place au moment de la rédaction des CSP (Country Strategy Paper) et lors de leur évaluation. La formulation et le classement des problèmes a-t-il été vérifié au terme d'une deuxième lecture des documents ? La flexibilité de l'évaluateur reste la clef du succès de la collecte de données en entretien individuel. Les tests de la sensibilité de l'ensemble du système de critères ont-ils été concluants ? Il faut donc savoir être souple et s'adapter aux contraintes humaines, budgétaires, temporelles, thématiques, etc., en ne perdant pas de vue l'objectif que l'on s'est fixé, à savoir répondre aux questions suivantes : Les forces sont les aspects positifs internes que contrôle l'organisation ou le pays, et sur lesquels on peut bâtir dans le future. Actuellement les évaluations pays faites par la Commission Européenne comportent la plupart du temps, au paragraphe contexte, des indicateurs: Ces indicateurs sont choisis pour montrer les points saillants du contexte local, mais souvent ne permettent pas : Pourtant, des directives de la Commission Européenne concernant l'usage d'indicateurs de suivi des Documents de Stratégie Pays (DSP) existent, en particulier 10 indicateurs clés sont proposés pour un monitorage dans tous les pays ACP. Il existe deux principaux modèles d'analyse liés à la conception de l'étude de cas. Dans les deux cas, la construction des diagrammes des objectifs et impacts devrait constituer l'une des toutes premières tâches de l'évaluation. De façon générale, l'évaluation des ressources nécessaires nécessite de prendre en compte : L'enquête par questionnaire est l'un des moyens les plus simples d'obtenir des informations auprès d'un nombre important de personnes. L'analyse multicritère, également nommée " aide multicritère à la décision ", connaît un développement très important depuis la deuxième moitié des années 1970 et peut être désormais considérée comme un outil scientifique à part entière. Les questions sont soit prévues à l'avance dans la grille de questionnement, soit interviennent en fonction de la tournure de l'entretien, pour compléter, approfondir, relancer, confronter. économiques et financiers (PIB, échanges, dette, etc.). Cet apport du terrain basé sur l'examen de la réalité permet également au lecteur de l'évaluation de mieux comprendre le contexte de mise en œuvre et les écarts entre ce qui s'est passé vraiment et ce qui aurait dû se passer. C'est un instrument d'analyse économique des objectifs opérationnels à ces différents niveaux. Ce type d’évaluation permet l’adaptation du processus en cours de route, mais il permet également d’affiner les résultats opérationnels du projet. Mais ils sont doublement précieux en ce qu'ils permettent un balayage assez rapide et exhaustif des réalités culturelles et sociales visées par l'outil et aident à affiner la recherche documentaire en fournissant des bibliographies plus spécialisées qui incitent à aller plus loin sur chacun des thèmes. Les choix que mérite d'interroger le diagramme des décisions sont : On ne doit pas se cacher toutefois que l'exercice de planification est à la fois stratégique (mise en place des meilleurs moyens pour atteindre les objectifs de différent niveau) et empirique (utilisation des moyens connus justifiable par la poursuite de certains objectifs). Complétant ainsi le diagramme des objectifs, le diagramme des décisions facilite l'analyse de la stratégie tant en terme de cohérence interne (enchaînement logique des choix successifs) que de pertinence au regard externe (prise en compte des éléments de contexte et des positions des parties prenantes). Dans le cadre d'une évaluation ex post, mener une analyse coût-efficacité suppose de disposer de données fiables sur les coûts réels de l'intervention et sur les résultats effectivement obtenus. Organiser une ou plusieurs journées de formation-encadrement des enquêteurs. l'adoption d'un objectif/effet d'un certain rang induit l'adoption d'objectifs/effets subordonnés. L'enquête par questionnaire et la construction d'échantillon sont apparues dans l'entre-deux-guerres, à l'occasion des premières prévisions électorales. Ce sont les responsables des mêmes services qui sont les principaux interlocuteurs. un argumentaire trop faible (qui n'apporte pas de preuves suffisantes pour conclure et donc encore moins pour généraliser). Ceci est particulièrement recommandé dans le cas de focus group d'usagers ou de bénéficiaires, a priori moins sensibilisés à ce type de démarche. Cette étape est optionnelle mais elle facilite souvent le déroulement du rendez-vous, en offrant à la personne interrogée la possibilité de savoir ce sur quoi elle va être interrogée, de rassembler à l'avance les éléments et/ou les documents nécessaires, voire de proposer à l'évaluateur la participation conjointe d'autres personnes à son entretien. La critique la plus profonde porte sur l'hypothèse qu'un consensus peut être atteint entre les parties prenantes (donneur, opérateurs et bénéficiaires) sur les objectifs du développement et la manière de le conduire. être si possible comparable en interne au programme (inter-mesures) et en externe (inter-pays). des documents de base présentant les politiques, les stratégies et les programmes. Lorsque les diagrammes d'ensemble sont très complexes, leur lisibilité et leur qualité pédagogique risquent d'en souffrir. Les diagrammes des objectifs et des effets, qu'ils soient tirés du cadre logique du programme ou qu'ils aient été reconstruits à partir des documents justificatifs du programme, masque toutefois une série de choix. pour une évaluation ex ante. Chacune des boites de la colonne centrale du diagramme représente en effet les choix opérés (objectifs retenus, objectifs non retenus), alors que les boites latérales représentent les flux de ressources qui sont les justifications externes de ces choix. Par exemple, la première ligne du tableau suggère que les diagrammes des objectifs et des effets impliquent ou peuvent impliquer la réalisation d'entretiens individuels et de focus groups. et des moments où il est "proactif", c'est-à-dire placé en situation de produire directement des informations organisées et des analyses. A la fin de leur mission, les experts produisent un rapport. Les guides d'entretien sont-ils correctement déclinés en fonction des catégories d'acteurs ? L'usage de vidéo-conférences ou d'échanges par mail pour un nombre limité d'évaluateurs est une solution alternative économique à ces réunions. Voir quelles personnes il serait plus opportun de rencontrer en groupe. Cette version tient compte des avis recueillis lors du test de la version provisoire. Cela ne doit cependant pas l'empêcher d'attirer l'attention de cette autorité sur les conséquences d'une délimitation restrictive. pourra être sujette à amélioration selon l'évolution des connaissances. Si l'objet de l'analyse est un secteur, tout ce qui peut être maîtrisé par des actions dans le secteur constituera l'interne et tout ce qui ne peut pas l'être, l'externe. ; les évaluations de projets et programmes, à caractère thématique et/ou sectoriel disponibles ; les rapports de monitoring (ROM) sur les projets et programmes en cours ; les règlements généraux de la Commission et, d'une façon générale, tous les textes réglementaires et les engagements politiques de la période couverte par l'évaluation. Même si ce n'est pas leur objectif, ces réunions permettent parfois de dépasser certains blocages ou des contradictions liées davantage à des incompréhensions qu'à des stratégies reposant sur des intérêts profondément contradictoires. Cela suppose que ces objectifs soient d'une part identifiés ou identifiables et d'autre part hiérarchisés ou hiérarchisables. Ce jugement est fait par le " groupe ", alors que le travail d'étude des impacts peut avoir été fait au préalable par des techniciens du sujet étudié. un examen simple des lieux (ex : entreprises aidées, travaux en cours, salles de classe, dispensaires, etc.°) et des situations des personnes (ex : niveau de vie, de santé, de scolarisation… ainsi que des relations entre les parties prenantes (partenaires, autorités, etc.). Il est donc concevable que la Commission souhaite un examen approfondi du processus de décision, soit comme partie d'une évaluation pays, soit comme évaluation thématique en soi. Après une série de consultations avec les agences internationales, l'Assemblée Générale a reconnu les Objectifs du Millénaire (" Millenium Development Goals ou MDGs ") comme feuille de route pour mettre en œuvre la Déclaration du Millénaire. Make your characters blink, talk, and walk with simple frame-by-frame animation. L'analyse des problèmes et le diagramme qui a pu ou peut en être tiré dérivent de la définition du champ d'intervention et donc des objectifs généraux du donneur (la Commission Européenne) tout en préparant la définition des objectifs spécifiques de l'assistance concrète qui doit être fournie au cours de la période couverte par la stratégie. Les stratégies de coopération et les politiques d'intervention des donneurs nationaux ou multinationaux obéissent à des visées explicites ou implicites. Capacité à établir un climat de confiance. La forme prévue de restitution des résultats permet-elle de distinguer les informations fiables des opinions émises ? De plus, leur pertinence est limitée du fait des retards de publication et de leur fiabilité fragile. & LOCKWOOD M., 2001: Le genre dans les évaluations sur la pauvreté de la banque mondiale, in Genre et économie. Submitted by kgr, on Mon, 26/01/2015 - 22:29 un problème (une cause) d'un certain rang explique l'existence d'un problème (une cause) de rang (immédiatement ou non) supérieur. Le nombre de questions auxquelles une évaluation classique peut répondre est limité et il est donc nécessaire de procéder à un choix. la méthode de préparation des réunions, de sélection des groupes et de conduite des réunions. Les références scientifiques de chacune de ces "familles" d'entretien de groupe sont différentes. les incidences externes ayant conduit aux choix. Il ne s'agit pas ici d'accumuler des dates ni de faire œuvre d'historien mais d'être en mesure de replacer la stratégie de coopération et de développement dans une dimension diachronique signifiante. qui ont une vision assez globale de la politique, de ses objectifs et de ses effets. en évaluation ex-ante, une modélisation possible, sur des bases rigoureuses, des résultats effectivement susceptibles d'être atteints. Critère d’évaluation : Capacités en communication orale (de manière claire, concise et persuasive) et d’animation de réunions. Diagrammes d'objectifs et diagrammes des effets attendus obéissent aux mêmes règles générales de construction. Si le programme a été établi à l'aide d'un cadre logique, celui-ci présente clairement les objectifs à atteindre. Poser (voire négocier) les règles du jeu : la durée prévue de l'entretien, l'enregistrement ou non des réponses, etc. L'autre spécificité de l'analyse coût-efficacité est de mesurer l'efficacité selon des indicateurs reflétant les résultats attendus ou atteints et non pas en fonction de la valeur monétaire de ces résultats. Certains des quatre facteurs peuvent varier selon les besoins de l'analyse, qu'il s'agisse de l'aide à l'élaboration de scénarios de développement, de diagnostics de territoire, de la définition et de la validation de stratégie, d'une évaluation ex ante, etc. Le choix de la méthode est liée à la définition de la population qui constituera le public-cible. Un des enjeux de l'évaluation pays est de déterminer précisément les catégories d'acteurs qui ont effectivement été bénéficiaires d'une façon ou d'une autre de la politique mise en place. Ainsi dans un examen il peut être exigé des candidats pour obtenir le diplôme d'avoir plus de 10 de moyenne mais également pas moins de 5 à chaque matière. L'évaluateur doit être attentif aux questions qui ont un double objectif. Les étapes de préparation de l'entretien ? Un profil de socio-anthropologue est donc requis dans l'équipe d'évaluation. Quel type d'intervention ou quelle association d'interventions procurent (ou auraient procuré) les meilleurs résultats, en fonction de l'objectif final visé et des ressources disponibles ? le calendrier d'intervention, organisation des futures réunions, contenu de ces réunions. Les documents de base sont les documents stratégiques (DSP) et les programmes indicatifs correspondants (PIN) pour la période entrant dans le champ de l'évaluation. Fréquemment utilisé dans les évaluations ex-ante, il permet dans le cadre ex-post d'évaluer à posteriori les orientations qui ont été mises en œuvre. A-t-on recueilli le verbatim des participants ? Le plus connu est l'Indice de Perception de la Corruption (IPC) qui classe plus de 150 pays selon leur degré de corruption (classement fondé sur l'évaluation d'experts et des enquêtes d'opinion). L'absence d'indicateur de contexte dans un domaine important est-elle argumentée? La recherche de la constitution d'une chaîne de preuves est-elle argumentée dans le rapport de mission ? Dans le cadre de l'évaluation, l'analyse permet de discuter l'efficacité économique d'un programme ou d'un projet. Les différences dans le déroulement des deux focus groups d'usagers incitent à porter une attention particulière au recrutement des participants. Or, ils exigent un temps important de préparation. Toutefois, en matière de développement, les observations expérimentales ne convergent pas toujours et la portée des théories est plus ou moins universelle. Dans les cas les plus simples, on peut demander au " groupe " de placer sur une échelle cardinale les critères en affectant, par exemple, des coefficients (ex : chaque critère est affecté d'un coefficient entre 1 et 5 qui reflète son poids). limiter les biais éventuels de l'analyse. Mobiliser des animateurs locaux dans le cas de l'organisation de plusieurs focus groups sur un large territoire ou en langue locale. Il faut donc identifier les problèmes en tant que : L'analyse préliminaire des citations révèle : Parmi les problèmes, les documents identifient assez souvent ceux auxquels l'intervention est sensée répondre. Cette étape peut s'avérer nécessaire en fonction de l'usage qui est fait des propos d'une personne interrogée. A-t-on mis en place un mécanisme de suivi et de contrôle des enquêteurs ? Recherche d'un consensus avant de finaliser l'analyse indispensable. La datation des documents a-t-elle été confirmée par les auteurs ou contributeurs ? Un observateur s'avère utile, en plus de l'animateur, pour consigner le verbatim. 1998. absence de relations horizontales, absence de boucles de rétroaction (les effets devenant des causes et inversement). L'administration du questionnaire dépend beaucoup du contexte : Rappelons que pour des raisons linguistique (surtout auprès des bénéficiaires finaux) et de temps de préparation, il est vivement conseillé aux évaluateurs d'avoir recours à un partenaire local capable de mettre à disposition les ressources humaines - enquêteurs, statisticiens, démographes, etc. Les représentations graphiques de données utilisant ou non des programmes informatisés. N'ayant pas pour but de conduire aux conclusions de l'étude, mais d'éclairer et de préparer la suite du travail d'évaluation, les études de cas exploratoires diffèrent des autres types par: Les études de cas exploratoires participent plus de la méthode de structuration de l'évaluation que de l'accumulations de preuves. de l'absence de participants moteurs de la dynamique de groupe. L'analyse coût-efficacité a-t-elle permis de formuler un jugement nécessaire à l'évaluation ? Dans ce cas, il devient nécessaire de vérifier que le document est toujours valable au démarrage du projet. L'exercice de priorisation des résultats attendus, ainsi que de quantification et d'homogénéisation des indicateurs de résultat constituent des étapes nécessaires dans le cadre d'une évaluation pays. Ce n'est qu'à l'issue de celle-ci que l'évaluateur pourra distinguer les différents types de problèmes. La liste des documents pertinents a-t-elle été établie ? Il peut : Le choix du problème central est indissociable du classement des problèmes. Quelles que soient les méthodes retenues pour réaliser les calculs et les agrégations, l'analyse multicritère produit un (ou plusieurs) tableau(x) de performance permettant de synthétiser les résultats obtenus par action pour chaque critère (éventuellement pour chaque acteur). Il est aussi utile que les évaluateurs analysent la dynamique de la séance afin de considérer les contraintes et de décider des corrections éventuelles à apporter pour les focus groups ultérieurs. Les problèmes faisant directement l'objet de l'intervention peuvent ne pas être explicitement identifiés. Les focus groups sont généralement menés par un animateur (ou modérateur) qui doit être sélectionné en fonction de sa capacité à créer et à maintenir une dynamique de groupe. l'une des causes intermédiaires de rang 2 se rattache directement au problème principal et non à une cause intermédiaire de rang 1. une interrelation est établie entre deux causes intermédiaires de rang 3. l'une de ces mêmes causes se rattache à deux causes de rang supérieur (intermédiaire de rang 2). Peut-on le combiner avec d'autres outils ? sa pertinence : l'indicateur doit correspondre à une préoccupation, à un objectif ou à une attente. des objectifs d'un certain rang liés à plusieurs objectifs de rang immédiatement supérieur. Les coûts varient selon le nombre de personnes à rencontrer mais l'entretien ne suscite pas de coûts importants. C'est en particulier le cas lorsque les programmes présentent un cadre logique pour chacune des priorités. Les focus groups doivent être réalisés par une personne qualifiée. Présentation de la stratégie Bien construit et clairement présenté, il est un outil pédagogique très précieux de présentation et de compréhension de la stratégie. Il est donc recommandé d'effectuer ce choix dans le cadre d'un " focus group ", voire si nécessaire d'un panel d'experts, similaire à celui du choix du critère d'efficacité. Par opportunités, on entend par exemple : L'outil de l'analyse stratégique pouvant servir à un approfondissement dans le domaine des opportunités est le modèle PESTEL. Il peut arriver que le " groupe " ait besoin d'informations supplémentaires au cours de l'analyse, pour pouvoir poursuivre son travail (ex : précision sur les effets sur l'environnement de telle action).