des enquêtes, en particulier auprès des bénéficiaires. Les questions fermées sont des questions pour lesquelles on impose au répondant une forme précise de réponse et un nombre limité de choix de réponses. Il peut être explicitement demandé à l'équipe d'évaluation de se prononcer sur la qualité de l'analyse et sur la correspondance entre l'analyse de la situation d'une part et la stratégie / le programme de l'autre. Sauf à supposer des décisions purement arbitraires, les choix faits par les auteurs des documents de stratégie et de programmation prennent en compte notamment : C'est précisément l'incidence de tels flux d'information sur les choix successifs et donc sur l'élimination d'options alternatives qui est décrite dans le diagramme des décisions. A quoi sert l'enquête par questionnaire ? Dans le cadre d'évaluations, le focus group peut être utilisé au cours des différentes phases de l'évaluation, avec des publics variés, selon les objectifs poursuivis. Le jugement d'ensemble s'appuie-t-il sur l'utilisation d'outils appropriés ? L'analyse peut s'avérer très utile dans le cadre d'une évaluation intermédiaire, notamment pour actualiser les résultats ex-ante et le cas échéant effectuer des choix entre diverses options de poursuite d'une intervention. Ce groupe, constitué spécialement pour l'évaluation selon des procédures standard, suit une méthode de travail précise et réplicable, pour tenir ses réunions et produire son jugement. Ils n'y sont pas forcément décrits en tant que tels. une bonne maîtrise de la problématique en question dans l'évaluation concernée. Elle constitue un outil appréciable d'évaluation ex ante pour faciliter le choix entre différentes interventions au regard de leur coût. Les forces et les faiblesses sont les éléments internes au pays, sur lesquels ce dernier a une marge de manœuvre partielle ou totale (ex : niveau d'éducation, de santé). Ne pas avoir trop d'ambition concernant les informations à récolter grâce au questionnaire : il ne doit pas être trop long et complexe, et les questions doivent être précises et simples. Les résultats sont alors assez simples à mettre en place, et peuvent être directement utilisés par l'évaluateur. Les ONG Human Rights Watch et Amnesty International publient pour un grand nombre de pays des rapports sur l'état des droits de l'homme et les principaux problèmes rencontrés. Il est important à ce stade de tester si plusieurs manières de conduire l'opération aboutissent ou non à des résultats similaires ou extravagants (ex : action classée première dans une grille et dernière dans l'autre en changeant juste une échelle sur un paramètre). L'objectif du focus group est de centrer le débat sur un nombre limité de sujets et d'amener les participants à détailler leurs opinions, à produire leur analyse, voire des propositions. Quelles raisons ont conduit à leur élimination ? Les informations recueillies sont d'ordre qualitatif. Du suivi? Tableau des performances dans le cas d'une pondération identique des critères. Dans ce cas, l'enquête par questionnaire ouvert ressemble à un entretien individuel de type directif. L'analyse SWOT étant basée sur le jugement des participants, elle est par nature subjective et qualitative. ils ne doivent pas être redondants entre eux (ex : une même préoccupation ne doit pas être prise en compte dans plusieurs critères). un examen simple des lieux (ex : entreprises aidées, travaux en cours, salles de classe, dispensaires, etc.°) et des situations des personnes (ex : niveau de vie, de santé, de scolarisation… ainsi que des relations entre les parties prenantes (partenaires, autorités, etc.). Il est important que l'évaluateur sache résister aux pressions l'incitant à rencontrer le plus de personnes possible. S'ils ne sont pas d'accord sur cet objectif, alors il sera difficile de travailler sur les objectifs spécifiques (ex : protéger la biodiversité forestière) et encore moins sur les objectifs opérationnels ou actions permettant de réaliser cet objectif (ex : promouvoir la certification de gestion forestière durable, créer des réserves naturelles, etc.). le type d'investigation, méthode d'acquisition des données, et conduite des travaux confiés à chacun (ex: visite de terrain). Facilite l'analyse de la stratégie tant en terme de cohérence interne (enchaînement logique des choix successifs) que de pertinence au regard externe (prise en compte des éléments de contexte et des positions des parties prenantes). Le diagramme présente de manière explicite les objectifs/effets et les différents rangs auxquels ils se situent, de l'objectif global à plus ou moins long terme à l'ensemble des actions entreprises ou prévues pour sa réalisation. Les problèmes et les causes représentés dans le diagramme sont reliés entre eux par des liens horizontaux ou verticaux. ? Comme tous les outils aboutissant à une matrice, le reproche qui peut être fait à l'analyse SWOT est son côté réducteur et simplificateur. Lorsqu'il est utilisé à la suite d'un programme pour en évaluer l'impact, il permet de comprendre, d'analyser et de décomposer le fondement des opinions exprimées par les participants. L'expert peut être amené à interroger plusieurs personnes à la fois, à la demande de la personnes contactée initialement. Permet de reconstruire la logique de l'intervention et les effets escomptés. En particulier, il est important de profiter de la phase de collecte pour avancer dans l'analyse et tester auprès de certaines personnes rencontrées les interprétations alternatives possibles, pouvant expliquer une situation. des réactions aux premières hypothèses et conclusions des évaluateurs. Industrie du futur. d'une étude multisite avec de nombreux sites. Elle permet de juger du bien fondé économique de la décision de réaliser une intervention, ou dans le cas où un choix entre plusieurs interventions doit être fait, de connaître l'intervention économiquement la plus efficace. le fait que l'outil ne permet que rarement une interprétation statistique des données, même si dans chacune des études, une enquête fiable peut être réalisée. Cahiers Means : Evaluer les programmes socio-économiques. L'Association Internationale pour le Développement IDA (" International Development Association ") a proposé dans un document récent, intitulé "IDA Results Measurements System : Progress and Proposal April 2003", une série d'indicateurs pour améliorer le monitorage des résultats des pays, en particulier pour ceux devant disposer d'un Cadre Stratégique de Lutte contre la Pauvreté (CSLP ou PRSP). Les catégories d'acteurs qui seront ciblées par l'évaluation sont une deuxième indication du type de focus group à choisir, étant donné que la composition du focus group dépend des objectifs poursuivis : un objectif d'approfondissement requiert un groupe socialement homogène, alors que la confrontation publique d'un thème ne pourra se réaliser qu'avec un groupe aux points de vue contradictoires. Ces diagrammes peuvent être utiles pour définir et justifier les questions d'évaluation. S'il existe des spécificités culturelles ou dialectales, recruter les enquêteurs localement. L'entretien de groupe a été jusqu'alors assez peu pratiqué en évaluation pays/région. ), les interlocuteurs habituels au sein des pays et/ou les Gouvernements bénéficiaires. Il est très utile pour collecter auprès de groupes de bénéficiaires, notamment pour analyser l'impact perçu par ses derniers. Social Development Systems for Coordinated Poverty Eradication. Ces enquêtes approfondies sont plutôt utilisées par les chercheurs. Comment utiliser le diagramme des décisions? Vous souhaitez en apprendre davantage sur cette technologie ? Leur place dans le diagramme doit être justifiée par des références à des documents, des entretiens, des expertises. Prévoir une séance de présentation du guide d'animation à l'animateur. La progression peut être préparée avec différentes séquences prévues à l'avance. Pour tester si une généralisation est possible, les praticiens ont recours, comme en expérimentation scientifique, à la technique de la réplication qui teste sur un second site ou une seconde série de sites, si cette réplication est possible et si la théorie se vérifie. Dans le cas où l'équipe d'évaluation ne parvient pas à identifier un problème central unique et ou les différents problèmes centraux procèdent d'un système de causes relativement indépendant, la même nécessité s'impose d'établir autant de diagrammes que de problèmes centraux. Ce système étant produit par les Nations Unies, bon nombre de ces indicateurs sont communs à ceux desObjectifs du Millénairebien qu'il existe des différences. Le diagramme provisoire présente-t-il de manière explicite les résultats des choix (objectifs retenus, objectifs non retenus) ? pour finir de formaliser les effets probables d'un programme en évaluation ex ante. L'expérience montre que l'approche partenariale se traduit diversement et revêt parfois un aspect assez formel. Exemple de coûts indirects dans un programme de santé : Le temps nécessaire à la mise en œuvre de l'analyse est fonction des données techniques et financières disponibles. Deux séquences de décision à portée: l'une stratégique, l'autre opérationnelle, Une visualisation des interventions des principaux partenaires et de. Il peut alors être utile, par l'étude des documents de définition et de programmation, de reconstituer un diagramme en donnant une représentation raisonnée. Ce type d'entretien est utile lorsque l'on veut réaliser un grand nombre d'entretiens, et minimiser les risques de subjectivité de la part de l'enquêteur. Toutefois, en matière de développement, les observations expérimentales ne convergent pas toujours et la portée des théories est plus ou moins universelle. Ces groupes se distinguent par des attentes, des points de vue, des représentations sociales, des stratégie spécifiques, voire contradictoires, par rapport à la politique ou au programme évalué. "Program Theory in Evaluation : Challenges and Opportunities", New Directions for Evaluation, a publication of the American Evaluation Association, Fall 2000. la pertinence des objectifs ou des effets au regard du contexte : stratégie globale de l'Union Européenne en matière d'aide aux pays tiers, situation des pays, thèmes ou secteurs et objectifs des acteurs majeurs, champ d'intervention et objectifs des autres donneurs. Le diagramme des effets présente la hiérarchie des activités, des résultats et des effets escomptés. En effet, alors que la prise de contact avec des experts se fait par mail ou par téléphone et peut donc se faire depuis la France, celle avec cette catégorie d'acteurs ne peut qu'être directe et implique de "labourer" le terrain. les outils d'analyse des données de base (par exemples : données de mise en œuvre fournies par le client). Le cadre logique sert alors naturellement de référentiel à l'évaluation, qui dispose ipso facto des éléments constitutifs du diagramme des objectifs de ce programme. discuter du contenu de programmes et des allocations entre actions lors de l'élaboration des DSP ou des PIN. Il doit être présenté, au moins sous une forme simplifiée, dans le rapport final d'évaluation et intégralement inclus dans les annexes. Pour définir un indicateur de contexte il suffirait de reformuler cette définition sous la forme : C'est précisément dans le domaine des indicateurs de contexte que l'usage des indicateurs a pris son essor. Si elle se révèle insuffisante, il est recommandé de renoncer. Le diagramme des problèmes trouve son origine directe ou indirecte dans le courant du management par objectifs qui s'est développé au cours des années soixante dans les milieux économiques américains d'abord, puis dans l'ensemble du monde occidental. Il contribue utilement à la formulation ou la validation du jugement sur le choix des projets et programmes les plus efficients. Cette étape peut alors révéler, tout comme l'étape du choix des critères, d'importantes divergences d'opinion entre les acteurs. Il peut y avoir plusieurs rangs d'objectifs intermédiaires. Quelles sont les étapes de préparation du focus group ? Dans ce cas, un retraitement de l'information, voire une collecte complémentaire pourraient s'imposer. Il peut être préférable de combiner ou d'avoir uniquement recours à d'autres méthodes qui intègrent cette complexité comme notamment l'analyse multicritère. Le travail commence par une lecture attentive des documents de base. Equipe APO-DSTI 3,207 views. En effet, il peut arriver que, pour des raisons diverses, tous les problèmes inscrits dans le diagramme ne peuvent être affrontés avec la même priorité. Les outils de l'analyse stratégique pouvant servir à un approfondissement dans le domaine des faiblesses sont les mêmes que ceux utilisés pour les forces. Tous les experts identifiés sont d'abord contactés par courrier électronique. Ces indicateurs sont disponibles pour plus de 200 pays, avec leur définition exacte et les méthodologies pour les produire, sur les sites des Nations Unies ou de la Banque Mondiale. Un animateur de groupe ou un facilitateur compétent. Quels problèmes doivent être pris en compte? Il existe différentes approches et méthodes de constitution de groupe, ainsi que d'animation de réunions. La méthode permet de comparer des politiques, des programmes ou des projets entre eux. Le travail peut être concentré sur la lecture de la documentation et des réunions de travail, ou être élargi à la rencontre de responsables de projets, de visites de terrain, d'envoi de questionnaires, etc. Il convient de relire et de remettre en forme rapidement les notes prises durant l'entretien, ainsi que de noter, en fonction de la précision souhaitée, les éléments non verbalisés qui en ont marqué le déroulement : attitude, climat, gêne, silences, interruptions, relation établie avec l'évaluateur, mais aussi les indications d'autres personnes à contacter, de documents existants etc. La commodité (convenience) : la facilité de réalisation des études. Lorsque les termes de référence de l'évaluation mettent l'accent sur l'examen du partenariat, le diagramme permet de visualiser l'intervention des principaux partenaires (gouvernement, États Membres et autres donneurs) dans la conception de la stratégie, l'établissement des programmes et la sélection des projets. Les critères de choix peuvent être: Pour des questions de délais, l'ensemble des études de cas doit souvent être réalisé par plusieurs évaluateurs, ce qui peut se ressentir dans la conduite de l'étude et l'interprétation des résultats. Difficulté de certaines régions à identifier les compétences nationales et locales pouvant aider l'évaluateur dans la préparation et l'animation de ces entretiens de groupe. Avec les États Membres, la consultation de tous les documents de stratégie et de programmation est obligatoire pour tous les pays. Ce document vous permet de comparer et de sélectionner les profils les plus intéressants, mais aussi d'optimiser vos méthodes de. Par exemple, une certaine recherche de représentativité peut être couplée avec le choix d'extrêmes ou de quelques cas spécifiques. KOTTAK C.P., 1998: Quand l'aspect humain n'est pas mis au premier plan : enseignements sociologiques tires de projets terminés. Il s'agit de voir comment tirer parti de la situation au mieux. L'avis de certains experts "dominant" le groupe peut devenir prépondérant, aux dépens des autres avis. Ces indicateurs permettent d'évaluer la progression d'un pays dans la réalisation de l'objectif année après année, ou de comparer plusieurs pays entre eux. Une fois les actions notées par critère, la tentation est grande d'appliquer les opérations mathématiques simples pour comparer les actions. En cela, il peut malgré les précautions d'usage comporter une certaine partialité. Les justifications apportées dans les raisonnements sont-elles suffisantes pour garantir la reproduction possible de ces raisonnements ? L'exemple le plus connu d'utilisation des coefficients est celui de l'évaluation des élèves durant leur cursus scolaire. Dans le cas d'études de cas multiples, le team leader a-t-il vérifié la cohérence des études ? Tableau de comparaison entre les résultats d'une analysemulticritère utilisant la somme pondérée ou le produit pondéré. Lors du premier courrier, une description sommaire de la mission et des panels leur est faite, en précisant les dates. les documents officiels relatifs aux autres ressources budgétaires non pays mobilisables pour l'aide pays (lignes budgétaires dites horizontales, autres contributions). Toutefois, au cours de cette période, sont exécutés des projets ou programmes trouvant leur origine et justification dans des documents antérieurs. les facteurs positifs sur les quels les interventions peuvent s'appuyer. Comment démarrer? Ces documents comprennent : Il est suggéré de faire une analyse générale des points de rupture de la stratégie globale et de ne pas inclure les objectifs des projets et programmes en cours relevant d'une stratégie différente de celle de la période évaluée. Elles servent à centrer progressivement le questionnaire sur le thème de l'étude, en commençant par des questions simples (de comportement, par exemple). Le diagramme définitif prend la même forme que le diagramme provisoire (diagramme principal et représentation des moments de choix). C'est-à-dire, négligés (en évaluation ex ante) ou lésés (en évaluation ex post) dans la formulation et dans la mise en œuvre de la stratégie. Même simple, un objectif stratégique global à long terme - qualifié par hypothèse d'objectif de premier rang - est atteint par la réalisation de plusieurs objectifs de second rang, chacun d'eux pouvant dépendre de la réalisation de plusieurs objectifs de troisième rang et ainsi de suite, jusqu'aux objectifs tout à fait concrets que sont les projets d'action. Les points de consensus sont-ils précisés ? Relation entre les compétences nécessaires, le personnel approprié et le nombre de jours de travail (Cas général). Il établit la hiérarchie raisonnée du système des objectifs tels qu'ils sont présentés dans les cadres logiques ou ont été reconstitués dans le diagramme des objectifs affichés. Le guide d'animation qui sera utilisé par l'animateur doit être élaboré suffisamment tôt pour que l'animateur ait le temps d'en prendre connaissance.