1. Presentation du spees
Le Minist�re de la Coop�ration a regroup� en 1982 les �tudes �conomiques g�n�rales et les �valuations de projets et de programmes dans une nouvelle organisation originale qui permet leur bonne insertion dans les activit�s op�rationnelles du Minist�re: le Secr�tariat Permanent des �tudes, �valuations et statistiques (SPEES).
Cette organisation comprend:
Le comit� des etudes
Il est pr�sid� par le Directeur de Cabinet et se compose des directeurs, chefs de service, sousdirecteurs ainsi que des membres du SPEES. Un repr�sentant du Directeur G�n�ral de la Caisse Centrale de Coop�ration Economique (CCCE) et le responsable de la Cellule Evaluation du Tr�sor participent aux r�unions du Comit�.
Le comit� des etudes qui se r�unit environ 3 fois par an est charg�:
- de d�finir le programme d'�tudes et d'�valuation du minist�re, de d�cider de son mode de financement et d'en suivre l'ex�cution,
- de discuter des conclusions op�rationnelles qui peuvent �tre tir�es des �tudes et �valuations achev�es.
Le secr�tariat permanent des etudes, evaluations et statistiques (SPEES)
Le SPEES assure la pr�paration des travaux du Comit� des Etudes et suit la mise en oeuvre des d�cisions qui y sont prises. Il est �galement charg� de proposer le programme d'�tudes et d'�valuation du Minist�re, d'en organiser l'ex�cution, et de faire toutes propositions destin�es � l'exploitation des r�sultats des travaux r�alis�s. Il est habilit� � correspondre avec les diff�rents services du Minist�re, les missions de coop�ration et les organismes ext�rieurs.
Le SPEES est compos� de membres nomm�s par le Pr�sident du Comit� des Etudes: ils restent par ailleurs rattach�s administrativement � une direction ou � un service du Minist�re.
Il comprend aujourd'hui quatre personnes
Coordinateur
Patrice Tranchant
Marie-France Fabre
Jo�l Dine
Evelyne Morvan
assure le secr�tariat de l'�quipe.
Les activit�s du SPEES peuvent en l'�tat actuel se pr�senter comme suit:
La participation des agents
La mise en oeuvre du programme d�cid� par le Comit� des Etudes s'appuie sur une participation large et importante des agents du Minist�re et suppose une bonne compr�hension de l'organisation du travail ainsi qu'une forte mobilisation de chacun des intervenants:
- Les directeurs d'�tude ou d'�valuation sont consid�r�s comme affect�s par le d�partement pour un temps partiel d�termin� et pour la dur�e de l'�tude; ils sont responsables directs de son aboutissement.
Cette mission de r�flexion, d'animation et d'organisation est ouverte � tous les cadres du d�partement, dans la mesure de leur temps disponible, et peut constituer un lien utile avec leurs fonctions pass�es ou futures. La capacit� du d�partement � favoriser la r�ponse � cette fonction est indispensable � la r�alisation d'un programme d'�valuations r�guli�res.
- Le comit� de pilotage est le compl�ment naturel de la fonction de directeur d'�tude ou d'�valuation. Constitu� de personnes compl�mentaires en fonction de l'objectif initial, c'est lui qui doit d'une part exprimer clairement et op�rationnellement les questions auxquelles devront r�pondre l'�valuation ou l'�tude (termes de r�f�rence pr�cis, pr��tude ... ) et d'autre part proposer les modalit�s d'utilisation des r�sultats.
2. L'evaluation au ministere de la cooperation
2.1 Rappel de quelques d�finitions
Une action de coop�ration, qu'il s'agisse d'un projet stricto sensu ou d'autres formes d'intervention (assistance technique, formation, aide financi�re), est l'aboutissement d'un processus continu qui passe par des �tapes plus ou moins formalis�es selon le type d'action; ces �tapes sont les suivantes:
- identification et pr�paration qui peut prendre la forme d'une �valuation ex-ante de l'action propos�e, dont le r�sultat se concr�tise par la prise en compte de l'action et son financement (ou �ventuellement son rejet);
- execution de l'action, avec en cours d'ex�cution un suivi p�riodique, ce suivi �tant au minimum un suivi financier (suivi des d�penses et contr�les de conformit� avec les pr�visions), mais aussi un suivi technique de son d�roulement, en vue notamment d'adapter r�guli�rement le contentu de l'action � l'�volution de son contexte et aux premiers r�sultats obtenus; c'est cette forme d'intervention qui est appel�e suivi-�valuation;
- l'ach�vement d'une action de coop�ration (ou d'une phase de cette action) qui se mat�rialise par la fin des paiements, donne lieu, en principe, � un document de synth�se (rapport de fin d'ex�cution pour les projets financ�s par le FAC).
L'�valuation r�trospective (ou ex-post) prend place apr�s l'ach�vement d'une action, ou au minimum d'une phase de cette action. Elle a pour but, � partir de l'observation d�taill�e de ce qui s'est pass� depuis l'origine de la d�cision, d'analyser les �carts entre provisions et r�alisations et l'origine de ces �carts, d'examiner l'impact r�el de cette action sur le d�veloppement, mais surtout de d�gager les enseignements � tirer de cette analyse pour am�liorer l'impact des futures actions de coop�ration.
La "fronti�re" entre le suivi-�valuation et l'�valuation r�trospective n'est pas toujours tr�s nette, notamment lorsqu'il s'agit d'analyser des actions engag�es depuis de nombreuses ann�es; globalement on peut dire que le suivi �valuation s'appuie sur un diagnostic de la situation du moment car c'est avant tout un outil de pilotage op�rationnel, alors que l'�valuation r�trospective suppose une relecture de toute l'histoire de l'action, depuis son origine.
2.2 Le champ de l'�valuation
L'�valuation technique des projets est men�e sous la responsabilit� des services gestionnaires.
Les travaux d'�valuation anim�s par le SPEES rel�vent de l'exigence d'�valuation des politiques publiques" conform�ment � l'esprit du d�cret 90-82 du 22 janvier 1990: I'�valuation d'une politique publique au sens du pr�sent d�cret a pour objet de rechercher si les moyens juridiques, administratifs et financiers mis en oeuvre permettent de produire les effets attendus de cette politique et d'atteindre les objectifs qui lui sont assign�s".
Pour ce Minist�re, il s'agit donc d'�valuer les politiques d'aide au d�veloppement appr�hend�es, selon le cas, sous l'angle g�ographique, sectoriel ou d'un ensemble coh�rent de moyens.
Dans tous les cas, le champ de l'�valuation est bien la politique fran�aise d'aide et non la ou les politiques men�e(s) par nos partenaires.
2.3 Typologie des �valuations
Les �valuations entreprises s'articulent autour de quatre approches:
2.3.1 - �voluations g�ogrophiques: l'�valuation de l'aide fran�aise envers un Etat vise � observer et d�crire les ressorts de la coop�ration fran�aise et de ses initiatives d'aide dans leur contexte sp�cifique, g�ographique et temporel (analyse des �volutions sur une p�riode relativement longue de 10 � 15 ans) et dans leurs dimensions multiples (la coop�ration est une expression de relation d'�tat � �tat, ce qui explique ses dimensions politique, culturelle, �conomique... ).
Le principal r�sultat attendu est de mettre en lumi�re les objectifs et les �volutions de la politique fran�aise d'aide envers un �tat, ce qui permet la formulation de recommandations op�rationnelles propres � guider l'intervention de la France pour les ann�es � venir.
2.3.2 - �voluations de politiques sectorielles de l'aide : elles sont � la jonction d'une part de l'analyse fili�re (comment s'organisent nos appuis � la mise en oeuvre de politiques nationales r�pondant � des objectifs d�termin�s pr�alablement) et d'autre part de la synth�se d'�valuations de projets ou programmes financ�s par l'aide fran�aise dans un secteur. Elles permettent de v�rifier la coh�rence et l'ad�quation de nos appuis � des orientations sectorielles d�finies par le D�partement.
2.3.3 - �voluations de politiques de moyens: 11 s'agit des principaux instruments ou m�canismes utilis�s directement ou indirectement par l'aide fran�aise (Assistance technique, bourses, C.D.I.; ou encore utilisations des r�seaux, appui � la coop�ration d�centralis�e ... ): y-a-t-il une logique d'ensemble dans la mise en oeuvre de ces instruments (aspect politique), et comment les adaptations n�cessaires (en terme d'objectif et en terme d'efficacit�) sont elles r�alis�es ?
2.3.4 - �valuations de projets ou de programmes: 11 ne s'agit pas de se substituer aux responsabilit�s d'�valuation technique par les services. Le choix d'une �valuation de projet correspond le plus souvent soit � la phase pr�paratoire d'une �valuation g�ographique ou sectorielle, soit � une contribution (observations factuelles) � une r�flexion th�matique plus large (environnement, etc... ).
2.4 Objectifs des �valuations
Les �valuations entreprises ont un double objectif:
2.4.1- ou plan interne, elles permettent, � partir de l'analyse des r�sultats quantifi�s et de l'origine des �carts entre provisions et r�alisations, d'appr�cier l'ad�quation de nos actions aux objectifs implicites ou explicites; elles contribuent � l'am�lioration de la qualit� de nos instruments de coop�ration et d'aide au d�veloppement; elles ont �galement une fonction de capitalisation de l'exp�rience acquise et d'enrichissement du dialogue interne.
2.4.2 - ou plan externe, elles ont pour but de contribuer � renforcer notre capacit� de dialogue et de proposition tant vis � vis des-pays et organismes avec lesquels nous coop�rons que des autres aides qui interviennent dans les m�mes pays.
3. Mise en oeuvre des evaluations
3.1 Processus de d�cision
La liste des actions � �valuer est �tablie partir des propositions des Services, des Missions de Coop�ration et du SPEES.
Cette liste est arr�t�e par le Comit� des Etudes et fait l'objet d'un programme annuel soumis au Comit� Directeur du FAC.
3.2 Ex�cution des �valuations
L'ensemble des dispositions retenues pour l'ex�cution des �valuations au sein du Minist�re est guid� par le souci d'obtenir dans chaque cas une description/analyse la plus pr�cise possible et des recommandations utilisables par les services.
Afin que ses travaux puissent r�pondre aux objectifs fix�s, l'�quipe d'�valuation est dirig�e par un directeur d'�tude, d�sign� pour chaque �valuation au sein du Minist�re
Ce Directeur d'Etude est l'animateur d'un Comit� de Pilotage restreint, auquel participe le SPEES. Ce Comit� intervient plus particuli�rement au niveau de l'examen des termes de r�f�rence, du choix des intervenants et de l'analyse des diff�rents documents produits par l'�quipe d'�valuation (rapports int�rimaires et rapports finaux).
La r�daction des termes de r�f�rence d�taill�s, pr�cisant les objectifs recherch�s, la m�thode de travail propos�e (notamment les d�placements sur le terrain) et les d�lais impartis, constitue une t�che-cl� pour le Directeur d'Etude avec la collaboration du Comit� de Pilotage. Les termes de r�f�rence ainsi �labor�s sont arr�t�s par le SPEES.
Les �valuations sont r�alis�es par une �quipe ind�pendante et pluridisciplinaire: les membres de l'�quipe d'�valuation (qu'ils soient internes ou externes � ce Minist�re, ne doivent pas �tre (ou avoir �t�) partie prenante dans l'ex�cution des actions �valu�es, et la diversit� de leurs formations ou de leur exp�rience professionnelle doit garantir que l'�valuation n'est pas seulement un contr�le de conformit� financier ou technique, mois une analyse approfondie de l'impact r�el sur le d�veloppement de l'action �valu�e.
Dans la plupart des cas, il est fait appel � l'aide de comp�tences ext�rieures de sources diverses: fonctionnaires d'autres administrations, universitaires, consultants ind�pendants ou bureaux d'�tudes avec lesquels est pass� un march�.
4. Conclusions
Les �valuations �tablies � la demande du Minist�re sont des travaux internes. Les responsables de l'action �valu�e disposent de la possibilit� de compl�ter le rapport par des commentaires appropri�s avant que le document ne soit adress� au Cabinet et diffus� � l'int�rieur du Minist�re. Les modalit�s de diffusion finale du rapport sont, dans tous les cas, d�cid�es par le Cabinet du Ministre. Des synth�ses diffus�es plus largement sont �galement r�alis�es.
Les conclusions des �valuations sont examin�es par le Comit� des Etudes.
Un bilan p�riodique des �valuations et des conclusions pratiques � en tirer est pr�sent� au Comit� Directeur du FAC.
L'�valuation est avant toute une d�marche pragmatique de r�flexion qui vise � prendre un certain recul pour am�liorer nos m�thodes d'intervention et leur efficacit�. Elle ne doit pas �tre confondue avec une fonction d'inspection ou de contr�le, notamment celle exerc�e par la Sous-Direction du Budget. Les points importants dans cette d�marche sont:
- le choix des actions � �valuer, phase-cl� du processus;
- le recours � une expertise ind�pendante et pluridisciplinaire, travaillant sur la base de termes de r�f�rence bien cibl�s;
- la r�troaction de ces �valuations sur les actions du Minist�re, qui n�cessite que celles-ci soient conduites avec le souci d'aboutir � des recommandations issues de l'analyse �valuative et utilisables par les services, et qu'un dialogue interne soit syst�matiquement organis� au d�part et � l'issue de l'�valuation.