E-MED: Evaluation des laboratoires de sant� publique au Maroc
---------------------------------------------------------------------
[Envoyer les CV et courriers � Mlle Sophie Boucher
sophie.boucher@diplomatie.gouv.fr SVP.CB]
Termes de r�f�rence
pour l��valuation r�trospective ind�pendante
du projet de coop�ration franco-marocain
avec l�Institut National d�Hygi�ne (INH)
pour l�am�lioration et le renforcement des performances des laboratoires de
sant� publique au Maroc
2000-2003
Rappel pr�liminaire
L��valuation a pour but de porter un jugement sur la valeur d�une action.
Elle vise � :
� v�rifier la pertinence et la coh�rence des objectifs de d�part
� appr�cier la mise en �uvre des moyens ainsi que leur ad�quation aux
objectifs
� mesurer l�efficacit� de l�action, c�est � dire le degr� d�atteinte des
objectifs
� examiner la durabilit� des effets observ�s.
1. Contexte et justification de l��valuation
Le projet de coop�ration avec l�INH au Maroc constitue un volet tr�s
important de la coop�ration franco-marocaine en sant� publique, tant au
niveau des moyens mis � sa disposition que de par sa dur�e.
1) Le principal projet soutenu par le Service de Coop�ration et d�Action
Culturelle (SCAC) est le projet d�appui � l�am�lioration et au renforcement
des laboratoires de sant� publique au Maroc. C�est ce projet qui fera l�
objet de l��valuation � mettre en �uvre.
Il s�inscrit dans le cadre du programme d�assurance qualit� en biologie,
entrepris depuis 1991 � l�INH, qui implique que toutes les mesures soient
prises pour am�liorer l�efficacit� et l�efficience des laboratoires, pour
le bien �tre de ses utilisateurs.
� En 1997, une premi�re mission de l�Association Internationale des
Techniciens Biologistes (ASSITEB) et de BIOFORMATION avait permis de
pr�ciser la situation du r�seau des laboratoires au Maroc et d�en d�gager
les principaux besoins, qui portaient notamment sur la formation continue du
personnel technique et des ing�nieurs biom�dicaux pour la maintenance
corrective et pr�ventive des �quipements des laboratoires en vue d�une
optimisation et rationalisation des ressources et sur la mise en place d�un
programme d�assurance qualit�.
� Faisant suite � cette mission, le projet de coop�ration pour l�
am�lioration et le renforcement des performances des laboratoires de sant�
publique a �t� d�fini.
� Valid� par le comit� technique de s�lection de projets en 1998, il
pr�voyait la mise en place d�actions au niveau des diff�rents laboratoires :
analyse, biologie m�dicale et hygi�ne du milieu.
� Ce projet a �t� conduit par trois op�rateurs fran�ais : ASSITEB et
BIOFORMATION et Agence du M�dicament (puis Agence Fran�aise de S�curit�
Sanitaire des Produits de Sant� - AFSSAPS).
� Programm� � son origine pour d�marrer en 1998 et pour une dur�e de trois
ans, ce projet a r�ellement d�but� en 2000 et a �t� reconduit jusqu�en 2003.
2) En 2002, un nouveau projet pour l�INH a �t� soutenu par le SCAC. Il avait
pour objectif le d�veloppement de l�expertise et renforcement des
comp�tences humaines de l�INH en vue de disposer � l�INH d'un plateau
technique de pointe et de r�f�rence dans divers domaines de la biologie
m�dicale et environnementale.
� Les objectifs sp�cifiques de ce projet sont le renforcement du plateau
technique et le d�veloppement de nouvelles expertises.
� Ses partenaires sont l�AFSSAPS et l�Assistance Publique des H�pitaux de
Paris (AP-HP).
� Ce projet s�est d�roul� sur les ann�es 2002/2003.
3) En 2003, le Comit� Technique a valid� la mise en �uvre d�un nouveau
projet de coop�ration concernant � indirectement � l�INH. Ce projet concerne
le Centre Anti-Poison (d�pendant de l�INH) et a pour objectif le
renforcement du syst�me de vigilance sanitaire au Maroc.
� Ses objectifs sp�cifiques sont le d�veloppement des techniques li�es � la
pharmacovigilance et � la toxicovigilance.
� Les deux volets pharmacovigilance et toxico vigilance (pour ce qui
concerne les m�dicaments) sont pris en charge par l�AFSSAPS et par l�Agence
Fran�aise de S�curit� Alimentaire (AFSA) pour ce qui concerne la toxico
vigilance alimentaire.
� Ce projet se poursuit actuellement pour sa deuxi�me ann�e.
� Les termes de r�f�rence ci-dessous d�velopp�s concernent le projet d�appui
� l�am�lioration et au renforcement des laboratoires de sant� publique 1)
car c�est le projet le plus important en termes de volume et de dur�e, qui
de surcro�t a eu un cycle de projet complet, ce qui permet d�en mesurer l�
impact. Le projet d�appui au d�veloppement de l�expertise et renforcement
des comp�tences humaines de l�INH n�a �t� mis en �uvre que sur deux ann�es,
le projet d�appui au d�veloppement du syst�me de vigilance sanitaire est
quant � lui actuellement en cours. Les �valuateurs pourront cependant faire
r�f�rence � ces deux autres projets autant que besoin.
� Lors du Comit� Technique Sant� de s�lection de projets tenu � Rabat en
octobre 2002, le principe de la mise en �uvre d�une �valuation ind�pendante
de la coop�ration avec l�INH a �t� valid�. Cette �valuation n�ayant pas �t�
mise en �uvre en 2003, elle a �t� reprogramm�e en 2004.
� Cette �valuation est commandit�e par le Service de Coop�ration et d�Action
Culturelle (SCAC) de l�Ambassade de France au Maroc.
2. Descriptif du projet de coop�ration pour l�am�lioration et le
renforcement des comp�tences des laboratoires de sant� publique
2.1. Descriptif du projet
Le responsable marocain du projet est la Directrice de l�INH, qui a la
tutelle des laboratoires de sant� publique r�partis sur l�ensemble du
territoire au niveau r�gional et provincial.
Cet �tablissement est lui m�me sous tutelle de la Direction de l�
Epid�miologie et de la Lutte contre les Maladies (DELM) du Minist�re de la
Sant�.
L�op�rateur principal du projet est l�AFSSAPS, les deux autres op�rateurs
intervenant dans ce projet sont BIOFORMATION et ASSITEB.
� Objectif principal
Sous l��gide du Minist�re de la Sant� et de la DELM, pour r�pondre aux
besoins li�s � la restructuration du r�seau des laboratoires de sant�
publique au Maroc, l�objectif principal de ce projet est le renforcement des
performances des laboratoires de sant� publique par la formation au niveau
central de personnes ressources (formateurs) capables de r�percuter en
cascade la formation acquise dans les domaines cl�s de la biologie m�dicale
� l��chelle des laboratoires provinciaux et r�gionaux en s�appuyant sur des
kits de formation constitu�s lors des s�minaires de formation.
� Objectifs sp�cifiques
Ce projet visant l�am�lioration des performances des laboratoires a deux
objectifs sp�cifiques :
� le d�veloppement de la formation continue et le recyclage du personnel
technique des laboratoires � l��chelle nationale et provinciale
� la g�n�ralisation des proc�dures d�assurance qualit� en biologie.
Ce projet part du constat de l�insuffisance de la formation continue du
personnel de laboratoire, et de l�absence de la standardisation de la
d�marche qualit�. Il pr�voit, afin de pallier ces deux manques - identifi�s
en 1998 lors des premi�res missions - des actions de formation et de
formation de formateurs, qui seront � leur tour charg�s de l�animation, au
niveau provincial et r�gional des ateliers/ s�minaires.
Il pr�voit donc la mise en place d�un dispositif de formation de formateurs,
au travers, entre autres, la constitution de kits de formation r�alis�s lors
des s�minaires de formation au niveau central (formation des formateurs)
pour leur r�utilisation lors des ateliers de formation r�gionaux pilot�s par
les formateurs marocains avec l�appui des consultants fran�ais.
C�est l�apport du projet de coop�ration pour le renforcement des comp�tences
des laboratoires de sant� publique qu�il conviendra d��valuer.
? en quoi ce projet a-t-il permis d�atteindre les objectifs fix�s par le
Minist�re de la Sant�, la DELM et l�INH en mati�re de renforcement des
performances du r�seau des laboratoires de sant� publique au Maroc,
conform�ment au plan de formation en cascade et au souhait de g�n�ralisation
de la d�marche qualit� pr�vus au projet ?
L�objectif peut �tre per�u sous deux aspects :
� Quantitatif : la dispensation des formations �tant con�ue � en cascade �,
les formateurs initi�s au cours des s�minaires de formation devront � leur
tour former le personnel au niveau r�gional et provincial (nombre de
formateurs form�s et nombre de personnes concern�es par la formation au
niveau r�gional et provincial)
� Qualitatif : � l�issue de ce projet, il est souhait� que la d�marche
qualit� soit appliqu�e par le personnel technique du r�seau des laboratoires
de sant� publique sur les domaines scientifiques concern�s par le projet.
� B�n�ficiaires du projet
� b�n�ficiaires directs : formateurs, techniciens biologistes et m�decins
biologistes (au niveau central et local)
� b�n�ficiaires indirects : utilisateurs du syst�me de sant� public
marocain.
� Contenu
Pour chacun des domaines scientifiques couverts par le programme, des
s�minaires de formation de formateurs ont �t� r�alis�s ainsi que quelques
ateliers r�gionaux de formation. Ces s�minaires comportaient des cours
th�oriques, des travaux dirig�s et pratiques pour la standardisation de la
d�marche qualit�, en vue de l�ex�cution des analyses de laboratoire
conform�ment aux r�gles de la qualit�.
Il convient de pr�ciser que l�OMS a particip� � ce projet au travers d�un
appui logistique � l�INH pour l�organisation des s�minaires.
Au cours des ces s�minaires, un rapporteur �tait nomm� afin de compiler les
�l�ments n�cessaires � la constitution du kit de formation.
� Domaines scientifiques couverts par le programme, priorit�s
Il convient de souligner que les th�mes choisis pour les s�minaires ont �t�
d�termin�s suite aux besoins exprim�s par les laboratoires au travers d�un
questionnaire qui leur a �t� envoy� en 1999. Les priorit�s d�gag�es en
mati�re de formation ont concern� les domaines scientifiques suivants :
� Bact�riologie
� Parasitologie
� H�matologie
� Immuno- s�rologie
� Biochimie
� Moyens mis en �uvre
Les moyens mis en �uvre s�appliquent aux deux volets pr�c�demment cit�es.
Ils se traduisent par des actions de :
1� Expertise
pour la tenue de s�minaires / ateliers anim�s par les formateurs marocains
et les consultants fran�ais en bact�riologie (2000 et 2001), h�matologie
(2003), parasitologie (2000 et 2001), immuno-s�rologie (2003) et biochimie
(2002) et pour la formation continue des techniciens de laboratoires dans le
domaine de l�assurance qualit� et de la gestion des laboratoires.
N.B. : Les rapports de mission d�expertise et compte rendu d�ateliers de
formation sont disponibles au SCAC.
2� Stages en France
Les stages, d�une dur�e pouvant aller de 15 jours � deux mois, sont des
stages de perfectionnement qui viennent compl�ter la formation : les
principaux b�n�ficiaires sont les biologistes au niveau central et des
responsables de laboratoires.
N.B. : les diff�rents rapports de stage constitu�s par les stagiaires et en
principe compil�s par les responsables du projet � l�INH seront mis �
disposition des �valuateurs pour les ann�es 2000 � 2003.
4� Documentation
En 1999, une commande d�un montant de 10 000 � avait �t� pass�e avec l�
ASSITEB pour l�achat d�ouvrages afin d�alimenter le Bureau des Laboratoires
de l�INH. L�ASSITEB n�ayant pu proc�der � cet achat de documentation, il a
�t� r�alis� par le SCAC en 2001.
5� Invitations
Pour les responsables marocains du projet afin de faire le point de l��tat d
�avancement du projet, de prendre les d�cisions n�cessaires � son
orientation et se mettre � jour des avanc�es r�alis�es dans les diff�rentes
structures en France.
� Financements
La r�partition des co�ts entre les deux parties se fait en application des
dispositions de la convention de coop�ration franco-marocaine de juillet
2003 et des protocoles administratif et financier qui lui sont annex�s.
Les moyens mis en �uvre par la partie fran�aise sur ce projet sont de deux
ordres
a) Un contrat avec l�ASSITEB pour l�expertise en 2000 et un contrat pour l�
achat de documentation.
b) Les moyens mis en �uvre par l�Association EGIDE dans le cadre de la
Convention g�n�rale pass�e par le Minist�re des Affaires Etrang�res, �
savoir des bourses de stage en France ainsi que la mise � disposition des
billets d�avion pour les experts fran�ais en mission au Maroc et le paiement
de perdiem pour les personnes invit�es en France.
Sur les quatre ann�es de projet, le financement total s��l�ve � 117 140 �,
r�partis sur les quatre ann�es de projet comme suit :
missions BS *15 jours BS 1 mois BS 2 mois Invitations contrats total
Nbre co�t nbre co�t nbre co�t nbre co�t Nbre co�t
2 000 6 3 840 0 0 10 20 500 0 0 0 0 5 000 29 340
2 001 6 3 840 0 0 9 18 450 0 0 0 0 1 700 23 990
2 002 7 4 480 3 3 690 8 16 400 0 0 3 3 150 0 27 720
2 003 ** 6 3 840 5 6 150 4 8 200 4 16 400 2 2 100 0 36 690
TOTAL 25 16 000 8 9 840 31 63 550 4 16 400 5 5 250 6 700 117 740
* BS : bourse de stage
** Les moyens pr�sent�s sont les moyens programm�s en 2003. Cependant, il
convient d�ores et d�j� de pr�ciser que seulement une partie d�entre eux a
�t� utilis�e pour le projet d�am�lioration des performances des
laboratoires. En effet, d�but 2003, l�INH a saisi le SCAC pour un appui
en expertise architecte programmiste (pour la r�habilitation des b�timents).
Une partie des moyens allou�s � ce projet a donc �t� utilis�e pour la
passation d�un contrat avec ELIX et un architecte programmiste s�est d�plac�
3 fois en 2003 � l�INH.
2.2. Champ couvert par l��valuation
Le champ couvert par l��valuation est relatif � toute la dur�e de vie du
projet, � savoir 2000/2003. Il est possible de se r�f�rer aux diff�rentes
actions men�es et cit�es dans la premi�re partie de ce document, pour leurs
r�alisations et contributions au projet.
3. Objectifs et probl�matique de l��valuation
Cette �valuation a 3 objectifs principaux :
3.1. Situer le projet au sein des orientations g�n�rales du Minist�re de la
Sant� et de l�INH en mati�re de renforcement des comp�tences du r�seau des
laboratoires de sant� publique au Maroc
- voir dans quelle mesure le projet permet de r�pondre aux diff�rents
objectifs fix�s par le Minist�re de la Sant� et l�INH en mati�re de
renforcement des comp�tences des laboratoires de sant� publique
- voir si la nature des moyens mis en �uvre est adapt�e aux besoins
- appr�cier le d�roulement du projet au niveau provincial, r�gional et
central
? Ce projet de coop�ration a t�il constitu� un moyen pertinent et efficace
pour r�pondre aux enjeux fix�s par le Minist�re de la Sant� et par l�INH en
mati�re de renforcement des comp�tences des laboratoires de sant� publique
au Maroc ?
3.2. Appr�cier la fa�on dont le projet a rempli les objectifs qui lui ont
�t� fix�s
Il conviendra en particulier de porter un jugement sur l�efficacit� du
projet pour
- la qualit� de la formation des personnes ayant b�n�fici� de stages en
France et de formations
- le nombre de personnes form�es au niveau central (formateurs)
- la capacit� des formateurs � transmettre les connaissances re�ues lors
des formations de premier niveau en central et � les d�multiplier au niveau
local
- le nombre de personnes concern�es par la formation en cascade au niveau
r�gional et provincial
- la p�rennit� de la formation acquise, que cela soit au premier niveau
comme au second
- la diversit� des cat�gories socioprofessionnelles touch�es par le projet
? Le montage de formation � en cascade � (formation de formateurs puis
niveau r�gional et provincial) a t�il pu se mettre en �uvre tel que pr�vu ?
? Ce montage a t�il permis de donner les capacit�s aux personnes form�es
au niveau central de devenir � leur tour formateurs, et ce dans les domaines
scientifiques couverts par le projet ?
3. 3. Fournir des indications sur l�impact du projet en mati�re de d�marche
qualit� au niveau des laboratoires du r�seau
- les retomb�es en mati�re de d�marche qualit�
- les retomb�es en mati�re d�organisation du syst�me
- les retomb�es en mati�re de prise en charge
4. Cahier des charges techniques de l��valuation
4.1. Le projet d�am�lioration des performances des laboratoires de sant�
publique sur la p�riode de r�f�rence (cf. paragraphe 2.2) et ses �volutions
quantitatives et qualitatives seront pr�sent�es de fa�on � r�pondre au plus
pr�s � la probl�matique pos�e ci-dessus.
4.2. Cadre m�thodologique de l��valuation
Le projet sera �valu� � partir des crit�res reconnus dans le domaine de l�
�valuation des politiques publiques en France et au sein des principales
agences internationales (Travaux du groupe de travail sur l��valuation du
Comit� d'aide au d�veloppement de l�OCDE, par exemple) :
- La pertinence examine le bien-fond� du projet, ind�pendamment de la mise
en �uvre de celui-ci ou des effets produits, au regard des objectifs et
enjeux sp�cifiques d�termin�s au d�part.
- La coh�rence appr�cie les rapports entre les divers �l�ments constitutifs
du projet et les contradictions �ventuelles.
- L�effectivit� d�termine si les actions pr�vues ont �t� r�ellement
conduites.
- L�efficacit� appr�cie l�atteinte et le degr� de r�alisation des objectifs
du programme ainsi que ses �ventuels effets non attendus (effets positifs ou
n�gatifs). Ce projet a t-il eu les effets escompt�s ? est-il la meilleure
solution pour obtenir les effets recherch�s ?
- L�efficience �tudie la relation entre les co�ts et les avantages. Les
ressources (financi�res, techniques, organisationnelles et humaines)
ont-elles �t� bien mobilis�es en temps voulu et au moindre co�t ? Les
r�sultats ont-ils �t� � la mesure des sommes d�pens�es ?
- L�impact juge des retomb�es de l�action � moyen et long terme en �tudiant
les effets de celle-ci dans un champ plus vaste (administratif,
institutionnel, juridique, �conomique, social, environnemental �). Les
cons�quences globales sont-elles b�n�fiques ?
- La viabilit� (ou la p�rennit�) examine les possibilit�s de poursuivre les
activit�s apr�s la fin de l�intervention. Les m�canismes sont-ils viables ?
Extensibles ?
4.3. Conclusions et enseignements
L��valuateur explicitera de la fa�on la plus claire possible les conclusions
auxquelles il sera parvenu (par type d�action, d�acteur, de moyen �) et
d�crira les m�thodes utilis�es pour arriver � ces conclusions.
Il pourra �galement tirer de ces conclusions des enseignements � caract�re
plus g�n�ral sur ce type de programme.
4.4. Recommandations
En s�appuyant sur les principaux constats et les conclusions de l�
�valuation, les �valuateurs pr�senteront des recommandations g�n�rales et
op�rationnelles pour l��volution et l�am�lioration du programme. Elles
r�pondront aux demandes adress�es aux �valuateurs dans les pr�sents termes
de r�f�rence.
4.5. Rapports
L��valuateur remettra un rapport provisoire au commanditaire de l�
�valuation. Ce dernier se chargera de recueillir et de communiquer � l�
�valuateur les remarques et commentaires qu�il suscitera soit, selon les
circonstances, en organisant une r�union de pr�sentation et de discussion de
ce rapport soit par transmission �crite.
Lorsque les observations porteront sur des erreurs factuelles ou des
compl�ments d�information, elles devront �tre prises en compte par l�
�valuateur. Si elles expriment des diff�rences d�appr�ciations non partag�es
par l��valuateur, celles-ci pourront �tre annex�es au rapport d�finitif.
Le rapport d�finitif devra comporter les �l�ments suivants :
- un sommaire
- une synth�se de quelques pages (3 � 5 pages maximum)
- un rappel de la m�thodologie
- une analyse
- des conclusions
- des recommandations
- des annexes (termes de r�f�rence, liste des personnes rencontr�es, listes
de documents cit�s au paragraphe 3.2, instruments de collecte de l�
information, donn�es g�n�rales et chiffr�es �).
Une fiche-r�sum� (2 pages maximum) sera �galement �tablie par l��valuateur,
selon un mod�le qui lui sera fourni le moment venu.
Le rapport final comportera la mention suivante : � ce rapport est un
document �tabli � la demande du Minist�re des Affaires Etrang�res. Les
analyses et commentaires d�velopp�s n�engagent que leurs auteurs et ne
constituent pas une position officielle. La diffusion de ce rapport a un
caract�re limit� et son usage est strictement limit� au cadre officiel �.
Le rapport interm�diaire et le rapport final seront fournis en 3 exemplaires
papier. L�ensemble des documents sera �galement transmis par voie
�lectronique (en Word 6 et Excel).
4.6. Expertise n�cessaire pour l��valuation
Les experts devront �tre ind�pendants du projet, c�est � dire ne pas avoir
travaill� au sein des structures ayant particip� au projet (INH et
laboratoires de sant� publique marocains).
Les experts devront justifier de r�f�rences dans le domaine de l��valuation
des politiques publiques et de la coop�ration internationale ainsi que dans
le domaine de la sant� publique et si possible en biologie.
Ils devront d�montrer une connaissance du dispositif, des m�canismes et des
instruments de la coop�ration fran�aise et du contexte scientifique des pays
du Maghreb.
La composition de l��quipe associera autant que faire se peut une expertise
marocaine ind�pendante et qualifi�e.
Un maximum de 15 homme-jour sera requis pour cette �valuation.
--
Adresse pour les messages destin�s au forum E-MED:
e-med@healthnet.org
Pour r�pondre � un message envoyer la r�ponse au forum
ou directement � l'auteur.
Pour vous inscrire, vous d�sinscrire et consulter les archives de e-med:
http://www.essentialdrugs.org/emed/
Pour toutes autres questions addresser vos messages �:
e-med-help@healthnet.org