Evaluer les démarches participatives - Enseignements de la journée d'échanges du 10 mai 2021

David Muller, Chargé de projets à l’Institut Renaudot, a présenté le projet « Semer Manger Bouger » et proposé un blason pour la démarche participative.

Semer Manger Bouger est un projet participatif initié par le Pôle Santé de l’association Cité Caritas, dont les activités principales sont l’hébergement social et médico-social, l’accompagnement au logement, l’insertion par l’activité professionnelle, etc. Le centre d’hébergement d’urgence de la cité de Maurepas dans les Yvelines (78) s’est inscrit dans cette démarche avec les résidents du centre. Il s’agit d’une démarche de co-construction pour répondre à la problématique d’une bonne alimentation des résidents dans leurs structures en essayant d’éviter le gaspillage. Un des enjeux forts de cette démarche est d’améliorer la participation de tous les acteurs du projet et impliquer les résidents de la cité dans la vie du CHU.

Autour d’un jardin partagé, plusieurs acteurs associatifs participent au projet sur les questions relatives à l’activité physique (Union française des œuvres laïques d'éducation physique (Ufolep)) à la photographie (association OOK) et à la nutrition (Ligue contre l’obésité) Toutes ces associations sont associées à la démarche participative. L’institut Renaudot est intervenu dans ce projet pour former les acteurs à la méthodologie de projet pour créer les conditions de la participation et à la construction de l’évaluation du projet.

Il s’agit d’une démarche de co-construction engagée dès l’élaboration du projet, de sa planification et de son évaluation.

Pour en savoir plus

• Association Cité Caritas
• Vidéo du projet "Semer, Manger, Bouger"
• Photos du projet "Semer, Manger, Bouger"

Annabelle William, Responsable Prévention Promotion de la Santé, en charge de la Coordination de l’atelier santé ville (ASV) et le contrat local de santé (CLS) de la ville de Pierrefitte sur Seine (93) et Barbara Renaud, Diététicienne au Centre Municipal de Santé (CMS) ont présenté le dispositif des « Ambassadrices de la diététique » et proposé un blason pour la démarche.

Les Ambassadrices de la diététique sont des femmes pierrefittoises, formées à la prévention primaire en nutrition dans le cadre d’une démarche de prévention et de promotion de la santé développée par l’ASV au sein du CMS de la ville.

Cette démarche part de deux constats. 1) Les messages de santé publique (recommandations, repères nutritionnels, etc.) sont principalement construits sur des représentations d’une nutrition franco européenne qui ne sont pas toujours adaptées à d’autres cultures alimentaires. Cela constitue un frein à la compréhension et l’appropriation de ces messages. 2) Il existe de nombreuses idées reçues sur la nutrition, très fortement véhiculées sur les temps d’échanges informels entre les habitants.

Le but de cette démarche et de mettre en place un pool ressource de femmes « ambassadrices de la diététique » qui deviennent alors des personnes relais, issues de différentes communautés, sur lesquelles les habitants de Pierrefitte sur Seine, et le service diététique peut s’appuyer. Cette démarche a également comme objectif de : 

• aller-vers les publics que les professionnels ont plus de mal à toucher, plus éloignés du système de prévention santé

• s’appuyer sur les ambassadrices pour participer à la déconstruction des idées reçues sur la nutrition, auprès des autres habitants, lors des échanges informels

• à plus long terme, mobiliser les ambassadrices lors des évènements santé organisés par la municipalité, au côté du service diététique (journée des associations, permanence dans les écoles pour intervenir auprès des parents…)

• soutenir la diététicienne sur les interventions de prévention primaire, lui laissant ainsi plus de temps pour mettre à disposition des habitants des ressources en prévention secondaire ou tertiaire

Avec l’ASV, la diététicienne du CMS organise des ateliers diététiques collectifs sur la nutrition. Ces ateliers sont notamment l’occasion pour les habitantes de travailler sur les messages nutritionnels de santé publique et de les adapter à leur pratique culinaire culturelle, pour faciliter leur appropriation. La diététicienne construit la formation en reprenant les axes abordés lors des ateliers, au rythme de la progression des ambassadrices. La situation de la COVID 19 a ralenti le rythme des formations, mais entre les différents confinements, et selon les mesures politiques en vigeur, la diététicienne a mis en place d'autres techniques pour garder le lien (groupe WhatsApp, balade dans les rues…).

Le principe fondamental de cette démarche est qu'elle n’est pas figée et qu'elle s'adapte au rythme des ambassadrices. Le but n’étant pas de "boucler le projet dans l’année" mais de prendre le temps dont a besoin la démarche participative.

Il s’agit d’une démarche d’implication des habitants à des actions d’éducation par des pairs, formées pour devenir des relais pour les habitants et les professionnels. L’éducation par les pairs est une approche éducationnelle qui fait appel à des pairs (habitantes de Pierrefitte, issues de différentes communautés) pour donner de l'information et pour mettre en avant des types de comportements et de valeurs [Amsellem-Mainguy Y., 2014]

Pour en savoir plus

• Ateliers santé-ville site internet de la ville de Pierrefitte-sur-Seine
• Contrat local de santé de 3^ème génération de Pierrefitte-sur-Seine 2019-2022

Kahina Ould Kaci, habitante du 19ème arrondissement de Paris, Fatoumata Diarra, médiatrice socio-culturelle et Léa Marhic, animatrice-coordinatrice en promotion de la santé à Espace19 ont présenté la démarche participative « Pour une alimentation saine, durable et accessible à toutes et tous » et proposé un blason pour le projet.

L’association Espace19 regroupe 3 centres sociaux et culturels du 19ème arrondissement de Paris (Cambrai, Riquet et Ourcq) avec : accueils, petite enfance, accompagnement scolaire, loisirs éducatifs pour les jeunes, soutien à la parentalité, ouverture culturelle, etc. Le Pôle transversal Santé & médiation d'Espace 19 a pour mission de mettre en place des actions de prévention en santé auprès de tous les publics des trois centres au travers d’une approche globale en promotion de la santé.

Dans le cadre de l'axe 4 du projet régional de santé PRS 2018-2022 « Permettre à chaque francilien d’être acteur de sa santé et des politiques de santé », l’ARS Ile-de-France a sollicité Espace19 via la Fédération des associations de médiation afin de mobiliser un groupe d’habitants dans l’objectif de les accompagner à la définition des besoins en santé dans leur quartier puis à la rédaction d’un projet pour répondre à ces besoins.

Le thème de l’alimentation a été retenu par les habitants, en particulier l’accès à des produits sains, vendus en circuits courts, à des prix raisonnables. Le projet vise donc la création d’un groupement d’achat de produits de qualité, bio, à prix coûtant et en circuits courts, ainsi que des actions de sensibilisation sur l’alimentation équilibrée et durable.

Le projet est financé par France Relance : plan de soutien aux associations de lutte contre la pauvreté, la Ville de Paris, l’ARS Idf et la Fondation de France. Plusieurs acteurs participent à ce projet : les habitants membres du collectif, Espace19 (3 salariées dont 2 du Pôle Santé-Médiation pour l’accompagnement du collectif dans le montage du projet, les équipes des centres sociaux pour la mobilisation du public) et la Fédération des associations de médiation sociale et culturelle d’Ile de France (La Fédé) ainsi qu’un chercheur sociologue pour l’accompagnement de l’étude du projet de recherche-action. Les partenaires opérationnels du projet sont Accolades (SCOP), Itawa (Association) et un réseau de producteurs locaux.

Il s’agit d’une démarche de co-construction à co-décision. Les habitants sont impliqués dans tous les chantiers du projet – gestion, logistique, communication, producteurs – et ont bénéficié de formations visant à favoriser leur autonomie dans la gestion et la gouvernance du projet, dans un esprit de développement du pouvoir d’agir. Le projet est aussi construit autour de valeurs communes qui ont été travaillées par le collectif : solidarité, vivre ensemble, partage, lien social.

Le rôle d’Espace19 dans ce projet est décliné en 5 actions principales :

• Accompagner le groupe d’habitants à repérer les expériences de groupement d’achat et les partenaires possibles du projet (coopératives de consommation alimentaire, AMAP, producteurs...)
• Accompagner le groupe à définir l’offre alimentaire
• Accompagner les habitants sur l’organisation, le lancement et la gestion du groupement d’achat
• Accompagner les habitants au changement de consommation (visite chez les producteurs, ateliers cuisine, animations-débats…)
• Former pour que les habitants soient eux-mêmes des acteurs, afin de garantir l’autonomisation des personnes et la pérennité de l’action

Pour en savoir plus

• Site internet de l'Espace19

La Société Française d’Evaluation résume le processus d’évaluation en 3 questions :

• Qu’a–t-on fait ?
• Fallait-il le faire ?
• A-t-on bien fait ? Comment faire mieux ?

La mesure permet d’apporter une réponse à la première question « Qu'a-t-on fait ? » en apportant une information synthétique sur ce qui a été fait et les résultats obtenus suite à l’action, au regard des objectifs fixés : qu’est-ce qu’on a voulu bouger à travers l’action et qu’est-ce qui a effectivement bougé ?

La mesure nécessite de s’appuyer sur des indicateurs, permettant d’apprécier les changements liés à l’action mise en œuvre. Un indicateur est une variable qui permet de décrire un phénomène. Construire un indicateur revient à se poser la question : comment vais-je mesurer ce que je souhaite évaluer ?

Ces indicateurs peuvent être quantitatifs ou qualitatifs.  

• Certains indicateurs chiffrés peuvent être élaborés en amont de l’action et relevés de manière systématique pour évaluer l’efficacité de l’action. Il faut être attentif au choix des indicateurs chiffrés. Par exemple, à court terme, on peut mesurer la consommation de fruits et légumes des personnes, mais pas l’efficacité d’une action sur la prévalence de l’obésité ou l’état de santé.
• D’autres indicateurs peuvent être observés et racontés tout au long de l’action, pour rendre compte de dimensions plus qualitatives. On peut utiliser des techniques d’observation, des entretiens individuels ou en groupe, ou bien des questionnaires pour apprécier ces dimensions. Les données qualitatives peuvent permettre, par exemple, de raconter l’évolution d'un projet et notamment, rendre compte, garder une trace, du comment et du pourquoi, le projet a été réorienté en cours de route.
• Les changements que l’on observe parmi les participants, et notamment l’accroissement de l’empowerment pour certaines démarches participatives peuvent être évalués à l’aide d’entretiens ou d’auto-questionnaires. Par exemple : les personnes concernées ont-elles accès à l’information ? Les personnes concernées ont-elles la capacité d’utiliser leurs ressources pour intervenir dans le processus de décision ? Les personnes concernées ont-elles un sentiment d’accomplissement et de performance ? (Approche de Kabeer N.)

La mesure est donc un instrument de l’évaluation, mais mesure et évaluation ne se recouvrent pas en totalité. L’évaluation comporte aussi l’interprétation de cette mesure en termes de pertinence, efficacité, efficience, ainsi que la communication aux parties-prenantes des informations utiles pour la prise de décision.  

La mesure permet de dire et de vérifier ce qui a été fait, l’évaluation permet d’apprécier la valeur de l’action évaluée, en contexte, et pour les participants et/ou bénéficiaires de l’action.

Pour en savoir plus

• Site internet de la Société Française d'Évaluation
• Guide de l’évaluation Ministère des Affaires Étrangères, 2005 : Glossaire en annexe 10, p.58
• Kit de la participation citoyenne aux politiques de solidarités HCTS, 2019 : indicateurs p.64

Évaluer c'est aussi raconter l'histoire du projet, faire le récit des expériences, de ce qui s'est passé. L’évaluation de l’action menée permet de mettre en valeur ce qui a été fait et les résultats obtenus.

Elle permet de rendre compte auprès des financeurs et des partenaires, et de pouvoir éventuellement poursuivre, reconduire, ou réorienter l’action. Il s’agit de la finalité stratégique de l’évaluation.

Elle permet aussi de rendre compte auprès des participants au projets, aux bénéficiaires, et plus largement à l’ensemble des citoyens dans le cadre de l’action publique. Il s’agit de la finalité démocratique de l’évaluation.

Dans les démarches participatives en particulier, l’évaluation permet aussi de valoriser les personnes qui ont participé au projet. Il s’agit de mettre en valeur les compétences des participants, leur engagement, leurs réussites. Tout ceci participe à accroître l’empowerment des participants.

Mettre en valeur les avancées et les réussites permet aussi de renforcer l’engagement des participants dans le projet. Inversement, l’absence d’évaluation et de retour aux habitants peut entraîner déception et démobilisation.

Pour en savoir plus

• Site de la Société Française d’Évaluation
• Participation des habitants : de l’expression à la co-construction IREV Nord-Pas-de-Calais, 2014 : Chapitre « Mener des expériences gratifiantes, acquérir une expérience positive d’autonomie », p.41

Même quand l’évaluation intervient après l’action, il est important de l’anticiper en amont, afin de pouvoir relever l’ensemble des éléments nécessaires au fur et à mesure.

Il est aussi intéressant d’évaluer certaines dimensions tout au long du projet car cela peut permettre de réorienter l’action. Des éléments peuvent aussi apparaître au cours du projet, et l’évaluation peut donc être amenée à s’adapter en fonction de l’évolution du projet.

Dans le cadre des démarches participatives, co-construire les indicateurs avec l’ensemble des participants peut permettre d’identifier des dimensions évaluatives nouvelles ou différentes de celles prévues par les porteurs du projet.

Pour en savoir plus

• L’évaluation en 7 étapes : guide pratique pour l’évaluation des actions et programmes Santé et Social IREPS et ORS Auvergne-Rhône-Alpes, 2019
• Gillian Kranias, Trousse d’évaluation participative Toronto, Réseau CS, mars 2017
• Fiche méthode : Évaluation de projet site de Promotion Santé IDF - rubrique AGIR
• Fiche méthode : Évaluation d’une démarche participative site de Promotion Santé IDF -  rubrique AGIR

L’évaluation menée à la fin du projet permet de mesurer les changements observés après l’action par rapport à la situation de base. Il s’agit ici d’être prudent, selon la méthodologie employée, sur l’imputabilité à l’action des résultats observés.

Pour renforcer l’hypothèse du lien de causalité entre l’action et le changement observé, il importe de pouvoir bien décrire les mécanismes de l’action. L’élaboration d’un modèle logique en amont, permet d’identifier les leviers sur lesquels l’action est censée s’appuyer pour obtenir les résultats souhaités.

Il s’agit aussi d’évaluer le processus mis en œuvre tout au long du projet et son adéquation avec le modèle envisagé : ressources engagées, mise en œuvre conforme, difficultés rencontrées et solutions…

Mieux comprendre Processus/Activité/Résultats avec la Fiche Projet n°6

Cette analyse du processus va par ailleurs permettre éventuellement de capitaliser sur l’expérience acquise pendant le projet. La capitalisation d’expérience consiste à détailler et analyser une intervention de santé, avec les acteurs, pour mettre en évidence les logiques à l’œuvre et décrire en détail les contextes, les savoirs issus de l’action, et les stratégies déployées. Elle permet de s’appuyer sur les interventions déjà existantes pour en tirer des connaissances partageables aux autres acteurs (Ferron, Laurent, Soudier, 2021).

Enfin, cette analyse du processus permet aussi d’obtenir des éléments contextualisés sur les leviers et les freins au projet, et d’envisager éventuellement sa transférabilité (et non sa reproductibilité) dans d’autres contextes [Cambon L., La Santé en action n°456, 2021]

Pour en savoir plus

• Modèle logique sur le site eval.fr
• Ferron C., Laurent A., Soudier B., Capitalisation des expériences en promotion de la santé : enjeux, apports et méthode La Santé en Action n°456, Juin 2021
• Cambon L., Transfert de connaissances, données probantes, transférabilité : de la clarification des concepts aux changement des pratiques La Santé en Action n°456, Juin 2021

Les participants ont apporté des réponses à la question « Qu’est-ce qui fait que la démarche participative est réussie ? » en proposant des dimensions évaluatives. Ces dimensions, peuvent servir de base de réflexion pour construire les critères d'évaluation correspondants, comme par exemple l'évolution des services, l'évolution des modalités d'engagement des habitants dans le projet...

La démarche participative peut nécessiter de mettre en place des nouveaux modes de travail et de fonctionnement pour les professionnels. Les changements observés dans les manières de travailler peuvent constituer un aspect de l’évaluation de la démarche :

• Bienveillance et non jugement
• Libre expression
• Adaptation mutuelle
• Coopération et co-construction
• Plaisir des participants

Ces différents éléments peuvent être appréciés de manière qualitative, par une description du développement du projet, ses temps forts, le déroulement des réunions et des groupes de travail, sous forme de récits, de partages d'expériences, etc. On peut aussi interroger directement les participants sur les différents aspects que l’on souhaite évaluer : convivialité, prise de parole, coopération…

La démarche participative peut aussi avoir un impact sur le déroulement du projet en lui-même :
Les objectifs initiaux du projet peuvent être modifiés suite à un diagnostic participatif montrant des besoins différents de ceux identifiés initialement.
Le déroulement du projet peut-être régulièrement modifié et réadapté. Ces adaptations sont un signe de la vitalité et de la dynamique de la démarche participative et montrent que l’on a cherché l’adéquation entre les attentes des participants et le cadre du projet.
La description des évolutions progressives du projet, et des choix qui ont été faits peut constituer un élément d’évaluation de processus de la démarche.

L’importance de la mobilisation, le nombre de participants et la régularité de leur participation, constituent des indicateurs classiques permettant d’apprécier la qualité de la démarche. Ils peuvent aussi être associés à des dimensions plus qualitatives : à quoi participent les personnes concernées ? Comment les personnes communiquent-elles autour du projet ? Dans quelle mesure mobilisent-elles de nouveaux participants ? Que leur apporte cette participation ?
La mobilisation peut également amener à se poser la question de la non-participation : qui participe et qui ne participe pas ?

Par ailleurs, l’inscription de l’action dans une démarche participative peut permettre de rendre le service concerné plus accessible et ouvert aux personnes. Ce résultat peut être mis en évidence par une participation plus importante à l’ensemble des activités du service, des sollicitations plus fréquentes, des marques d’intérêt pour les actions menées…

Enfin, l’un des effets visés par certaines démarches participatives est l’accroissement de l’empowerment des participants. Cet effet peut être évalué par différentes méthodes qualitatives.

Pour aller plus loin :

La participation des habitants-usagers citoyens est dans l’ADN de l’Institut Renaudot. L’objet de l’Institut étant le développement des démarches communautaires en santé, il va de soi que la question de la participation est centrale dans les projets, les réflexions, les prises de position de l'Institut. La santé communautaire est le "processus par lequel les membres d’une collectivité, géographique ou sociale, conscients de leur appartenance à un même groupe, réfléchissent en commun sur les problèmes de leur santé, expriment leurs besoins prioritaires et participent activement à la mise en place, au déroulement et à l’évaluation des activités les plus aptes à répondre à ces priorités." [OMS].

L'objectif de l'Institut Renaudot est d’accompagner tous ceux et celles qui, dans leurs actions, dans leur institution, sur leur territoire souhaitent associer les habitants usagers citoyens. Cela se construit petit à petit pour aller vers de plus en plus de place, de légitimité, de pouvoir et de participation aux décisions. L’essentiel étant de bien identifier jusqu’où chacun souhaite et peut aller dans cette démarche d’intégration des principaux concernés.

Pour en savoir plus

• Site de l'Institut Renaudot

Le Pôle de ressources Ile-de-France en Education thérapeutique du patient été créé en 2013 par des acteurs de terrain, et est soutenu par l’Agence Régionale de Santé. Il est missionné pour venir en appui du développement de l’ETP et des pratiques d’accompagnement à l’autonomie en santé des personnes malades chroniques. Dans ce cadre et en position d’expertise et médiatrice il facilite la création d’environnements et espaces favorables pour que les professionnels de santé, les patients mais aussi les chercheurs et les institutionnels coopèrent entre eux pour coconstruire des solutions durables et accessibles sur le territoire de l’Ile de France.
Ses services s’appuient sur des méthodes de codesign créatif avec une forte valeur de recherche d’usage en situation :

• Ateliers d'entrainement aux pratiques éducatives et d’accompagnement
• Appuis méthodologiques aux équipes et structures qui le sollicitent pour la conception et la mise en œuvre d'activités d'ETP
• Organisation de séminaires collaboratifs entre patients, professionnels de santé, chercheurs, institutionnels
• Formations de patients intervenants et aux partenariats professionnel-patient
• Formations-actions aux pratiques coopératives en santé
• Organisation et suivi de projets puripartenariaux en living lab : coconstruction de solutions de supports durables, notamment numériques, à l'ETP et à l'accompagnement vers l'autonomie en santé

Dans une vision de contribution à la démocratie en santé et sociale l’équipe du Pôle ETP s’appuie sur quatre valeurs essentielles que sont le respect, la bienveillance, l’empathie et la réflexivité. Ses activités amènent l’équipe à réfléchir sur ses pratiques autant qu’elle encourage la réflexion sur les pratiques de ses partenaires, en partant des besoins des différents acteurs. Cherchant à développer la coopération entre les patients et les professionnels, toutes ses actions sont  co-construites et mise en œuvre  entre animateurs patients et animateurs professionnels.

Pour en savoir plus

• Site du Pôle ETP Ile-de-France
• Charte des animateurs du Pôle ETP Ile-de-France

Promotion Santé Ile-de-France est un dispositif de ressources qui a pour vocation de contribuer au développement de la promotion de la santé en Ile-de-France. Il s'adresse à tous les acteurs franciliens intervenant en promotion de la santé, qu’ils soient professionnels du champ social, médico-social, sanitaire, pédagogique, du développement durable, de l'habitat, bénévoles, élus, représentants des habitants-usagers-citoyens, etc.

Promotion Santé Ile-de-France a consacré un dossier « Comprendre et Agir » sur la participation des habitants-usagers-citoyens publié en novembre 2020.
Cette collection a pour but de donner les clés de compréhension et de faciliter le montage de démarches participatives par les acteurs de terrain en promotion de la santé. Le dossier met l’accent sur les enjeux de la participation et des méthodes pour engager et faire vivre les démarches participatives en promotion de la santé. Il a été construit avec l’appui d’une quarantaine de contributeurs, dont des représentants d’usagers au travers d’entretiens, d’interviews ou de témoignages.