Présentation du guide pratique d’auto-évaluation des effets de votre démarche communautaire en santé

Pourriez-vous nous donner quelques éléments sur la construction de ce guide pratique ?

Dans les années 2000, l’Institut Renaudot a contribué au sein du Secrétariat Européen des Pratiques en Santé Communautaire (SEPSaC) à dessiner les contours de la démarche communautaire en santé à travers 8 repères1 qui ne prétendent pas se poser comme une définition figée mais comme un cadre appelé à évoluer. Ils ont été construits à partir de l’analyse des pratiques en France, Belgique et Espagne.

L’un de ces repères : « 8. Avoir une démarche de planification par une évaluation partagée, évolutive et permanente » - pose le principe d’une évaluation co-construite avec l’ensemble des acteurs à toutes les étapes d‘un projet, du diagnostic partagé (qui est déjà une évaluation en soi) aux effets du projet en passant par sa mise en œuvre.

Si les acteurs sont plutôt familiers des évaluations quantitatives portant notamment sur le taux de participation aux actions, les caractéristiques des participants, leur niveau de satisfaction, les connaissances acquises… parce qu’elles sont mobilisées pour rendre compte des projets aux financeurs notamment, il n’en est pas de même pour la dimension qualitative qui fait appel à une lecture différente des projets.

C’est pour approfondir ce volet qualitatif de l’évaluation des actions conduites en démarche communautaire que l’Institut Renaudot a mis en place une recherche-action soutenue par l’l’INPES2 et accompagnée par l’EHESP3 . Elle visait à observer, à partir de la pratique les effets des démarches communautaires en santé et non à décrire les processus.
Cette étude a été menée pendant 5 ans avec des acteurs déjà engagés dans des démarches communautaires :

• le Codes 66 avec le projet « Ateliers santé/mieux-être » au sein du quartier du Nouveau Logis à Perpignan,
• la Maison de quartier Jean Yole à La Roche-sur-Yon avec le « Grenier des compétences »,
• l’association L’Écume du jour à Beauvais avec le Collectif « Choisis ta santé ! »,
• l’association Pause à Évry avec son projet de formation à l’animation de groupes de parole entre bénévoles et thérapeutes,
• le centre social Caf à Bourges avec son projet « Ateliers santé bien-être ».

Ces acteurs se sont réunis régulièrement pendant deux ans pour partager et échanger sur l’avancée de leurs travaux. Ils ont commencé par identifier des effets de leurs démarches, de façon très large. A partir de leurs constats et de leurs souhaits, ceux-ci ont été regroupés initialement en 3 catégories : effets sur les habitants, sur les professionnels et sur les institutions. Finalement, cette dernière catégorie n’a pas été traitée par le groupe. Elle a été remplacée par les effets sur l’environnement politique et structurel. Le guide s’organise autour de ces 3 catégories, chacune déclinée en effets spécifiques4 :

1.  Les ressources individuelles et les comportements par rapport à la santé
2.  L’environnement physique et social local
3.  L’environnement politique et structurel

Dans un second temps, les acteurs impliqués dans l’élaboration de ce guide ont identifié des outils existants ou les ont créés pour mesurer ces effets et les ont mis en œuvre.

Quelques témoignages d’effets identifiés : "Notre démarche a permis d’établir une confiance réciproque entre habitants et professionnels" ; "Cela a permis aux professionnels une meilleure connaissance des métiers, des systèmes, de la législation par le travail en réseau" ; "L’école a ainsi pu sortir de la cité."

Après une première évaluation de ce guide avec les acteurs, il a été proposé une version numérique des différentes grilles afin de faciliter le travail collaboratif des équipes.

Quelles sont les principales difficultés que peuvent rencontrer les promoteurs lorsqu’ils souhaitent évaluer une démarche communautaire en santé (choix des indicateurs …) ?

Lorsque nous travaillons sur l’évaluation partagée avec les acteurs qui nous sollicitent, nous repérons plusieurs niveaux de difficultés pour évaluer les démarches communautaires en santé.

• Un premier niveau se situe sur la pratique même de l’évaluation. Comme nous l’avons vu plus haut, l’évaluation est souvent réduite au recueil de données quantitatives par le professionnel qui coordonne l’action à destination des institutions qui la financent. Il faut donc souvent retravailler ce qu’est une évaluation, à quoi elle peut servir, la « dédramatiser » et introduire la possibilité d’une auto-évaluation qui peut être rigoureuse, riche et partagée.
• Quand une évaluation existe, le plus souvent quantitative nous l’avons vu plus haut, elle arrive souvent à la fin de l’action et non tout au long de son déroulement. Elle ne peut donc pas jouer son rôle d’amélioration parfois nécessaire lorsque des difficultés apparaissent. Parfois, les outils de suivi de l’action mis en place (cahier de bord, grille d’observation et d’analyse…) n’ont pas été utilisés et cela nécessite de faire appel à la mémoire des acteurs pour retracer le déroulement de l’action avec le risque de perdre une partie des données ou d’en altérer la qualité.
• Un troisième niveau de difficultés concerne l’adéquation ou l’inadéquation des outils au regard des critères d’évaluation choisis souvent par le seul concepteur du projet. La conséquence est, entre autre, le manque d’appropriation de la démarche d’évaluation par les participants.
• Un quatrième niveau réside dans les attendus par les institutions des évaluations et par les indicateurs proposés par le guide. En effet, cette auto-évaluation ne vise pas l’efficacité de la démarche en termes d’amélioration de l’état de santé de la population par une approche statistique (notamment via une comparaison entre plusieurs sites). Cette approche est soit réservée à des politiques intégrant plusieurs dimensions ou des approches complexes de type recherche évaluative (suivi de cohorte, essai randomisé…). Ce sont des approches longues et couteuses. Elle s’intéresse aux changements produits sur les ressources développées ou mobilisées par les participants (estime de soi, reconnaissance…) à la mesure de l’empowerment individuel et collectif, à l’évolution des pratiques des professionnels. Et à la dimension intersectorielle. Ces éléments représentent des indicateurs indirects et immédiatement mesurables de suivi de l’action, indicateurs dont on sait qu’ils participent à la qualité des actions en promotion de la santé et à l’amélioration de la santé d’une population.  
• Les évaluations ne font pas systématiquement l’objet de restitutions auprès de tous les acteurs impliqués dans les projets qu’ils soient habitants, professionnels ou élus. La valorisation des actions et de ce qu’elles produisent sont peu visibles, et partagées pour les participants mais aussi auprès d’autres acteurs qui pourraient s’en inspirer ou en apprendre quelque chose.

Enfin, si l’on se réfère aux repères des démarches communautaires en santé pour mettre en place une évaluation et auto-évaluation des actions, les acteurs dans leurs diversités sont invités à co-construire des indicateurs des effets qu’ils souhaitent mesurer/valoriser à toutes les étapes du développement du projet en se posant les questions suivantes : une évaluation pour quoi ? Pour qui ? Par qui ? Comment ? Quand ? …  Mais chacun, qu’il soit habitant, professionnel, institutionnel, ou élu n’attend pas forcement le même résultat, ne se pose pas les mêmes questions. C’est bien le travail de co-construction qui pourra faire émerger cette diversité, parfois même des contradictions entre les regards et les attentes. Par conséquent, les temporalités nécessaires pour élaborer et conduire ces évaluations s’en trouvent modifiées. En revanche, la qualité de l’évaluation fera ressortir toute la richesse du projet, porte d’entrée d’une capitalisation créatrice de connaissance à partager.

En quoi ce guide peut aider les acteurs ?

Si dans un premier temps, ce guide pratique peut sembler dense et difficile d’approche, on peut rapidement à sa lecture, se l’approprier tant par rapport à la méthodologie pour construire et conduire ces évaluations que par les outils proposés constamment illustrés par des exemples concrets. Comme nous l’avons vu plus haut, ce guide a été conçu à partir de l’observation et l’analyse par les acteurs eux même de leurs actions. Il permet d’avancer étape par étape dans la construction de « l’auto-évaluation » du projet par ses promoteurs avec l’ensemble des acteurs concernés par ce projet. Il constitue une aide à la construction de la réflexion, et donne à chaque page un exemple pour illustrer la démarche proposée.

Il donne des pistes de réflexion pour aborder une diversité d’effets à partir du tableau général proposé par ce guide.  La forme des outils, facilite le travail collectif : la numérisation des grilles des effets présentés, qui peuvent être renseignées directement, facilite le travail d’écriture à plusieurs.

Ce guide peut être un bon outil pour préparer la compréhension des enjeux de l’évaluation par chacun des acteurs afin de leur permettre une pleine et meilleure contribution à l’élaboration collective de cette évaluation.

Il est aussi une porte d’entrée pour aborder la question du « pouvoir d’agir » individuel et collectif des acteurs. A l’Institut Renaudot, nous associons souvent la présentation de ce guide d’autoévaluation des effets des démarches communautaires en santé à la présentation de grilles d’évaluation du processus d’empowerment individuel et du processus d’empowerment collectif. Cette association permet d’approfondir et de mesurer les impacts du projet sur chaque acteur individuellement et par rapport au groupe. Les chapitres du guide, les questions posées permettent d’illustrer ce qui caractérise les démarches communautaires en santé et ce qu’elles peuvent produire comme changements pour l’ensemble des parties prenantes. En le parcourant, on peut aussi s’interroger sur les objectifs à atteindre à travers la démarche que l’on initie et réfléchir aux stratégies à développer pour y parvenir. Il est aussi un guide pour l’action.

Afin de faciliter son appropriation, l’Institut Renaudot propose un module de formation sur l’évaluation partagée qui s’appuie sur ce guide pratique.