Comment choisir trois indicateurs sans confondre activité, résultat et impact ?

Donner à chaque indicateur une question

Le point de départ est un objectif suffisamment précis : permettre aux habitants concernés d’achever une démarche administrative dans des conditions satisfaisantes. Le nombre de permanences décrit l’activité proposée ; le nombre de dossiers achevés décrit un résultat ; l’effet du dispositif sur les démarches qui auraient été abandonnées sans lui constitue une question d’impact. Ces trois niveaux peuvent être utiles, mais ils ne sont pas substituables.

Le guide de France Stratégie de 2016 relie le choix des variables à l’objectif poursuivi et rappelle qu’une comparaison doit traiter les mécanismes de sélection pour soutenir une conclusion causale. Cette méthode invite à demander ce que le chiffre prouve réellement. Le taux d’achèvement des usagers du service ne mesure pas, à lui seul, l’effet du service sur l’ensemble des habitants qui rencontrent une difficulté.^[1]

Un indicateur reçoit donc une fiche comportant sa définition, le numérateur, le dénominateur, la période, la source et les exclusions. Le taux d’achèvement doit préciser si un dossier transmis mais incomplet est compté, si une personne peut apparaître plusieurs fois et si les démarches encore en cours sont exclues. Ces choix modifient le résultat. Les rendre explicites permet une discussion avant que le chiffre ne devienne un objectif de performance.

Le nombre limité d’indicateurs doit correspondre à la décision. Trois indicateurs ne peuvent représenter toutes les dimensions d’une politique, mais ils peuvent constituer une base cohérente : accès au public visé, résultat obtenu et délai ou qualité. Les questions non couvertes sont traitées par des données complémentaires ou des investigations ciblées. Le tableau de bord ne doit pas prétendre épuiser le jugement.

Il faut aussi éviter qu’un indicateur cumule des objets contradictoires. Une moyenne associant une démarche simple et une procédure longue peut évoluer seulement parce que la composition des dossiers change. Une amélioration apparente ne signifie alors pas que le service traite mieux chaque situation. La définition doit permettre de distinguer les groupes ou les types de démarche qui rendent la comparaison intelligible.

Choisir une source et un rythme soutenables

La meilleure donnée théorique n’est pas nécessairement disponible à un coût acceptable. Les fichiers de gestion peuvent fournir les dates et les actes réalisés, mais pas l’expérience des habitants. Une enquête peut mesurer la compréhension ou les difficultés, mais sa réponse peut être sélective. Le choix de source doit donc préciser la question couverte et les biais prévisibles, au lieu de donner à la donnée administrative ou à l’enquête une supériorité générale.

Une collecte manuelle simple peut être pertinente si les définitions sont stables et les agents formés. Elle devient fragile si chaque service interprète les catégories différemment. Le contrôle porte sur un échantillon de situations et sur la cohérence des dates, pas uniquement sur l’absence de case vide. L’équipe conserve également la version de la définition utilisée, afin qu’un changement de règle de saisie ne passe pas pour une évolution de la politique.

La périodicité dépend de la vitesse à laquelle la donnée peut éclairer une action. Un suivi hebdomadaire des files d’attente peut soutenir l’organisation ; un résultat d’accès durable se mesure sur une durée plus longue. Publier chaque semaine un indicateur annuel ne produit pas une connaissance nouvelle. Le calendrier distingue le suivi opérationnel, l’analyse des tendances et le moment où une décision de poursuite devient possible.

La collecte doit aussi respecter son cadre juridique. Lorsque les données sont personnelles, le service doit instruire finalité, base juridique, minimisation et durée de conservation. Un besoin d’évaluation ne permet pas de recueillir toutes les caractéristiques disponibles sans relation avec la question. Pour le tableau décisionnel, des données agrégées peuvent suffire. Les analyses individuelles éventuellement nécessaires suivent un dispositif propre et des accès adaptés.^[4]

Enfin, la source doit rester reproductible. Le dossier indique comment les extractions sont réalisées et comment les corrections sont enregistrées. Si un chiffre ne peut être retrouvé, la discussion se déplace vers la confiance dans son auteur. La traçabilité permet de débattre du sens et des limites de la mesure, plutôt que de recommencer chaque fois l’identification de son origine.

Construire trois indicateurs sur un service fictif

Dans un exemple fictif, une commune propose un accompagnement à des habitants rencontrant des difficultés avec leurs démarches. Elle souhaite décider si elle étend les permanences. Le premier indicateur porte sur l’accès : nombre de personnes du public cible effectivement accompagnées rapporté au nombre estimé de personnes concernées. L’estimation du public cible doit être explicitée ; si elle est trop incertaine, le rapport indique une fourchette ou conserve un nombre accompagné sans inventer un taux précis.

Le deuxième indicateur est le taux de démarches achevées dans les soixante jours parmi celles entrées dans le dispositif. Une cohorte d’entrée est utilisée pour éviter de comparer des dossiers dont la durée d’observation diffère. Les dossiers récemment ouverts ne sont pas déclarés en échec parce que les soixante jours ne sont pas écoulés. Les abandons et situations sans nouvelle sont présentés séparément, afin de ne pas les faire disparaître du dénominateur.

Le troisième indicateur mesure le délai entre la demande d’accompagnement et le premier rendez-vous, avec une médiane et une valeur décrivant les attentes les plus longues. Une moyenne seule peut être tirée par quelques cas extrêmes ou cacher une minorité très mal servie. Cette mesure décrit l’accès au service ; elle ne doit pas être confondue avec le délai de traitement par l’administration destinataire de la démarche.

Sur un trimestre fictif, cent personnes entrent dans le dispositif ; quatre-vingts achèvent la démarche dans le délai retenu, dix l’abandonnent et dix restent sans information suffisante. Le taux d’achèvement observé est de 80 %, mais l’analyse doit commenter les vingt autres situations. Si les personnes sans suivi sont surtout celles dont les dossiers sont les plus complexes, le résultat publié peut surestimer la capacité du service à accompagner les difficultés majeures.

Le délai médian de rendez-vous diminue de douze à huit jours. Dans le même temps, le dixième de personnes les plus longtemps en attente passe de vingt-cinq à trente jours. Le service progresse donc pour la situation centrale et se dégrade pour une partie du public. La décision ne peut se limiter à afficher quatre jours gagnés : elle examine l’organisation des cas complexes et les raisons de cette divergence.

Ces trois indicateurs ne répondent pas encore à l’effet causal sur le non-recours. Ils établissent l’accès, l’achèvement et l’attente pour les personnes observées. Pour savoir combien de démarches auraient été abandonnées sans accompagnement, il faut une comparaison appropriée et des données complémentaires. Le rapport conserve cette séparation, même si les résultats de suivi suffisent à justifier une modification opérationnelle.

Interpréter les écarts avec prudence

La synthèse OCDE sur les critères d’évaluation souligne l’importance des résultats différenciés selon les populations et de l’adaptation des critères à la finalité. Pour le service fictif, une progression globale ne suffit donc pas à conclure que l’accès est devenu plus équitable. L’analyse examine les groupes dont la situation peut diverger, avec des catégories justifiées par la question et un effectif permettant une lecture honnête.^[2]

Comparer deux quartiers nécessite de vérifier ce qui les distingue. L’un peut présenter davantage de demandes complexes, une offre associative complémentaire ou un public mieux informé. Un taux inférieur ne démontre pas automatiquement que ses agents travaillent moins bien. Le tableau doit présenter les éléments de contexte utiles et éviter un classement qui transforme des différences de population en différences de performance du service.

Le changement dans le temps appelle la même vigilance. Une nouvelle campagne d’information peut faire entrer des personnes jusque-là absentes du dispositif. Le taux d’achèvement peut alors baisser alors que l’accès s’améliore. Ce résultat n’est ni un succès total ni un échec simple. Il peut signaler que la politique atteint désormais un public qui nécessite un accompagnement différent.

Une enquête qualitative peut expliquer ces évolutions. Les entretiens recherchent comment les personnes ont connu le service, ce qu’elles ont compris et où elles ont rencontré un obstacle. Ils ne permettent pas de transformer la fréquence d’un propos dans un petit échantillon en fréquence dans toute la population. Ils apportent des mécanismes à vérifier et des situations à prendre en compte dans l’organisation.

L’information manquante doit être visible. Le rapport indique les dossiers sans résultat connu, les périodes non couvertes et les modifications de collecte. Une absence de donnée n’est pas une valeur nulle. Si l’on ne connaît pas la situation de vingt personnes, le taux publié décrit les données disponibles selon une règle annoncée, et l’incertitude doit être conservée dans la conclusion.

Prévenir les comportements produits par la mesure

Un objectif chiffré peut modifier le comportement du service. Si seul le nombre de démarches achevées compte, l’équipe peut privilégier les dossiers simples. Si seul le délai de rendez-vous compte, un entretien trop court peut être proposé sans accompagnement réel. Le suivi doit associer les mesures nécessaires pour détecter ces déplacements. L’indicateur n’est pas seulement un instrument d’observation ; il peut devenir une incitation.

Une objection consiste à demander un score global pour faciliter le choix de l’élu. Un score peut simplifier la présentation, mais ses pondérations expriment des priorités. Accorder deux fois plus de poids au délai qu’à l’accès des publics éloignés constitue un choix, même si le résultat est présenté sous forme de chiffre. Le rapport doit conserver les dimensions originales et expliquer les arbitrages éventuels.

Le Conseil d’État insiste, dans la présentation de son étude de 2020, sur la diffusion de conclusions accessibles et le suivi de leurs suites. Pour un tableau local, cela conduit à expliquer les définitions et à relier chaque résultat à une action possible. Publier trois courbes sans commentaire peut donner une visibilité formelle sans rendre le débat plus compréhensible. L’utilité tient à la possibilité de discuter ce que les mesures changent dans la décision.^[3]

Le tableau est révisé lorsque la question évolue, avec une continuité suffisante pour lire les tendances. Une extension du service peut nécessiter un indicateur de couverture territoriale ; un problème d’achèvement, une analyse par type de démarche. Le changement est documenté et les anciennes séries ne sont pas artificiellement raccordées à des définitions nouvelles. La souplesse de l’outil doit rester compatible avec la comparabilité.

Trois indicateurs utiles ont donc un objet distinct, une source contrôlable et un rythme adapté. Dans l’accompagnement fictif, ils rendent visibles l’accès, l’achèvement et les délais, tout en laissant ouverte la question d’impact. L’élu peut décider d’une extension ciblée ou d’un renforcement sur les cas complexes. Il dispose d’une mesure qui éclaire les choix parce qu’elle explique aussi ce qu’elle ne permet pas de conclure.