Rendre le contrôle humain effectif dans une aide à la décision publique

Qualifier le traitement et les effets de la sortie

Le système doit être décrit à partir de ce qu’il fait effectivement. Rechercher un passage dans une documentation, extraire un revenu d’une pièce et proposer une conclusion d’éligibilité correspondent à trois opérations différentes. Elles peuvent être réunies dans une même interface, mais elles n’utilisent pas nécessairement les mêmes données et ne présentent pas les mêmes risques. L’analyse doit éviter qu’une qualification générale d’assistant masque une automatisation de critères décisifs.

L’article 22 du RGPD concerne les décisions fondées exclusivement sur un traitement automatisé produisant des effets juridiques ou des effets similaires significatifs. Les exceptions prévues par cet article ne dispensent pas de vérifier leurs conditions. Pour apprécier la place du traitement, le service doit regarder si l’agent analyse réellement les informations, peut écarter la suggestion et dispose de moyens pour le faire. Une signature finale ne constitue pas une description suffisante de cette intervention. ^[2]

Les autres dispositions du RGPD restent pertinentes même lorsqu’une décision n’entre pas dans l’article 22. Les données doivent respecter les principes de l’article 5 et reposer sur une base appropriée au titre de l’article 6. Des informations de santé ou d’autres catégories particulières appellent en outre l’examen de l’article 9. Le raisonnement ne peut donc pas s’arrêter à la formule l’humain décide : l’ensemble du traitement doit être licite et proportionné. ^[1]

Dans le champ administratif, l’article L. 311-3-1 du CRPA rattache une obligation de mention et de communication sur demande aux décisions individuelles prises sur le fondement d’un traitement algorithmique. Il faut examiner si la sortie a contribué à la décision et comment cette contribution peut être expliquée. La notice d’information sur les données personnelles et l’information relative au traitement algorithmique répondent à des objets distincts. ^[4]

Le règlement (UE) 2024/1689 ajoute une qualification propre. L’article 5 interdit notamment les usages manipulatoires ou exploitant certaines vulnérabilités dans les conditions précises qu’il définit. Un service ne peut donc compenser une pratique interdite par une simple validation humaine. L’article 6 distingue ensuite les systèmes liés aux produits de l’annexe I et les destinations de l’annexe III. Le point 5 a) de cette dernière vise notamment l’évaluation de l’éligibilité aux prestations et services essentiels d’assistance publique. Une aide à l’éligibilité exige cet examen ; toute rédaction administrative n’entre pas automatiquement dans cette catégorie. ^[5]

La dérogation de l’article 6, paragraphe 3, repose sur des conditions, dont l’absence de risque significatif et de véritable influence sur la décision ; la seule appellation tâche préparatoire ne suffit pas. Le profilage demeure haut risque dans le cadre prévu par le texte. La qualification du système et celle de son utilisateur doivent être documentées : le service qui utilise le système agit comme déployeur, tandis qu’une modification de destination peut appeler un réexamen des rôles. ^[5]

Donner au vérificateur des moyens réels

Un contrôle utile repose d’abord sur l’accès aux sources. L’agent doit pouvoir retrouver le passage du dossier ou de la règle sur lequel la proposition repose. Une justification produite par le modèle ne constitue pas forcément une preuve : elle peut reprendre une interprétation erronée ou associer une source exacte à une conclusion qui ne s’en déduit pas. Le protocole exige donc une vérification indépendante du contenu déterminant.

Le contrôle suppose ensuite une compétence. La capacité à utiliser l’interface n’est pas la capacité à interpréter un critère juridique ou à reconnaître une situation exceptionnelle. La formation doit partir des erreurs possibles : pièce mal lue, règle périmée, fait absent du dossier ou confusion entre deux régimes. Le service doit savoir vers qui transférer les situations qui dépassent le mandat ou l’expertise du premier lecteur.

Le temps de contrôle doit être prévu dans l’organisation. Un objectif de traitement qui suppose l’acceptation immédiate de toutes les suggestions peut rendre théorique le droit de les écarter. Le responsable du service examine donc le nombre de dossiers, leur complexité et les possibilités de reprise. Il distingue le temps de production automatique du temps nécessaire pour obtenir une réponse utilisable. Le gain réel se mesure après cette seconde étape.

Enfin, l’agent doit pouvoir refuser ou interrompre l’usage sans devoir démontrer seul un défaut général du système. Une règle de retrait peut viser une source manquante, une contradiction entre pièces ou une demande hors périmètre. La traçabilité des corrections sert à améliorer le dispositif ; elle ne doit pas transformer toute correction en indice d’insuffisance de l’agent. Sinon, l’organisation incite à accepter une sortie douteuse plutôt qu’à la discuter.

Pour les systèmes à haut risque concernés, l’article 26 prévoit un contrôle confié à des personnes disposant des compétences, de la formation, de l’autorité et de l’appui nécessaires. L’article 27 prévoit, pour les déployeurs publics et autres acteurs visés, une analyse des effets sur les droits fondamentaux avant le déploiement, avec les exceptions et modalités du texte. Cette analyse n’est pas remplacée indistinctement par l’analyse d’impact RGPD : des renvois entre documents sont possibles lorsque leurs objets se recoupent. Ces obligations doivent être lues avec leur calendrier d’application. ^[5]

Une réponse préparée pour une demande d’aide

Le cas est fictif. Un service municipal utilise un outil pour préparer des projets de réponse à des demandes d’aide. Dans un dossier pédagogique, la personne a déclaré un changement récent de situation et fourni plusieurs justificatifs. Le modèle produit un projet de refus fondé sur un revenu présenté comme actuel. L’agent constate que ce montant provient d’une pièce ancienne. L’erreur ne résulte pas d’une faute de calcul mais d’une confusion sur la période pertinente.

Le contrôle initial prévu par le projet consiste à relire la lettre. Cette relecture ne suffit pas : le texte est cohérent et le chiffre paraît plausible. Le service modifie le protocole. Avant de retenir une conclusion, l’agent vérifie le fait déterminant, sa source et sa période. Le système affiche séparément les données extraites, les passages de la règle et le projet rédactionnel. Une phrase convaincante ne masque plus les étapes qui doivent être contrôlées.

Le dossier contient également une information relative à la santé, sans utilité pour l’objet du projet de réponse. Le service décide que cette pièce ne sera pas transmise au système de rédaction. Il ne suffit pas de demander au fournisseur de ne pas en tenir compte après réception. La minimisation agit sur la sélection des documents, les habilitations et la configuration du flux. Si la donnée est nécessaire à une autre opération, cette opération fait l’objet d’une justification propre. ^[1]

L’agent corrige le projet et transmet le dossier dans le circuit habituel d’examen. Il consigne une catégorie d’erreur, sans conserver inutilement une copie complète du dossier dans un fichier parallèle. Le suivi peut ainsi repérer les confusions de période tout en limitant la duplication des données. Les journaux techniques nécessaires à la sécurité et les traces utiles à l’explication d’une décision ne doivent pas être confondus avec une archive générale de toutes les conversations.

La question de l’information de l’usager est traitée séparément. Le responsable détermine les informations dues au titre du RGPD et examine l’application du CRPA à la décision effectivement prise. Il ne considère pas que le contrôle humain efface toute obligation de transparence. Le dossier doit permettre de comprendre quelle contribution algorithmique a été utilisée et quels éléments ont finalement fondé la décision, dans les limites prévues par les textes. ^{[2] [4]}

Le pilote inclut ensuite des dossiers fabriqués avec des montants identiques mais des périodes différentes. Les agents doivent reconnaître les cas dans lesquels la suggestion est insuffisamment fondée. Cet exercice ne démontre pas une conformité complète du système ; il vérifie une capacité précise du circuit de contrôle. Les cas difficiles sont conservés dans un corpus pédagogique sans données réelles afin de pouvoir répéter les vérifications après une modification de l’outil.

Relier confidentialité et responsabilités

La confidentialité doit être examinée sur toute la chaîne : envoi, hébergement, accès de support, sous-traitants, conservation et suppression. Une interface réservée aux agents ne prouve pas que les données restent dans le seul environnement de la collectivité. Si le fournisseur agit comme sous-traitant, l’article 28 du RGPD impose un cadre contractuel adapté, notamment sur les instructions, les garanties et l’assistance. La qualification dépend des opérations réelles, pas d’une simple étiquette commerciale. ^[3]

La réutilisation des contenus pour améliorer un modèle doit être identifiée expressément. Elle peut constituer une opération distincte avec sa propre finalité et ses exigences. Un service public ne doit pas supposer qu’une clause générale sur l’amélioration du produit autorise toute réutilisation des dossiers. Le contrat et les réglages doivent correspondre au périmètre retenu ; les agents doivent connaître les canaux autorisés et les données exclues.

L’analyse des risques doit prendre en compte les personnes, et pas seulement la disponibilité technique. Une divulgation, une erreur de classement ou une conclusion injustifiée peuvent affecter leurs droits. L’article 35 prévoit une analyse d’impact lorsque le traitement est susceptible d’engendrer un risque élevé ; l’évaluation dépend de sa nature, de sa portée, de son contexte et de ses finalités. Il ne s’agit ni d’imposer une analyse d’impact à toute rédaction assistée, ni de l’exclure parce que le projet s’appelle pilote. ^[3]

L’objection tient à la complexité du dispositif : si les vérifications deviennent lourdes, l’usage pourrait perdre tout intérêt. Cette conclusion doit être admise lorsqu’elle est démontrée. Le contrôle n’est pas un supplément facultatif destiné à sauver un projet déjà choisi. Il participe au calcul de son utilité. Un outil qui déplace plus de travail vers la vérification qu’il n’en économise peut être abandonné ou réservé à une tâche plus simple.

La version consolidée du 27 juillet 2026 intègre la modification du calendrier par le règlement omnibus. L’article 113 reporte les sections 1 à 3 du chapitre III, sous l’exception prévue pour l’article 6, paragraphe 5, au 2 décembre 2027 pour l’annexe III et au 2 août 2028 pour l’annexe I. Les chapitres I et II relèvent d’un calendrier différent, avec certaines nouvelles interdictions différées au 2 décembre 2026. Il serait donc erroné de présenter toutes les obligations haut risque comme applicables depuis août 2026. Le RGPD et le CRPA continuent d’être examinés indépendamment. ^{[5] [6]}

Une décision reste examinée si elle peut être reprise

La garantie centrale est la capacité de reconstruire et de reprendre le raisonnement. Le dossier conserve les faits déterminants, les règles mobilisées et la trace des corrections utiles, selon des durées et accès justifiés. Les agents disposent d’un circuit sans assistance lorsque la sortie est douteuse. Le responsable connaît les situations qui imposent une suspension et les personnes autorisées à élargir ou modifier le périmètre.

La réponse à la question initiale est donc organisationnelle autant que juridique. Le contrôle humain est effectif lorsque l’agent comprend les éléments déterminants, peut contredire la proposition et dispose du temps nécessaire pour le faire. Dans le cas fictif, cette exigence conduit à vérifier la période du revenu, à retirer une donnée inutile et à revoir l’affichage des sources. La simple relecture d’une lettre bien rédigée ne remplissait pas cette fonction.