GRF · Gouvernance de l'IA et du numérique
Décisions publiques algorithmiques
Governments use algorithms to assess benefit claims, detect fraud, allocate inspections, set risk scores in policing and migration, and support judges and caseworkers. These decisions affect rights and livelihoods at scale, and errors repeat across thousands of cases before anyone sees them. This page sets out how algorithmic public decisions go wrong and how safeguards work, the records that show them, and who decides whether and how a system is used.
Algorithmic public decisions in seven parts.
- 01La questionDécisions publiques algorithmiques : comment le risque se développe
- 02IndicateursCe qui est mesuré, et avec quelle qualité
- 03SourcesWhere the evidence comes from
- 04DécisionsQui décide, et à quoi servent les données probantes
- 05Core questionsWhat experts ask about algorithmic public decisions
- 06MécanismesComment les décisions algorithmiques tournent mal
- 07Méthodes et limitesGaranties et leurs limites
Algorithmic public decisions: how the risk develops.
Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Les erreurs se propagent silencieusement
Une règle ou un modèle défectueux s'applique à tous les cas qu'il touche. Sans suivi des résultats ni voies de recours, une erreur systématique peut refuser ou sanctionner à tort de nombreuses personnes avant d'être détectée.
Le biais s'introduit par les données et la conception
Les données historiques reflètent des décisions passées et des pratiques d'application de la règle. Des variables indirectes telles que le code postal ou la nationalité peuvent produire des résultats inégaux, même lorsque les caractéristiques protégées sont exclues.
Human review becomes rubber-stamping
Les agents publics chargés d'examiner des résultats automatisés dans l'urgence tendent à les accepter. Un examen réel exige du temps, le pouvoir de les infirmer et des informations sur la manière dont le résultat a été produit.
L'opacité fait obstacle à la contestation
People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.
Registre public des algorithmes.
L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.
Registre public des algorithmes
Algorithmic public decisions · Algorithm register · Quarter 1
Systèmes enregistrés
| Signalement de fraude aux prestations | Action sociale | Élevé | Manquant | Partiel |
| Tri des demandes de permis | Planification | Limité | Terminé | Oui |
| Affectation scolaire | Éducation | Élevé | Terminé | Oui |
| Assistant conversationnel | Administration fiscale | Minimal | Terminé | n/a |
Mesure de contrôle
- Système
- Signalement de fraude aux prestations
- Obligatoire
- évaluation d'impact, voie de recours
- Échéance
- 64 days
- Autorité
- Organe de contrôle
Réclamations concernant les décisions automatisées
Ce qui est mesuré, et avec quelle qualité.
Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.
| Indicateur | Unité | Fréquence | Type de source | Étiquette |
|---|---|---|---|---|
| Public algorithmic systems in a transparency register | décompte par agence | on update | Registres d'algorithmes | DÉCLARÉ |
| Algorithmic impact assessments published | nombre | annuel | Publications gouvernementales | DÉCLARÉ |
| Recours contre les décisions automatisées | nombre et part confirmés | annuel | Dossiers des agences et des tribunaux | Statistiques publiées |
| Disparités de résultats entre les groupes | ratio of adverse outcome rates | par audit | Audits indépendants | ESTIMÉ |
| Systèmes suspendus ou retirés après examen | nombre | annuel | Government and court records | Statistiques publiées |
| Ombudsman complaints about automated decisions | nombre | annuel | Ombudsman reports | Statistiques publiées |
How algorithmic public decisions is governed: instruments, mandates and commitments.
Les instruments, mandats, acteurs et dispositifs de redevabilité avec lesquels travaillent un décideur public, un diplomate ou une agence de développement, avec mention des accords qui les établissent. Les structures suivent les cadres nommés. Tout état ou progrès représenté est illustratif, non un relevé.
Matrice des instruments de politique
Les types d'instruments disponibles pour les décisions publiques algorithmiques, selon le niveau de gouvernement et la coopération.
| Type d'instrument | Local | National | Régional | Mondial |
|---|---|---|---|---|
| Réglementaire | Zonage, codes du bâtiment | Lois, normes, octroi de licences | Règles harmonisées | Conventions et traités |
| Économique | Prélèvements locaux, subventions | Lignes budgétaires, impôts, régimes d'assurance | Mécanismes de mutualisation des risques, fonds régionaux | Mécanismes de financement |
| Information | Alertes locales | Divulgation, alerte précoce, statistiques | Accords de partage des données | Suivi et établissement de rapports à l'échelle mondiale |
| Institutionnel | Comités locaux | Organismes chefs de file, conseils de coordination | Organismes régionaux et secrétariats | Mandats multilatéraux |
| Coopératif | Accords communautaires | Pactes de partenariat | Protocoles d'accord et programmes conjoints | Accords et engagements conjoints |
D'où proviennent les données probantes.
Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.
| Sources | Ce qu'elle apporte | Catégorie de licence |
|---|---|---|
| UK Algorithmic Transparency Recording Standard records | Registres publiés des outils algorithmiques utilisés par les organismes publics | Open Government Licence |
| Amsterdam and Helsinki algorithm registers | City registers of algorithmic systems in use | Données ouvertes, conditions par ville |
| Directive du Canada sur la prise de décisions automatisée et évaluations de l'incidence algorithmique | Mandatory impact assessments for federal automated decisions | Open Government Licence, Canada (licence du gouvernement ouvert, Canada) |
| Rapports des médiateurs et des institutions supérieures de contrôle | Investigations of automated decision systems in public services | Registres publics, conditions propres à chaque bureau |
| Court judgments on automated public decisions | Rulings on lawfulness of algorithmic systems | Public records, terms per court |
Qui décide, et à quoi servent les données probantes.
Gouvernance de l'IA et du numérique prépare des données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.
| Qui décide | La question | Données probantes servies par cette page |
|---|---|---|
| Ministres et chefs d'agence | Faut-il automatiser une décision, et avec quelles garanties | Évaluations d'impact, éléments d'audit et enseignements de systèmes |
| Autorités de protection des données | Si le traitement et les décisions automatisées sont licites | Dossiers d'évaluation et plaintes |
| Médiateurs et institutions de contrôle | Whether to investigate a system and what to recommend | Appeals, complaints and outcome data |
| Cours et tribunaux | Si une décision ou un système a enfreint des droits ou la loi | Registres présentés par les parties ; la page ne sert que de contexte |
Résultats que produit ce thème
- Comparative notes on algorithm registers and impact assessments
- Guide pour un réexamen humain effectif dans les décisions automatisées
- Notes de dialogue sur les enseignements tirés des algorithmes publics suspendus
- Questions for agencies before deploying an automated decision system
Ce que les experts demandent sur les décisions publiques algorithmiques.
- What legal power authorises this use, and does the algorithm stay within it?
- Une personne concernée peut-elle savoir qu'un algorithme a été utilisé, comprendre comment, et contester le résultat ?
- Le système fonctionne-t-il différemment selon les groupes, et cela est-il justifié ?
- What happens when the system is wrong, and how quickly is the error found and corrected?
How algorithmic decisions go wrong.
Les algorithmes entraînés sur des données historiques peuvent reproduire des schémas historiques de désavantage. Une variable indirecte d'apparence neutre, comme le code postal, peut être corrélée à des caractéristiques protégées. Les erreurs à grande échelle diffèrent des erreurs individuelles : une règle défectueuse appliquée à tout un portefeuille de dossiers nuit à de nombreuses personnes à la fois et de la même manière, ce qui peut submerger les systèmes.
The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.
Pourquoi maintenant : des systèmes automatisés sont utilisés pour l'éligibilité, le triage et la détection de fraude dans les services publics, et des tribunaux et médiateurs de plusieurs pays ont examiné des cas où ils ont failli. La plateforme est conçue pour comparer les dispositifs de recours et de réparation et consigner ce que les personnes concernées peuvent réellement faire.
Garde-fous et leurs limites.
- 01
Registres publics d'algorithmes
Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.
- 02
Explication et notification
Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.
- 03
Tests d'équité
Mesure de la performance entre groupes, à l'aide de méthodes d' apprentissage automatique . Limites : différentes mesures d'équité peuvent entrer en conflit, et choisir entre elles relève d'un jugement de valeur.
- 04
Recours et réparation
Voies d'accès à un examen humain, à un recours et à une réparation. Limites : dépendent de processus accessibles et d'un personnel suffisant.
Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.
- 01Ingénierie de l'évaluation et de l'assurance de l'IAPérimètre des audits par des tiers · Tests d'équité des systèmes publics · Surveillance après déploiementAppliqué ici
- 02Science des politiques, des institutions et de la décisionComparaison des régimes de l'IA · Cartographie de la redevabilité le long de la chaîne de valeur · Cartographie des forums et des mandatsAppliqué ici
- 03Intelligence artificielle et apprentissage automatiqueComment les modèles échouent en déploiement · Lire la documentation d'un modèle · Les architectures d'agents expliquéesAppliqué ici
- 04Identité numérique et systèmes numériques publicsNiveaux de garantie pour les services publics · Divulgation minimale · Analyse de l'exclusionAppliqué ici
Questions et réponses.
Qu'est-ce qu'une évaluation d'impact algorithmique ?
What makes human review meaningful?
Les personnes ont-elles le droit de ne pas faire l'objet de décisions automatisées ?
Une décision publique peut-elle être prise entièrement par un algorithme ?
Why can’t fairness be measured with one number?
Does the platform take up individual cases?
Les registres d'algorithmes sont-ils obligatoires ?
Apportez des éléments de preuve depuis cette page.
Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.
- E-mailPasserelle GW-GRFL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Soumettez une question de gouvernance au Forum.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Afficher les 18 documents juridiques
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.