Skip to content

GRF · Gouvernance de l'IA et du numérique

Décisions publiques algorithmiques

Governments use algorithms to assess benefit claims, detect fraud, allocate inspections, set risk scores in policing and migration, and support judges and caseworkers. These decisions affect rights and livelihoods at scale, and errors repeat across thousands of cases before anyone sees them. This page sets out how algorithmic public decisions go wrong and how safeguards work, the records that show them, and who decides whether and how a system is used.

02La question

Algorithmic public decisions: how the risk develops.

Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mécanisme

Les erreurs se propagent silencieusement

Une règle ou un modèle défectueux s'applique à tous les cas qu'il touche. Sans suivi des résultats ni voies de recours, une erreur systématique peut refuser ou sanctionner à tort de nombreuses personnes avant d'être détectée.

Mécanisme

Le biais s'introduit par les données et la conception

Les données historiques reflètent des décisions passées et des pratiques d'application de la règle. Des variables indirectes telles que le code postal ou la nationalité peuvent produire des résultats inégaux, même lorsque les caractéristiques protégées sont exclues.

Mécanisme

Human review becomes rubber-stamping

Les agents publics chargés d'examiner des résultats automatisés dans l'urgence tendent à les accepter. Un examen réel exige du temps, le pouvoir de les infirmer et des informations sur la manière dont le résultat a été produit.

Mécanisme

L'opacité fait obstacle à la contestation

People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.

03Suivi

Registre public des algorithmes.

L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.

Registre public des algorithmes

Algorithmic public decisions · Algorithm register · Quarter 1

Deux systèmes à haut risque sans évaluationGRF · Gouvernance de l'IA et du numérique

Systèmes enregistrés

Signalement de fraude aux prestationsAction socialeÉlevéManquantPartiel
Tri des demandes de permisPlanificationLimitéTerminéOui
Affectation scolaireÉducationÉlevéTerminéOui
Assistant conversationnelAdministration fiscaleMinimalTerminén/a

Mesure de contrôle

Système
Signalement de fraude aux prestations
Obligatoire
évaluation d'impact, voie de recours
Échéance
64 days
Autorité
Organe de contrôle

Réclamations concernant les décisions automatisées

Public algorithm register: the screen’s structure, terms and states for Algorithmic public decisions.Example names and illustrative values; a design, not a record or a live system.
04Indicateurs

Ce qui est mesuré, et avec quelle qualité.

Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.

IndicateurUnitéFréquenceType de sourceÉtiquette
Public algorithmic systems in a transparency registerdécompte par agenceon updateRegistres d'algorithmesDÉCLARÉ
Algorithmic impact assessments publishednombreannuelPublications gouvernementalesDÉCLARÉ
Recours contre les décisions automatiséesnombre et part confirmésannuelDossiers des agences et des tribunauxStatistiques publiées
Disparités de résultats entre les groupesratio of adverse outcome ratespar auditAudits indépendantsESTIMÉ
Systèmes suspendus ou retirés après examennombreannuelGovernment and court recordsStatistiques publiées
Ombudsman complaints about automated decisionsnombreannuelOmbudsman reportsStatistiques publiées
05Instruments et engagements

How algorithmic public decisions is governed: instruments, mandates and commitments.

Les instruments, mandats, acteurs et dispositifs de redevabilité avec lesquels travaillent un décideur public, un diplomate ou une agence de développement, avec mention des accords qui les établissent. Les structures suivent les cadres nommés. Tout état ou progrès représenté est illustratif, non un relevé.

Matrice des instruments de politique

Les types d'instruments disponibles pour les décisions publiques algorithmiques, selon le niveau de gouvernement et la coopération.

Type d'instrumentLocalNationalRégionalMondial
RéglementaireZonage, codes du bâtimentLois, normes, octroi de licencesRègles harmoniséesConventions et traités
ÉconomiquePrélèvements locaux, subventionsLignes budgétaires, impôts, régimes d'assuranceMécanismes de mutualisation des risques, fonds régionauxMécanismes de financement
InformationAlertes localesDivulgation, alerte précoce, statistiquesAccords de partage des donnéesSuivi et établissement de rapports à l'échelle mondiale
InstitutionnelComités locauxOrganismes chefs de file, conseils de coordinationOrganismes régionaux et secrétariatsMandats multilatéraux
CoopératifAccords communautairesPactes de partenariatProtocoles d'accord et programmes conjointsAccords et engagements conjoints
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Cadre de Sendai pour la réduction des risques de catastrophe · UNDRRAccord de Paris · CCNUCCProgramme de développement durable à l'horizon 2030 et objectifs de développement durable · Nations UniesRèglement sanitaire international · OMS
06Sources

D'où proviennent les données probantes.

Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.

SourcesCe qu'elle apporteCatégorie de licence
UK Algorithmic Transparency Recording Standard recordsRegistres publiés des outils algorithmiques utilisés par les organismes publicsOpen Government Licence
Amsterdam and Helsinki algorithm registersCity registers of algorithmic systems in useDonnées ouvertes, conditions par ville
Directive du Canada sur la prise de décisions automatisée et évaluations de l'incidence algorithmiqueMandatory impact assessments for federal automated decisionsOpen Government Licence, Canada (licence du gouvernement ouvert, Canada)
Rapports des médiateurs et des institutions supérieures de contrôleInvestigations of automated decision systems in public servicesRegistres publics, conditions propres à chaque bureau
Court judgments on automated public decisionsRulings on lawfulness of algorithmic systemsPublic records, terms per court
07Décisions

Qui décide, et à quoi servent les données probantes.

Gouvernance de l'IA et du numérique prépare des données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.

Qui décideLa questionDonnées probantes servies par cette page
Ministres et chefs d'agenceFaut-il automatiser une décision, et avec quelles garantiesÉvaluations d'impact, éléments d'audit et enseignements de systèmes
Autorités de protection des donnéesSi le traitement et les décisions automatisées sont licitesDossiers d'évaluation et plaintes
Médiateurs et institutions de contrôleWhether to investigate a system and what to recommendAppeals, complaints and outcome data
Cours et tribunauxSi une décision ou un système a enfreint des droits ou la loiRegistres présentés par les parties ; la page ne sert que de contexte

Résultats que produit ce thème

  • Comparative notes on algorithm registers and impact assessments
  • Guide pour un réexamen humain effectif dans les décisions automatisées
  • Notes de dialogue sur les enseignements tirés des algorithmes publics suspendus
  • Questions for agencies before deploying an automated decision system
08Questions essentielles

Ce que les experts demandent sur les décisions publiques algorithmiques.

  • What legal power authorises this use, and does the algorithm stay within it?
  • Une personne concernée peut-elle savoir qu'un algorithme a été utilisé, comprendre comment, et contester le résultat ?
  • Le système fonctionne-t-il différemment selon les groupes, et cela est-il justifié ?
  • What happens when the system is wrong, and how quickly is the error found and corrected?
09Mécanismes

How algorithmic decisions go wrong.

Les algorithmes entraînés sur des données historiques peuvent reproduire des schémas historiques de désavantage. Une variable indirecte d'apparence neutre, comme le code postal, peut être corrélée à des caractéristiques protégées. Les erreurs à grande échelle diffèrent des erreurs individuelles : une règle défectueuse appliquée à tout un portefeuille de dossiers nuit à de nombreuses personnes à la fois et de la même manière, ce qui peut submerger les systèmes.

The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.

Pourquoi maintenant : des systèmes automatisés sont utilisés pour l'éligibilité, le triage et la détection de fraude dans les services publics, et des tribunaux et médiateurs de plusieurs pays ont examiné des cas où ils ont failli. La plateforme est conçue pour comparer les dispositifs de recours et de réparation et consigner ce que les personnes concernées peuvent réellement faire.

10Méthodes et limites

Garde-fous et leurs limites.

  1. 01

    Registres publics d'algorithmes

    Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.

  2. 02

    Explication et notification

    Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.

  3. 03

    Tests d'équité

    Mesure de la performance entre groupes, à l'aide de méthodes d' apprentissage automatique . Limites : différentes mesures d'équité peuvent entrer en conflit, et choisir entre elles relève d'un jugement de valeur.

  4. 04

    Recours et réparation

    Voies d'accès à un examen humain, à un recours et à une réparation. Limites : dépendent de processus accessibles et d'un personnel suffisant.

12Questions

Questions et réponses.

Qu'est-ce qu'une évaluation d'impact algorithmique ?
A structured review, before and during deployment, of the risks an automated system poses to people and how they are mitigated. Canada requires one for federal automated decisions.
What makes human review meaningful?
The reviewer has the time, competence, information and authority to depart from the system’s output, and does so in practice when warranted.
Les personnes ont-elles le droit de ne pas faire l'objet de décisions automatisées ?
Under the GDPR, people have rights concerning decisions based solely on automated processing that significantly affect them, with exceptions and safeguards. Other jurisdictions differ.
Une décision publique peut-elle être prise entièrement par un algorithme ?
Cela dépend du droit de chaque juridiction. De nombreux systèmes juridiques restreignent les décisions entièrement automatisées ayant des effets importants sur les personnes et exigent une intervention humaine ainsi qu'un droit de contestation.
Why can’t fairness be measured with one number?
Parce qu'il existe plusieurs définitions raisonnables de l'équité et que, mathématiquement, elles ne peuvent souvent pas être satisfaites toutes à la fois. Choisir entre elles relève d'une décision de politique publique.
Does the platform take up individual cases?
Non. Les cas individuels relèvent de l'organisme qui déploie le dispositif, des médiateurs, des tribunaux et des cours.
Les registres d'algorithmes sont-ils obligatoires ?
Certaines juridictions et villes les publient volontairement ou en application d'une politique ; les exigences varient.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Gouvernance de l'IA et du numérique

Soumettez une question de gouvernance au Forum.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.