Skip to content

GRF · Gouvernance de l'IA et du numérique

Supervision et responsabilité de l'IA

Lorsqu'un système d'IA cause un préjudice, quelqu'un doit pouvoir établir ce qui s'est passé et en répondre. La supervision repose sur la documentation, la journalisation, l'audit, le signalement des incidents et des autorités dotées des pouvoirs et des compétences pour les utiliser. La responsabilité est répartie entre développeurs, déployeurs, conseils d'administration et régulateurs, et peut se diluer entre eux. Cette page expose comment la supervision de l'IA tient ou échoue, les registres qui le montrent et qui détient chaque décision.

02La question

AI oversight and accountability: how the risk develops.

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mécanisme

La responsabilité se dilue le long de la chaîne

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

Mécanisme

Les enregistrements déterminent ce qui peut être examiné

Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.

Mécanisme

Authorities lack capacity

Les autorités de surveillance du marché, de protection des données et les régulateurs sectoriels ont besoin de personnel technique, d'un accès aux systèmes et de pouvoirs pour les tester. Une capacité insuffisante réduit les règles à de l'autoévaluation.

Mécanisme

Des incidents ne sont pas signalés

Les défaillances apparaissent par le biais de plaintes, du journalisme et de contentieux plutôt que de déclarations. La déclaration obligatoire des incidents et les bases de données partagées d'incidents permettent de repérer des schémas d'un déploiement à l'autre.

03Suivi

Registre public des algorithmes.

L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.

Registre public des algorithmes

Supervision et responsabilité en matière d'IA · Registre des algorithmes · Trimestre 2

Deux systèmes à haut risque sans évaluationGRF · Gouvernance de l'IA et du numérique

Systèmes enregistrés

Signalement de fraude aux prestationsAction socialeÉlevéManquantPartiel
Tri des demandes de permisPlanificationLimitéTerminéOui
Affectation scolaireÉducationÉlevéTerminéOui
Assistant conversationnelAdministration fiscaleMinimalTerminén/a

Mesure de contrôle

Système
Signalement de fraude aux prestations
Obligatoire
évaluation d'impact, voie de recours
Échéance
73 days
Autorité
Organe de contrôle

Réclamations concernant les décisions automatisées

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04Indicateurs

Ce qui est mesuré, et avec quelle qualité.

Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.

IndicateurUnitéFréquenceType de sourceÉtiquette
Designated AI supervisory or market surveillance authorityyes or no, with legal basisen cas de changementNational legislation and notificationsStatistiques publiées
Personnel technique des autorités concernées par l'IAfull-time equivalentsannuelRapports annuels des autoritésDÉCLARÉ
Incidents graves signalés au titre des règles sur l'IAnombre par secteurannuelRegistres publicsStatistiques publiées
Publicly recorded AI incidentsnombre par type de préjudicemensuelBases de données d'incidentsDÉCLARÉ
Enforcement actions concerning AI systemscount by authority and typeannuelRegistres de sanctions des régulateursStatistiques publiées
Certificats ISO/IEC 42001 délivrésnombreannuelEnregistrements des organismes de certificationDÉCLARÉ
05Scénarios de politique

Comparer les instruments : règles, incitations et information.

Trois familles d'instruments comparées à la situation de référence, chacune avec son propre décalage et sa propre vitesse d'adoption, selon la couverture et la conformité que vous fixez ; les ordres de grandeur des effets sont des valeurs pédagogiques à remplacer par des données probantes. Scénario : hypothèses nommées sur l'avenir, non une prévision.

Commandes

Tendance de référence du résultat
2,0 % par an
Couverture de l'instrument
70%
Conformité
75%
Ordre de grandeur de l'effet, par rapport à la valeur pédagogique
100%
Années à venir
20 ans

Relevés

Plus forte réduction à l'horizon
Réglementation
Sa réduction par rapport à la situation de référence
21%
Chiffres, méthodes et sources
AnnéeRéférenceRéglementationIncitation économiqueInformation et capacités
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

Méthodes

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Carottes, bâtons et sermons Bemelmans-Videc, Rist et Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Éventail d'incertitude (Monte Carlo sur les paramètres) Spiegelhalter, Pearson et Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

Données

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
Comparer les instruments : règles, incitations et information. Modèle pédagogique illustratif : il fonctionne avec les valeurs fixées par les commandes, non avec des données mesurées. Méthodes : Les outils de l'action publique (Hood (1983), The Tools of Government, Macmillan) ; Carottes, bâtons et sermons (Bemelmans-Videc, Rist et Vedung (1998), Transaction) ; Diffusion des innovations (Rogers (2003), Diffusion of Innovations, Free Press).
06Sources

D'où proviennent les données probantes.

Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.

SourcesCe qu'elle apporteCatégorie de licence
Observatoire des politiques de l'IA de l'OCDE (OECD.AI)National AI policies, governance bodies and the AI Incidents MonitorGratuit, conditions de l'OCDE
AI Incident DatabaseRegistres participatifs des préjudices impliquant des systèmesOuvert, licence à vérifier
Décisions du Comité européen de la protection des données et des autorités nationalesDécisions relatives au traitement automatisé et aux plaintes liées à l'IAPublic, EU and national reuse terms
Stanford AI Index ReportDonnées sur le développement, les politiques et les incidents de l'IAFree to read, licence to check
Rapports annuels des autorités de régulationEffectifs, priorités et application des règles par les autorités de supervision de l'IARegistres publics, conditions propres à chaque autorité
07Mise en œuvre

Du mandat à l'évaluation, par pilier.

Les étapes que franchit un instrument, du mandat à l'évaluation, avec le pilier qui l'exécute et les décisions qui restent à l'autorité. Modèle pédagogique à valeurs illustratives déclarées, non une prévision.

  1. Mandat et cadrage du problème Autorité compétente (en dehors du programme)
    Une autorité compétente cadre le problème et le mandat selon ses propres règles. Howlett, Ramesh et Perl (2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. Exercice avec les parties prenantes Univers
    Les options sont mises à l'épreuve dans un exercice avec ceux qui les mettraient en œuvre et les supporteraient. OCDE (2014), principe 3
  5. Standard or guidance drafted Nexus Standards
    What works is codified as a standard or guidance, open to comment. Nexus Standards process
  6. Décision de l'autorité Autorité compétente (en dehors du programme)
    L'autorité décide, en dehors du programme, au vu des éléments probants consignés. Howlett, Ramesh et Perl (2009)
  7. Capacity and training Risk Academy
    Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2
  8. Suivi et rapport public Rapports
    Les indicateurs sont publiés avec leurs sources, leurs limites et leurs corrections. OCDE (2014), principe 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

Méthodes

  1. Cycle des politiques Howlett, Ramesh et Perl (2009), Studying Public Policy, Oxford University Press
  2. Gouvernance des risques majeurs OCDE (2014), Recommandation du Conseil sur la gouvernance des risques majeurs
  3. Tracé en couches de graphes orientés Sugiyama, Tagawa et Toda (1981), IEEE SMC 11
Du mandat à l'évaluation, par pilier : les étapes telles qu'enregistrées, chacune avec son pilier ; sources citées à chaque étape.
08Décisions

Qui décide, et à quoi servent les données probantes.

Gouvernance de l'IA et du numérique prépare des données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.

Qui décideLa questionDonnées probantes servies par cette page
ParlementsWhich obligations attach to developers, deployers and providers of general-purpose modelsRégimes comparés et données probantes issues des incidents
Market surveillance and sector regulatorsWhich systems to inspect and what powers to useIncident records, risk categories and enforcement practice
Conseils d'administration des organisations utilisatricesWho owns AI risk and what assurance they requireGovernance practice and management system standards
TribunauxWho is responsible for harm caused with an AI systemRecords and expert evidence presented by parties; the page serves context only

Résultats que produit ce thème

  • Maps of accountability across the AI value chain for a given use
  • Comparative notes on AI supervisory authorities and their powers
  • Guide to AI incident reporting regimes and databases
  • Questions à l'intention des conseils d'administration et des régulateurs sur la supervision de l'IA
09Instruments et engagements

Comment la supervision et la redevabilité de l'IA sont encadrées : instruments, mandats et engagements.

Les instruments, mandats, acteurs et dispositifs de redevabilité avec lesquels travaillent un décideur public, un diplomate ou une agence de développement, avec mention des accords qui les établissent. Les structures suivent les cadres nommés. Tout état ou progrès représenté est illustratif, non un relevé.

Cycle de redevabilité

Comment les engagements en matière de supervision et de responsabilité de l'IA sont suivis, de l'engagement jusqu'à la correction.

  1. S'engagerGouvernementUn engagement assorti d'un mandat et d'une base juridique.
  2. PlanifierAgence chef de fileUn plan national avec des responsables et des jalons.
  3. RessourceMinistère des financesUne ligne budgétaire ou un financement consigné.
  4. Mettre en œuvreAgences et collectivités localesL'exécution au regard du plan.
  5. RapportOffice statistiqueIndicateurs communiqués selon des définitions convenues.
  6. ExamenParlement, audit, société civileExamen indépendant des résultats et des lacunes.
  7. CorrigerGouvernementModifications du plan, publiées avec leurs motifs.
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
Cadre de Sendai pour la réduction des risques de catastrophe · UNDRRAccord de Paris · CCNUCCProgramme de développement durable à l'horizon 2030 et objectifs de développement durable · Nations UniesRèglement sanitaire international · OMS
10Questions essentielles

What institutions ask about oversight.

  • Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
  • Le système a-t-il été validé pour cet usage précis et cette population, par une personne indépendante de ses concepteurs ?
  • Les personnes qui examinent ses résultats peuvent-elles réellement être en désaccord avec lui, ou se contentent-elles d'approuver ce qu'il suggère ?
  • How will performance be monitored once the system is in use, and what triggers suspension?
11Mécanismes

Why accountability erodes.

Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.

Automation bias

Examen de pure forme

Les personnes ont tendance à s'en remettre aux résultats automatisés, surtout sous la pression du temps, si bien que la revue humaine peut devenir une formalité.

Diffusion

Beaucoup de mains

Developers, vendors, integrators and users each own part of the system and none owns the outcome.

Dérive

Changing performance

Les modèles se dégradent à mesure que le monde change, et sans suivi cette dégradation passe inaperçue.

12Méthodes et limites

Instruments de contrôle.

  1. 01

    Évaluations d'impact

    Analyse structurée des risques pour les droits et les résultats avant le déploiement. Limites : peut devenir une formalité administrative si elle n'est pas liée aux décisions.

  2. 02

    Validation indépendante

    Tests menés par des personnes indépendantes des développeurs, à l'aide de l' Ingénierie de l'évaluation et de l'assurance de l'IA. Limites : les tests montrent la performance sur des données de test, et non dans toutes les situations réelles.

  3. 03

    Meaningful human review

    Des évaluateurs disposant de l'autorité, du temps, de l'information et de la formation nécessaires pour passer outre. Limites : coûteux et difficile à maintenir à grande échelle.

  4. 04

    Pistes d'audit et suivi

    Logs of inputs, outputs and decisions, with performance tracked over time. Limits: only useful if someone reviews them.

13Méthodes

Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.

  1. Ingénierie de l'évaluation et de l'assurance de l'IAPérimètre des audits par des tiers · Tests d'équité des systèmes publics · Surveillance après déploiementAppliqué ici
  2. Science des politiques, des institutions et de la décisionComparaison des régimes de l'IA · Cartographie de la redevabilité le long de la chaîne de valeur · Cartographie des forums et des mandatsAppliqué ici
  3. Intelligence artificielle et apprentissage automatiqueComment les modèles échouent en déploiement · Lire la documentation d'un modèle · Les architectures d'agents expliquéesAppliqué ici
14Questions

Questions et réponses.

Quelle est la différence entre un fournisseur et un déployeur d'IA ?
In the EU AI Act, a provider develops an AI system or model and places it on the market; a deployer uses it under its authority. Each carries different obligations.
Why does logging matter for AI oversight?
Logs and documentation let auditors, regulators and courts reconstruct how a system behaved. Without them, accountability depends on what the operator chooses to disclose.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Un humain dans la boucle suffit-il ?
Not by itself. Review is meaningful only if the reviewer has the authority, time, information and competence to disagree with the system and does so when warranted.
Qui devrait valider un système d'IA ?
Someone independent of those who developed or sold it, with access to relevant data and the expertise to test it for the intended use.
Does the platform audit AI systems?
Non. Il compare les pratiques de gouvernance et ne teste ni ne certifie aucun système.
What should trigger suspending a system?
Les institutions fixent leurs propres seuils de déclenchement, qui comprennent généralement des preuves de taux d'erreur supérieurs à un niveau convenu, des changements inexpliqués dans les résultats ou des plaintes crédibles de préjudice.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Gouvernance de l'IA et du numérique

Soumettez une question de gouvernance au Forum.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.