GRF · Gouvernance de l'IA et du numérique
Supervision et responsabilité de l'IA
Lorsqu'un système d'IA cause un préjudice, quelqu'un doit pouvoir établir ce qui s'est passé et en répondre. La supervision repose sur la documentation, la journalisation, l'audit, le signalement des incidents et des autorités dotées des pouvoirs et des compétences pour les utiliser. La responsabilité est répartie entre développeurs, déployeurs, conseils d'administration et régulateurs, et peut se diluer entre eux. Cette page expose comment la supervision de l'IA tient ou échoue, les registres qui le montrent et qui détient chaque décision.
AI oversight and accountability in seven parts.
- 01La questionSupervision et responsabilité en matière d'IA : comment le risque évolue
- 02IndicateursCe qui est mesuré, et avec quelle qualité
- 03SourcesWhere the evidence comes from
- 04DécisionsQui décide, et à quoi servent les données probantes
- 05Questions essentiellesCe que les institutions demandent sur la supervision
- 06MechanismsWhy accountability erodes
- 07Méthodes et limitesInstruments de contrôle
AI oversight and accountability: how the risk develops.
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
La responsabilité se dilue le long de la chaîne
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
Les enregistrements déterminent ce qui peut être examiné
Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.
Authorities lack capacity
Les autorités de surveillance du marché, de protection des données et les régulateurs sectoriels ont besoin de personnel technique, d'un accès aux systèmes et de pouvoirs pour les tester. Une capacité insuffisante réduit les règles à de l'autoévaluation.
Des incidents ne sont pas signalés
Les défaillances apparaissent par le biais de plaintes, du journalisme et de contentieux plutôt que de déclarations. La déclaration obligatoire des incidents et les bases de données partagées d'incidents permettent de repérer des schémas d'un déploiement à l'autre.
Registre public des algorithmes.
L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.
Registre public des algorithmes
Supervision et responsabilité en matière d'IA · Registre des algorithmes · Trimestre 2
Systèmes enregistrés
| Signalement de fraude aux prestations | Action sociale | Élevé | Manquant | Partiel |
| Tri des demandes de permis | Planification | Limité | Terminé | Oui |
| Affectation scolaire | Éducation | Élevé | Terminé | Oui |
| Assistant conversationnel | Administration fiscale | Minimal | Terminé | n/a |
Mesure de contrôle
- Système
- Signalement de fraude aux prestations
- Obligatoire
- évaluation d'impact, voie de recours
- Échéance
- 73 days
- Autorité
- Organe de contrôle
Réclamations concernant les décisions automatisées
Ce qui est mesuré, et avec quelle qualité.
Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.
| Indicateur | Unité | Fréquence | Type de source | Étiquette |
|---|---|---|---|---|
| Designated AI supervisory or market surveillance authority | yes or no, with legal basis | en cas de changement | National legislation and notifications | Statistiques publiées |
| Personnel technique des autorités concernées par l'IA | full-time equivalents | annuel | Rapports annuels des autorités | DÉCLARÉ |
| Incidents graves signalés au titre des règles sur l'IA | nombre par secteur | annuel | Registres publics | Statistiques publiées |
| Publicly recorded AI incidents | nombre par type de préjudice | mensuel | Bases de données d'incidents | DÉCLARÉ |
| Enforcement actions concerning AI systems | count by authority and type | annuel | Registres de sanctions des régulateurs | Statistiques publiées |
| Certificats ISO/IEC 42001 délivrés | nombre | annuel | Enregistrements des organismes de certification | DÉCLARÉ |
Comparer les instruments : règles, incitations et information.
Trois familles d'instruments comparées à la situation de référence, chacune avec son propre décalage et sa propre vitesse d'adoption, selon la couverture et la conformité que vous fixez ; les ordres de grandeur des effets sont des valeurs pédagogiques à remplacer par des données probantes. Scénario : hypothèses nommées sur l'avenir, non une prévision.
Commandes
- Tendance de référence du résultat
- 2,0 % par an
- Couverture de l'instrument
- 70%
- Conformité
- 75%
- Ordre de grandeur de l'effet, par rapport à la valeur pédagogique
- 100%
- Années à venir
- 20 ans
Relevés
- Plus forte réduction à l'horizon
- Réglementation
- Sa réduction par rapport à la situation de référence
- 21%
Chiffres, méthodes et sources
| Année | Référence | Réglementation | Incitation économique | Information et capacités |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Méthodes
- Tools of government Hood (1983), The Tools of Government, Macmillan
- Carottes, bâtons et sermons Bemelmans-Videc, Rist et Vedung (1998), Transaction
- Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
- Éventail d'incertitude (Monte Carlo sur les paramètres) Spiegelhalter, Pearson et Short (2011), Visualising uncertainty about the future, Science 333
- One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Données
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Borders Natural Earth
- Cities Natural Earth
Sur les six piliers, sous la conduite de Nexus Consortium
- Expériences Laboratoires
- Intégré Gouvernance de l'IA et du numérique dans Foundry
- Testé à Gouvernance de l'IA et du numérique dans Universe
- Codifié dans Numérique, cyber et IA dans Standards
- Publié dans Gouvernance de l'IA et du numérique dans les Rapports
- Enseigné dans Faculté de technologie et de systèmes numériques dans Academy
D'où proviennent les données probantes.
Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.
| Sources | Ce qu'elle apporte | Catégorie de licence |
|---|---|---|
| Observatoire des politiques de l'IA de l'OCDE (OECD.AI) | National AI policies, governance bodies and the AI Incidents Monitor | Gratuit, conditions de l'OCDE |
| AI Incident Database | Registres participatifs des préjudices impliquant des systèmes | Ouvert, licence à vérifier |
| Décisions du Comité européen de la protection des données et des autorités nationales | Décisions relatives au traitement automatisé et aux plaintes liées à l'IA | Public, EU and national reuse terms |
| Stanford AI Index Report | Données sur le développement, les politiques et les incidents de l'IA | Free to read, licence to check |
| Rapports annuels des autorités de régulation | Effectifs, priorités et application des règles par les autorités de supervision de l'IA | Registres publics, conditions propres à chaque autorité |
Du mandat à l'évaluation, par pilier.
Les étapes que franchit un instrument, du mandat à l'évaluation, avec le pilier qui l'exécute et les décisions qui restent à l'autorité. Modèle pédagogique à valeurs illustratives déclarées, non une prévision.
- Mandat et cadrage du problème Autorité compétente (en dehors du programme)
Une autorité compétente cadre le problème et le mandat selon ses propres règles. Howlett, Ramesh et Perl (2009) - Evidence and system model Foundry
The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2 - Options appraised with scenarios Foundry
Instruments are compared under scenarios, with uncertainty shown. Hood (1983) - Exercice avec les parties prenantes Univers
Les options sont mises à l'épreuve dans un exercice avec ceux qui les mettraient en œuvre et les supporteraient. OCDE (2014), principe 3 - Standard or guidance drafted Nexus Standards
What works is codified as a standard or guidance, open to comment. Nexus Standards process - Décision de l'autorité Autorité compétente (en dehors du programme)
L'autorité décide, en dehors du programme, au vu des éléments probants consignés. Howlett, Ramesh et Perl (2009) - Capacity and training Risk Academy
Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2 - Suivi et rapport public Rapports
Les indicateurs sont publiés avec leurs sources, leurs limites et leurs corrections. OCDE (2014), principe 5 - Evaluation and revision Nexus Standards
Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)
Méthodes
- Cycle des politiques Howlett, Ramesh et Perl (2009), Studying Public Policy, Oxford University Press
- Gouvernance des risques majeurs OCDE (2014), Recommandation du Conseil sur la gouvernance des risques majeurs
- Tracé en couches de graphes orientés Sugiyama, Tagawa et Toda (1981), IEEE SMC 11
Sur les six piliers, sous la conduite de Nexus Consortium
- Expériences Laboratoires
- Intégré Gouvernance de l'IA et du numérique dans Foundry
- Testé à Gouvernance de l'IA et du numérique dans Universe
- Codifié dans Numérique, cyber et IA dans Standards
- Publié dans Gouvernance de l'IA et du numérique dans les Rapports
- Enseigné dans Faculté de technologie et de systèmes numériques dans Academy
Qui décide, et à quoi servent les données probantes.
Gouvernance de l'IA et du numérique prépare des données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.
| Qui décide | La question | Données probantes servies par cette page |
|---|---|---|
| Parlements | Which obligations attach to developers, deployers and providers of general-purpose models | Régimes comparés et données probantes issues des incidents |
| Market surveillance and sector regulators | Which systems to inspect and what powers to use | Incident records, risk categories and enforcement practice |
| Conseils d'administration des organisations utilisatrices | Who owns AI risk and what assurance they require | Governance practice and management system standards |
| Tribunaux | Who is responsible for harm caused with an AI system | Records and expert evidence presented by parties; the page serves context only |
Résultats que produit ce thème
- Maps of accountability across the AI value chain for a given use
- Comparative notes on AI supervisory authorities and their powers
- Guide to AI incident reporting regimes and databases
- Questions à l'intention des conseils d'administration et des régulateurs sur la supervision de l'IA
Comment la supervision et la redevabilité de l'IA sont encadrées : instruments, mandats et engagements.
Les instruments, mandats, acteurs et dispositifs de redevabilité avec lesquels travaillent un décideur public, un diplomate ou une agence de développement, avec mention des accords qui les établissent. Les structures suivent les cadres nommés. Tout état ou progrès représenté est illustratif, non un relevé.
Cycle de redevabilité
Comment les engagements en matière de supervision et de responsabilité de l'IA sont suivis, de l'engagement jusqu'à la correction.
- S'engagerGouvernementUn engagement assorti d'un mandat et d'une base juridique.
- PlanifierAgence chef de fileUn plan national avec des responsables et des jalons.
- RessourceMinistère des financesUne ligne budgétaire ou un financement consigné.
- Mettre en œuvreAgences et collectivités localesL'exécution au regard du plan.
- RapportOffice statistiqueIndicateurs communiqués selon des définitions convenues.
- ExamenParlement, audit, société civileExamen indépendant des résultats et des lacunes.
- CorrigerGouvernementModifications du plan, publiées avec leurs motifs.
What institutions ask about oversight.
- Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
- Le système a-t-il été validé pour cet usage précis et cette population, par une personne indépendante de ses concepteurs ?
- Les personnes qui examinent ses résultats peuvent-elles réellement être en désaccord avec lui, ou se contentent-elles d'approuver ce qu'il suggère ?
- How will performance be monitored once the system is in use, and what triggers suspension?
Why accountability erodes.
Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.
Examen de pure forme
Les personnes ont tendance à s'en remettre aux résultats automatisés, surtout sous la pression du temps, si bien que la revue humaine peut devenir une formalité.
Beaucoup de mains
Developers, vendors, integrators and users each own part of the system and none owns the outcome.
Changing performance
Les modèles se dégradent à mesure que le monde change, et sans suivi cette dégradation passe inaperçue.
Instruments de contrôle.
- 01
Évaluations d'impact
Analyse structurée des risques pour les droits et les résultats avant le déploiement. Limites : peut devenir une formalité administrative si elle n'est pas liée aux décisions.
- 02
Validation indépendante
Tests menés par des personnes indépendantes des développeurs, à l'aide de l' Ingénierie de l'évaluation et de l'assurance de l'IA. Limites : les tests montrent la performance sur des données de test, et non dans toutes les situations réelles.
- 03
Meaningful human review
Des évaluateurs disposant de l'autorité, du temps, de l'information et de la formation nécessaires pour passer outre. Limites : coûteux et difficile à maintenir à grande échelle.
- 04
Pistes d'audit et suivi
Logs of inputs, outputs and decisions, with performance tracked over time. Limits: only useful if someone reviews them.
Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.
- 01Ingénierie de l'évaluation et de l'assurance de l'IAPérimètre des audits par des tiers · Tests d'équité des systèmes publics · Surveillance après déploiementAppliqué ici
- 02Science des politiques, des institutions et de la décisionComparaison des régimes de l'IA · Cartographie de la redevabilité le long de la chaîne de valeur · Cartographie des forums et des mandatsAppliqué ici
- 03Intelligence artificielle et apprentissage automatiqueComment les modèles échouent en déploiement · Lire la documentation d'un modèle · Les architectures d'agents expliquéesAppliqué ici
Questions et réponses.
Quelle est la différence entre un fournisseur et un déployeur d'IA ?
Why does logging matter for AI oversight?
Does ISO/IEC 42001 certify that an AI system is safe?
Un humain dans la boucle suffit-il ?
Qui devrait valider un système d'IA ?
Does the platform audit AI systems?
What should trigger suspending a system?
Apportez des éléments de preuve depuis cette page.
Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.
- E-mailPasserelle GW-GRFL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Soumettez une question de gouvernance au Forum.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Afficher les 18 documents juridiques
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.