How models fail in deployment
Distribution shift, spurious correlations and feedback loops are explained with public case records, so oversight bodies know what to ask about a system’s behaviour after deployment.
GRF · Gouvernance de l'IA et du numérique
Intelligence artificielle et apprentissage automatique pour la gouvernance de l'IA et du numérique
Artificial intelligence and machine learning are the systèmes this field governs. On this platform the methods are explained so that oversight bodies, legislators and the public understand what models do, how they fail and what evidence about them can be trusted.
01Sommaire
Artificial intelligence and machine learning for AI and digital governance in five parts.
02Candidature
Ce que fait ici l'intelligence artificielle et l'apprentissage automatique.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence, digital public infrastructure and cyber and digital resilience, machine learning can scale detection and forecasting across interconnected systèmes. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on le STEM Commons.
Reading model documentation
Model cards, data sheets and system cards are read for what they disclose and omit about training data, evaluation and limits.
Agent architectures explained
How agents chain model calls, tools and memory is described, so that permission and liability questions can be placed at the right point.
03Suivi
Entraînement des modèles.
L'écran qu'une équipe utiliserait pour suivre cette méthode : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.
Entraînement des modèles
AI and digital governance · Artificial intelligence · Run R-6213
Dérive sur une trancheGRF · Gouvernance de l'IA et du numérique
Évaluation par tranche
| Tout | 0.85 | 0.04 | 4407 | Réussite |
| Région A | 0.78 | 0.04 | 1829 | Examen |
| Région B | 0.65 | 0.07 | 444 | Examen |
| Classe rare | 0.74 | 0.14 | 124 | Sous le seuil |
Fiche méthode
- Méthode
- Intelligence artificielle et apprentissage automatique
- Répartition
- chronologique, sans fuite
- Caractéristiques
- 55
- Étiquette
- MODÉLISÉ
Stabilité de la population
04Données
Ce que consomme la méthode.
Les jeux de données et registres utilisés par l'intelligence artificielle et l'apprentissage automatique sur cette plateforme, avec le rôle de chacun et l'étiquette que portent ses valeurs. Les sources sont listées dans le registre des sources.
| Données | Rôle | Étiquette |
|---|---|---|
| Model and system cards | Disclosed capabilities and limits | DÉCLARÉ |
| Benchmark results | Comparative capability | DÉCLARÉ |
| Incident records | Observed failures | DÉCLARÉ |
| Research literature | Méthodes et preuves | DÉCLARÉ |
05Scénarios de politique
Comparer les instruments : règles, incitations et information.
Trois familles d'instruments comparées à la situation de référence, chacune avec son propre décalage et sa propre vitesse d'adoption, selon la couverture et la conformité que vous fixez ; les ordres de grandeur des effets sont des valeurs pédagogiques à remplacer par des données probantes. Scénario : hypothèses nommées sur l'avenir, non une prévision.
Commandes
- Tendance de référence du résultat
- 2,0 % par an
- Couverture de l'instrument
- 70%
- Conformité
- 75%
- Ordre de grandeur de l'effet, par rapport à la valeur pédagogique
- 100%
- Années à venir
- 20 ans
Relevés
- Plus forte réduction à l'horizon
- Réglementation
- Sa réduction par rapport à la situation de référence
- 21%
Chiffres, méthodes et sources
| Année | Référence | Réglementation | Incitation économique | Information et capacités |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Méthodes
- Les outils de l'action publique Hood (1983), The Tools of Government, Macmillan
- Carottes, bâtons et sermons Bemelmans-Videc, Rist et Vedung (1998), Transaction
- Diffusion des innovations Rogers (2003), Diffusion of Innovations, Free Press
- Éventail d'incertitude (Monte Carlo sur les paramètres) Spiegelhalter, Pearson et Short (2011), Visualising uncertainty about the future, Science 333
- Sensibilité un facteur à la fois (tornade) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Données
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Frontières Natural Earth
- Villes Natural Earth
Sur les six piliers, sous la conduite de Nexus Consortium
- Expériences Laboratoires
- Intégré Gouvernance de l'IA et du numérique dans Foundry
- Testé à Gouvernance de l'IA et du numérique dans Universe
- Codifié dans Numérique, cyber et IA dans Standards
- Publié dans Gouvernance de l'IA et du numérique dans les Rapports
- Enseigné dans Faculté de technologie et de systèmes numériques dans Academy
06Validation
Comment les résultats sont vérifiés.
Les modèles sont évalués sur des données réservées qui respectent la structure spatiale, temporelle et par groupe. La robustesse, l'étalonnage et l'équité sont testés en plus de l'exactitude.
| Vérifier | Comment c'est fait |
|---|---|
| Claims against evidence | Capability claims are checked against published evaluations |
| Context of benchmarks | Benchmark results are read with their task and data limits stated |
| Deployment conditions | Behaviour is described for the conditions in which the system is used |
La performance se dégrade lorsque les conditions de déploiement diffèrent des données d'entraînement. Les modèles peuvent encoder des biais et échouer sans avertissement clair sur des événements rares.
07Mise en œuvre
Du mandat à l'évaluation, par pilier.
Les étapes que franchit un instrument, du mandat à l'évaluation, avec le pilier qui l'exécute et les décisions qui restent à l'autorité. Modèle pédagogique à valeurs illustratives déclarées, non une prévision.
- Mandat et cadrage du problème Autorité compétente (en dehors du programme)
Une autorité compétente cadre le problème et le mandat selon ses propres règles. Howlett, Ramesh et Perl (2009) - Données probantes et modèle du système Foundry
Le système est modélisé avec ses rétroactions, ses données et ses limites énoncées. OCDE (2014), principe 2 - Options appréciées au moyen de scénarios Foundry
Les instruments sont comparés selon des scénarios, avec l'incertitude affichée. Hood (1983) - Exercice avec les parties prenantes Univers
Les options sont mises à l'épreuve dans un exercice avec ceux qui les mettraient en œuvre et les supporteraient. OCDE (2014), principe 3 - Norme ou orientation rédigée Nexus Standards
Ce qui fonctionne est codifié sous forme de norme ou d'orientation, ouverte aux commentaires. Processus des Nexus Standards - Décision de l'autorité Autorité compétente (en dehors du programme)
L'autorité décide, en dehors du programme, au vu des éléments probants consignés. Howlett, Ramesh et Perl (2009) - Capacités et formation Risk Academy
Ceux qui mettent en œuvre sont formés à l'instrument décidé et à ses données. Cadre de Sendai pour la réduction des risques de catastrophe (2015), priorité 2 - Suivi et rapport public Rapports
Les indicateurs sont publiés avec leurs sources, leurs limites et leurs corrections. OCDE (2014), principe 5 - Évaluation et révision Nexus Standards
Les résultats reviennent à la norme et au modèle : le cycle se referme. Howlett, Ramesh et Perl (2009)
Méthodes
- Cycle des politiques Howlett, Ramesh et Perl (2009), Studying Public Policy, Oxford University Press
- Gouvernance des risques majeurs OCDE (2014), Recommandation du Conseil sur la gouvernance des risques majeurs
- Tracé en couches de graphes orientés Sugiyama, Tagawa et Toda (1981), IEEE SMC 11
Sur les six piliers, sous la conduite de Nexus Consortium
- Expériences Laboratoires
- Intégré Gouvernance de l'IA et du numérique dans Foundry
- Testé à Gouvernance de l'IA et du numérique dans Universe
- Codifié dans Numérique, cyber et IA dans Standards
- Publié dans Gouvernance de l'IA et du numérique dans les Rapports
- Enseigné dans Faculté de technologie et de systèmes numériques dans Academy
09Instruments et engagements
Instruments, mandats et engagements.
Les instruments, mandats, acteurs et dispositifs de redevabilité avec lesquels travaillent un décideur public, un diplomate ou une agence de développement, avec mention des accords qui les établissent. Les structures suivent les cadres nommés. Tout état ou progrès représenté est illustratif, non un relevé.
Matrice des instruments de politique
The kinds of instrument available on Artificial intelligence and machine learning for AI and digital governance, by level of government and cooperation.
| Type d'instrument | Local | National | Régional | Mondial |
|---|---|---|---|---|
| Réglementaire | Zonage, codes du bâtiment | Lois, normes, octroi de licences | Règles harmonisées | Conventions et traités |
| Économique | Prélèvements locaux, subventions | Lignes budgétaires, impôts, régimes d'assurance | Mécanismes de mutualisation des risques, fonds régionaux | Mécanismes de financement |
| Information | Alertes locales | Divulgation, alerte précoce, statistiques | Accords de partage des données | Suivi et établissement de rapports à l'échelle mondiale |
| Institutionnel | Comités locaux | Organismes chefs de file, conseils de coordination | Organismes régionaux et secrétariats | Mandats multilatéraux |
| Coopératif | Accords communautaires | Pactes de partenariat | Protocoles d'accord et programmes conjoints | Accords et engagements conjoints |
Cadre de Sendai pour la réduction des risques de catastrophe · UNDRRAccord de Paris · CCNUCCProgramme de développement durable à l'horizon 2030 et objectifs de développement durable · Nations UniesRèglement sanitaire international · OMS
10Intendance
Qui tient à jour la méthode.
l'intelligence artificielle et les systèmes autonomes est le garant de l'intelligence artificielle et de l'apprentissage automatique pour le Consortium et examine la manière dont ils sont appliqués sur les différentes plateformes.
11Connecté
Où mène cette page à travers le Consortium.
12Questions
Questions et réponses.
Quelles sont les limites de l'intelligence artificielle et de l'apprentissage automatique dans ce domaine ?
La performance se dégrade lorsque les conditions de déploiement diffèrent des données d'entraînement. Les modèles peuvent encoder des biais et échouer sans avertissement clair sur des événements rares.
Comment les résultats sont-ils vérifiés ?
Les modèles sont évalués sur des données réservées qui respectent la structure spatiale, temporelle et par groupe. La robustesse, l'étalonnage et l'équité sont testés en plus de l'exactitude.
Les valeurs de cette page sont-elles réelles ?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Où d'autre cette méthode est-elle appliquée ?
L'Observatoire page canonique de la méthode liste toutes les plateformes qui l'appliquent.
RapportsContribuer
Apportez des éléments de preuve depuis cette page.
Rapports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumGouvernance de l'IA et du numériqueTechnologies exponentiellesNote de synthèse sur les preuves
- E-mailPasserelle GW-GRFL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoDépôt ouvertLe déposer et le soumettre à la communautéPubliez votre propre fiche sur Zenodo avec votre identifiant ORCID, puis soumettez-la à la communauté Reports qui s'y trouve. Des curateurs l'examinent ; le DOI reste le vôtre.
- RapportsGlobal Risks ForumVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Gouvernance de l'IA et du numérique
Soumettez une question de gouvernance au Forum.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Juridique
Documents juridiques.
Afficher les 18 documents juridiques
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.