Third-party audit scope
Audit engagements are compared for access, independence and what they test, so buyers and regulators know what an audit opinion covers.
GRF · Gouvernance de l'IA et du numérique
Évaluation et ingénierie d'assurance de l'IA pour la gouvernance de l'IA et du numérique
AI assurance is the set of practices that build justified confidence in an AI system: evaluation, audit, red-teaming, monitoring and conformity assessment. In digital governance it decides what evidence regulators, buyers and courts can rely on, and who is independent enough to produce it.
01Registre
Chiffres clés.
Fiche de la méthodeMéthode STIM
- MéthodeIngénierie de l'évaluation et de l'assurance de l'IA
- Appliqué dansGouvernance de l'IA et du numérique
- Données4 entrées
- Vérifications3 étapes de validation
- Page canoniqueCommuns STIM
02Candidature
What AI evaluation and assurance engineering does here.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systèmes. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence, digital public infrastructure and cyber and digital resilience, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on le STEM Commons.
Fairness testing in public systems
Outcome rates across groups are compared and proxy effects tested, with the fairness criterion chosen by the decision maker stated.
Post-deployment monitoring
Monitoring plans track drift, complaints and incidents after deployment, with thresholds that trigger review or withdrawal.
03Scénarios de politique
Comparer les instruments : règles, incitations et information.
Trois familles d'instruments comparées à la situation de référence, chacune avec son propre décalage et sa propre vitesse d'adoption, selon la couverture et la conformité que vous fixez ; les ordres de grandeur des effets sont des valeurs pédagogiques à remplacer par des données probantes. Scénario : hypothèses nommées sur l'avenir, non une prévision.
Commandes
- Tendance de référence du résultat
- 2,0 % par an
- Couverture de l'instrument
- 70%
- Conformité
- 75%
- Ordre de grandeur de l'effet, par rapport à la valeur pédagogique
- 100%
- Années à venir
- 20 ans
Relevés
- Plus forte réduction à l'horizon
- Réglementation
- Sa réduction par rapport à la situation de référence
- 21%
Chiffres, méthodes et sources
| Année | Référence | Réglementation | Incitation économique | Information et capacités |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Méthodes
- Les outils de l'action publique Hood (1983), The Tools of Government, Macmillan
- Carottes, bâtons et sermons Bemelmans-Videc, Rist et Vedung (1998), Transaction
- Diffusion des innovations Rogers (2003), Diffusion of Innovations, Free Press
- Éventail d'incertitude (Monte Carlo sur les paramètres) Spiegelhalter, Pearson et Short (2011), Visualising uncertainty about the future, Science 333
- Sensibilité un facteur à la fois (tornade) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Données
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Frontières Natural Earth
- Villes Natural Earth
Sur les six piliers, sous la conduite de Nexus Consortium
- Expériences Laboratoires
- Intégré Gouvernance de l'IA et du numérique dans Foundry
- Testé à Gouvernance de l'IA et du numérique dans Universe
- Codifié dans Numérique, cyber et IA dans Standards
- Publié dans Gouvernance de l'IA et du numérique dans les Rapports
- Enseigné dans Faculté de technologie et de systèmes numériques dans Academy
04Données
Ce que consomme la méthode.
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in le registre des sources.
| Données | Rôle | Étiquette |
|---|---|---|
| Audit and evaluation reports | Assurance evidence | DÉCLARÉ |
| Outcome and appeal data | Real-world performance | OBSERVÉ |
| Conformity assessment records | Regulatory compliance | DÉCLARÉ |
| Incident reports | Failures in use | DÉCLARÉ |
05Mise en œuvre
Du mandat à l'évaluation, par pilier.
Les étapes que franchit un instrument, du mandat à l'évaluation, avec le pilier qui l'exécute et les décisions qui restent à l'autorité. Modèle pédagogique à valeurs illustratives déclarées, non une prévision.
- Mandat et cadrage du problème Autorité compétente (en dehors du programme)
Une autorité compétente cadre le problème et le mandat selon ses propres règles. Howlett, Ramesh et Perl (2009) - Données probantes et modèle du système Foundry
Le système est modélisé avec ses rétroactions, ses données et ses limites énoncées. OCDE (2014), principe 2 - Options appréciées au moyen de scénarios Foundry
Les instruments sont comparés selon des scénarios, avec l'incertitude affichée. Hood (1983) - Exercice avec les parties prenantes Univers
Les options sont mises à l'épreuve dans un exercice avec ceux qui les mettraient en œuvre et les supporteraient. OCDE (2014), principe 3 - Norme ou orientation rédigée Nexus Standards
Ce qui fonctionne est codifié sous forme de norme ou d'orientation, ouverte aux commentaires. Processus des Nexus Standards - Décision de l'autorité Autorité compétente (en dehors du programme)
L'autorité décide, en dehors du programme, au vu des éléments probants consignés. Howlett, Ramesh et Perl (2009) - Capacités et formation Risk Academy
Ceux qui mettent en œuvre sont formés à l'instrument décidé et à ses données. Cadre de Sendai pour la réduction des risques de catastrophe (2015), priorité 2 - Suivi et rapport public Rapports
Les indicateurs sont publiés avec leurs sources, leurs limites et leurs corrections. OCDE (2014), principe 5 - Évaluation et révision Nexus Standards
Les résultats reviennent à la norme et au modèle : le cycle se referme. Howlett, Ramesh et Perl (2009)
Méthodes
- Cycle des politiques Howlett, Ramesh et Perl (2009), Studying Public Policy, Oxford University Press
- Gouvernance des risques majeurs OCDE (2014), Recommandation du Conseil sur la gouvernance des risques majeurs
- Tracé en couches de graphes orientés Sugiyama, Tagawa et Toda (1981), IEEE SMC 11
Sur les six piliers, sous la conduite de Nexus Consortium
- Expériences Laboratoires
- Intégré Gouvernance de l'IA et du numérique dans Foundry
- Testé à Gouvernance de l'IA et du numérique dans Universe
- Codifié dans Numérique, cyber et IA dans Standards
- Publié dans Gouvernance de l'IA et du numérique dans les Rapports
- Enseigné dans Faculté de technologie et de systèmes numériques dans Academy
06Validation
Comment les résultats sont vérifiés.
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| Vérifier | Comment c'est fait |
|---|---|
| Indépendance | The assessor’s relationship to the developer and deployer is stated |
| Accès | The level of access to model, data and documentation is recorded |
| Scope stated | What the assurance covers and excludes is stated beside its conclusion |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
07Instruments et engagements
Instruments, mandats et engagements.
Les instruments, mandats, acteurs et dispositifs de redevabilité avec lesquels travaillent un décideur public, un diplomate ou une agence de développement, avec mention des accords qui les établissent. Les structures suivent les cadres nommés. Tout état ou progrès représenté est illustratif, non un relevé.
Matrice des instruments de politique
The kinds of instrument available on AI evaluation and assurance engineering for AI and digital governance, by level of government and cooperation.
| Type d'instrument | Local | National | Régional | Mondial |
|---|---|---|---|---|
| Réglementaire | Zonage, codes du bâtiment | Lois, normes, octroi de licences | Règles harmonisées | Conventions et traités |
| Économique | Prélèvements locaux, subventions | Lignes budgétaires, impôts, régimes d'assurance | Mécanismes de mutualisation des risques, fonds régionaux | Mécanismes de financement |
| Information | Alertes locales | Divulgation, alerte précoce, statistiques | Accords de partage des données | Suivi et établissement de rapports à l'échelle mondiale |
| Institutionnel | Comités locaux | Organismes chefs de file, conseils de coordination | Organismes régionaux et secrétariats | Mandats multilatéraux |
| Coopératif | Accords communautaires | Pactes de partenariat | Protocoles d'accord et programmes conjoints | Accords et engagements conjoints |
Cadre de Sendai pour la réduction des risques de catastrophe · UNDRRAccord de Paris · CCNUCCProgramme de développement durable à l'horizon 2030 et objectifs de développement durable · Nations UniesRèglement sanitaire international · OMS
09Intendance
Qui tient à jour la méthode.
l'intelligence artificielle et les systèmes autonomes stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
10Connecté
Où mène cette page à travers le Consortium.
11Questions
Questions et réponses.
What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Comment les résultats sont-ils vérifiés ?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
Les valeurs de cette page sont-elles réelles ?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Où d'autre cette méthode est-elle appliquée ?
L'Observatoire page canonique de la méthode liste toutes les plateformes qui l'appliquent.
RapportsContribuer
Apportez des éléments de preuve depuis cette page.
Rapports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumGouvernance de l'IA et du numériqueTechnologies exponentiellesNote de synthèse sur les preuves
- E-mailPasserelle GW-GRFL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoDépôt ouvertLe déposer et le soumettre à la communautéPubliez votre propre fiche sur Zenodo avec votre identifiant ORCID, puis soumettez-la à la communauté Reports qui s'y trouve. Des curateurs l'examinent ; le DOI reste le vôtre.
- RapportsGlobal Risks ForumVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Gouvernance de l'IA et du numérique
Soumettez une question de gouvernance au Forum.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Juridique
Documents juridiques.
Afficher les 18 documents juridiques
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.