Third-party audit scope
Audit engagements are compared for access, independence and what they test, so buyers and regulators know what an audit opinion covers.
GRF · Tata Kelola AI dan Digital
Rekayasa evaluasi dan penjaminan AI untuk tata kelola AI dan digital
AI assurance is the set of practices that build justified confidence in an AI system: evaluation, audit, red-teaming, monitoring and conformity assessment. In digital governance it decides what evidence regulators, buyers and courts can rely on, and who is independent enough to produce it.
01Daftar
Fakta kunci.
Catatan metodeMetode STEM
- MetodeEvaluasi AI dan rekayasa penjaminan
- PengelolaKecerdasan Buatan dan Sistem Otonom
- Diterapkan diTata Kelola AI dan Digital
- Data4 masukan
- Pemeriksaan3 langkah validasi
- Halaman kanonisSTEM Commons
02Permohonan
What AI evaluation and assurance engineering does here.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI sistem. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence, digital public infrastructure and cyber and digital resilience, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on STEM Commons.
Fairness testing in public systems
Outcome rates across groups are compared and proxy effects tested, with the fairness criterion chosen by the decision maker stated.
Post-deployment monitoring
Monitoring plans track drift, complaints and incidents after deployment, with thresholds that trigger review or withdrawal.
03Skenario kebijakan
Bandingkan instrumen: aturan, insentif, dan informasi.
Tiga rumpun instrumen berdampingan dibandingkan dengan garis dasar, masing-masing dengan jeda dan kecepatan adopsinya sendiri, pada cakupan dan kepatuhan yang Anda tetapkan; besaran efek adalah nilai pengajaran yang perlu diganti dengan bukti. Skenario: asumsi bernama tentang masa depan, bukan prakiraan.
Kendali
- Tren dasar hasil
- 2,0% per tahun
- Cakupan instrumen
- 70%
- Kepatuhan
- 75%
- Ukuran efek, terhadap nilai pengajaran
- 100%
- Tahun ke depan
- 20 tahun
Pembacaan
- Pengurangan terbesar pada cakrawala waktu
- Regulasi
- Pengurangannya terhadap garis dasar
- 21%
Angka, metode, dan sumber
| Tahun | Garis dasar | Regulasi | Insentif ekonomi | Informasi dan kapasitas |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Metode
- Perangkat pemerintahan Hood (1983), The Tools of Government, Macmillan
- Wortel, tongkat, dan khotbah Bemelmans-Videc, Rist and Vedung (1998), Transaction
- Difusi inovasi Rogers (2003), Diffusion of Innovations, Free Press
- Kipas ketidakpastian (Monte Carlo parameter) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- Sensitivitas satu per satu (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Data
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Perbatasan Natural Earth
- Kota Natural Earth
Di seluruh enam pilar, dipimpin oleh Nexus Consortium
- Eksperimen Laboratorium
- Tertanam di Tata Kelola AI dan Digital di Foundry
- Diuji pada Tata Kelola AI dan Digital di Universe
- Dikodifikasi dalam Digital, Siber, dan AI di Standards
- Diterbitkan di Tata Kelola AI dan Digital di Reports
- Diajarkan di Fakultas Teknologi dan Sistem Digital di Academy
04Data
Apa yang digunakan metode ini.
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in register sumber.
| Data | Peran | Label |
|---|---|---|
| Audit and evaluation reports | Assurance evidence | DILAPORKAN |
| Outcome and appeal data | Real-world performance | TERAMATI |
| Conformity assessment records | Regulatory compliance | DINYATAKAN |
| Incident reports | Failures in use | DILAPORKAN |
05Implementasi
Dari mandat hingga evaluasi, per pilar.
Langkah-langkah yang ditempuh sebuah instrumen dari mandat hingga evaluasi, masing-masing dengan pilar yang menjalankannya, serta keputusan yang tetap berada pada otoritas. Model pengajaran dengan nilai ilustratif yang dinyatakan, bukan prediksi.
- Mandat dan pembingkaian masalah Otoritas yang berwenang (di luar program)
Otoritas yang berwenang membingkai masalah dan mandat menurut aturannya sendiri. Howlett, Ramesh dan Perl (2009) - Bukti dan model sistem Foundry
Sistem dimodelkan beserta umpan baliknya, datanya, dan batasan yang dinyatakan. OECD (2014), prinsip 2 - Opsi dinilai dengan skenario Foundry
Instrumen dibandingkan dalam berbagai skenario, dengan ketidakpastian ditampilkan. Hood (1983) - Latihan bersama pemangku kepentingan Semesta
Opsi-opsi diuji dalam latihan bersama pihak yang akan melaksanakan dan menanggungnya. OECD (2014), principle 3 - Standar atau panduan disusun Nexus Standards
Apa yang berhasil dikodifikasi sebagai standar atau panduan, terbuka untuk komentar. Proses Nexus Standards - Keputusan otoritas Otoritas yang berwenang (di luar program)
Otoritas memutuskan, di luar program, dengan bukti yang tercatat. Howlett, Ramesh dan Perl (2009) - Kapasitas dan pelatihan Akademi Risiko
Pihak yang melaksanakan dilatih mengenai instrumen yang diputuskan dan datanya. Kerangka Kerja Sendai untuk Pengurangan Risiko Bencana (2015), prioritas 2 - Pemantauan dan laporan publik Laporan
Indikator dipublikasikan beserta sumber, batasan, dan koreksinya. OECD (2014), principle 5 - Evaluasi dan revisi Nexus Standards
Hasil kembali ke standar dan model: siklus pun tertutup. Howlett, Ramesh dan Perl (2009)
Metode
- Siklus kebijakan Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- Tata kelola risiko kritis OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- Penggambaran berlapis graf berarah Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
Di seluruh enam pilar, dipimpin oleh Nexus Consortium
- Eksperimen Laboratorium
- Tertanam di Tata Kelola AI dan Digital di Foundry
- Diuji pada Tata Kelola AI dan Digital di Universe
- Dikodifikasi dalam Digital, Siber, dan AI di Standards
- Diterbitkan di Tata Kelola AI dan Digital di Reports
- Diajarkan di Fakultas Teknologi dan Sistem Digital di Academy
06Validasi
Cara hasil diperiksa.
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| Pemeriksaan | Cara pelaksanaannya |
|---|---|
| Independensi | The assessor’s relationship to the developer and deployer is stated |
| Akses | The level of access to model, data and documentation is recorded |
| Scope stated | What the assurance covers and excludes is stated beside its conclusion |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
07Instrumen dan komitmen
Instrumen, mandat, dan komitmen.
Instrumen, mandat, aktor, dan pengaturan akuntabilitas yang digunakan pembuat kebijakan, diplomat, atau lembaga pembangunan, dengan merujuk perjanjian yang menetapkannya. Struktur mengikuti kerangka yang disebutkan. Setiap kondisi atau kemajuan yang digambarkan bersifat ilustratif, bukan catatan.
Matriks instrumen kebijakan
The kinds of instrument available on AI evaluation and assurance engineering for AI and digital governance, by level of government and cooperation.
| Jenis instrumen | Lokal | Nasional | Regional | Global |
|---|---|---|---|---|
| Regulasi | Zonasi, kode bangunan | Hukum, standar, perizinan | Aturan yang diharmonisasi | Konvensi dan perjanjian |
| Ekonomi | Pungutan lokal, hibah | Pos anggaran, pajak, skema asuransi | Kolam risiko, dana regional | Mekanisme pembiayaan |
| Informasi | Peringatan lokal | Pengungkapan, peringatan dini, statistik | Pengaturan berbagi data | Pemantauan dan pelaporan global |
| Kelembagaan | Komite lokal | Lembaga pemimpin, dewan koordinasi | Badan regional dan sekretariat | Mandat multilateral |
| Kooperatif | Kesepakatan komunitas | Kesepakatan kemitraan | Nota kesepahaman dan program bersama | Perjanjian dan komitmen bersama |
Kerangka Kerja Sendai untuk Pengurangan Risiko Bencana · UNDRRPersetujuan Paris · UNFCCCAgenda 2030 dan Tujuan Pembangunan Berkelanjutan · Perserikatan Bangsa-BangsaPeraturan Kesehatan Internasional · WHO
08Keterkaitan
Topik yang bertumpu pada metode ini.
09Pengelolaan
Siapa yang memelihara metode ini.
Kecerdasan Buatan dan Sistem Otonom stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
10Terhubung
Ke mana halaman ini mengarah di seluruh Konsorsium.
11Pertanyaan
Tanya jawab.
What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Bagaimana hasil diperiksa?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
Apakah nilai di halaman ini nyata?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Di mana lagi metode ini diterapkan?
Observatory Halaman metode kanonis mencantumkan setiap platform yang menerapkannya.
LaporanBerkontribusi
Kontribusikan bukti dari halaman ini.
Laporan is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumTata Kelola AI dan DigitalTeknologi EksponensialRingkasan Bukti
- SurelGerbang GW-GRFKirim dari halaman iniBukti, koreksi, kasus, metode, tinjauan, terjemahan, atau masukan profil. Kiriman tiba dengan label halaman ini, sehingga editor pemiliknya menerimanya.
- ZenodoDeposit terbukaDeposit dan ajukan ke komunitasTerbitkan catatan Anda sendiri di Zenodo dengan ORCID iD Anda, lalu ajukan ke komunitas Reports di sana. Kurator meninjaunya; DOI tetap milik Anda.
- LaporanGlobal Risks ForumLihat semua cara berkontribusiJenis kontribusi, cara masing-masing ditinjau, kredit yang Anda terima, lisensinya, dan apa yang tidak pernah diterima.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Tata Kelola AI dan Digital
Ajukan pertanyaan tata kelola kepada Forum.
Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.
Hukum
Dokumen hukum.
Tampilkan semua 18 dokumen hukum
Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.