How models fail in deployment
Distribution shift, spurious correlations and feedback loops are explained with public case records, so oversight bodies know what to ask about a system’s behaviour after deployment.
GRF · Tata Kelola AI dan Digital
Kecerdasan buatan dan pembelajaran mesin untuk tata kelola AI dan digital
Artificial intelligence and machine learning are the sistem this field governs. On this platform the methods are explained so that oversight bodies, legislators and the public understand what models do, how they fail and what evidence about them can be trusted.
01Daftar isi
Artificial intelligence and machine learning for AI and digital governance in five parts.
02Permohonan
Apa yang dilakukan kecerdasan buatan dan pembelajaran mesin di sini.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence, digital public infrastructure and cyber and digital resilience, machine learning can scale detection and forecasting across interconnected sistem. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on STEM Commons.
Reading model documentation
Model cards, data sheets and system cards are read for what they disclose and omit about training data, evaluation and limits.
Agent architectures explained
How agents chain model calls, tools and memory is described, so that permission and liability questions can be placed at the right point.
03Pantau
Pelatihan model.
Layar yang akan digunakan sebuah tim untuk mengikuti metode ini: ukuran, status, dan keputusannya. Nama adalah contoh dan nilai bersifat ilustratif.
Pelatihan model
AI and digital governance · Artificial intelligence · Run R-6213
Pergeseran pada satu irisanGRF · Tata Kelola AI dan Digital
Evaluasi per irisan
| Semua | 0.85 | 0.04 | 4407 | Lintasan |
| Wilayah A | 0.78 | 0.04 | 1829 | Tinjauan |
| Wilayah B | 0.65 | 0.07 | 444 | Tinjauan |
| Kelas langka | 0.74 | 0.14 | 124 | Di bawah batas |
Kartu metode
- Metode
- Kecerdasan buatan dan pembelajaran mesin
- Pembagian data
- berbasis waktu, tanpa kebocoran
- Fitur
- 55
- Label
- DIMODELKAN
Stabilitas populasi
04Data
Apa yang digunakan metode ini.
Set data dan catatan yang digunakan oleh kecerdasan buatan dan pembelajaran mesin di platform ini, beserta peran masing-masing dan label yang dibawa nilainya. Sumber dicantumkan dalam register sumber.
| Data | Peran | Label |
|---|---|---|
| Model and system cards | Disclosed capabilities and limits | DINYATAKAN |
| Benchmark results | Comparative capability | DILAPORKAN |
| Incident records | Observed failures | DILAPORKAN |
| Research literature | Metode dan bukti | DILAPORKAN |
05Skenario kebijakan
Bandingkan instrumen: aturan, insentif, dan informasi.
Tiga rumpun instrumen berdampingan dibandingkan dengan garis dasar, masing-masing dengan jeda dan kecepatan adopsinya sendiri, pada cakupan dan kepatuhan yang Anda tetapkan; besaran efek adalah nilai pengajaran yang perlu diganti dengan bukti. Skenario: asumsi bernama tentang masa depan, bukan prakiraan.
Kendali
- Tren dasar hasil
- 2,0% per tahun
- Cakupan instrumen
- 70%
- Kepatuhan
- 75%
- Ukuran efek, terhadap nilai pengajaran
- 100%
- Tahun ke depan
- 20 tahun
Pembacaan
- Pengurangan terbesar pada cakrawala waktu
- Regulasi
- Pengurangannya terhadap garis dasar
- 21%
Angka, metode, dan sumber
| Tahun | Garis dasar | Regulasi | Insentif ekonomi | Informasi dan kapasitas |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Metode
- Perangkat pemerintahan Hood (1983), The Tools of Government, Macmillan
- Wortel, tongkat, dan khotbah Bemelmans-Videc, Rist and Vedung (1998), Transaction
- Difusi inovasi Rogers (2003), Diffusion of Innovations, Free Press
- Kipas ketidakpastian (Monte Carlo parameter) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- Sensitivitas satu per satu (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Data
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Perbatasan Natural Earth
- Kota Natural Earth
Di seluruh enam pilar, dipimpin oleh Nexus Consortium
- Eksperimen Laboratorium
- Tertanam di Tata Kelola AI dan Digital di Foundry
- Diuji pada Tata Kelola AI dan Digital di Universe
- Dikodifikasi dalam Digital, Siber, dan AI di Standards
- Diterbitkan di Tata Kelola AI dan Digital di Reports
- Diajarkan di Fakultas Teknologi dan Sistem Digital di Academy
06Validasi
Cara hasil diperiksa.
Model dievaluasi pada data uji tersisih yang menghormati struktur spasial, temporal, dan kelompok. Ketangguhan, kalibrasi, dan keadilan diuji di samping akurasi.
| Pemeriksaan | Cara pelaksanaannya |
|---|---|
| Claims against evidence | Capability claims are checked against published evaluations |
| Context of benchmarks | Benchmark results are read with their task and data limits stated |
| Deployment conditions | Behaviour is described for the conditions in which the system is used |
Kinerja menurun ketika kondisi penerapan berbeda dari data pelatihan. Model dapat menyandikan bias dan gagal tanpa peringatan yang jelas pada kejadian langka.
07Implementasi
Dari mandat hingga evaluasi, per pilar.
Langkah-langkah yang ditempuh sebuah instrumen dari mandat hingga evaluasi, masing-masing dengan pilar yang menjalankannya, serta keputusan yang tetap berada pada otoritas. Model pengajaran dengan nilai ilustratif yang dinyatakan, bukan prediksi.
- Mandat dan pembingkaian masalah Otoritas yang berwenang (di luar program)
Otoritas yang berwenang membingkai masalah dan mandat menurut aturannya sendiri. Howlett, Ramesh dan Perl (2009) - Bukti dan model sistem Foundry
Sistem dimodelkan beserta umpan baliknya, datanya, dan batasan yang dinyatakan. OECD (2014), prinsip 2 - Opsi dinilai dengan skenario Foundry
Instrumen dibandingkan dalam berbagai skenario, dengan ketidakpastian ditampilkan. Hood (1983) - Latihan bersama pemangku kepentingan Semesta
Opsi-opsi diuji dalam latihan bersama pihak yang akan melaksanakan dan menanggungnya. OECD (2014), principle 3 - Standar atau panduan disusun Nexus Standards
Apa yang berhasil dikodifikasi sebagai standar atau panduan, terbuka untuk komentar. Proses Nexus Standards - Keputusan otoritas Otoritas yang berwenang (di luar program)
Otoritas memutuskan, di luar program, dengan bukti yang tercatat. Howlett, Ramesh dan Perl (2009) - Kapasitas dan pelatihan Akademi Risiko
Pihak yang melaksanakan dilatih mengenai instrumen yang diputuskan dan datanya. Kerangka Kerja Sendai untuk Pengurangan Risiko Bencana (2015), prioritas 2 - Pemantauan dan laporan publik Laporan
Indikator dipublikasikan beserta sumber, batasan, dan koreksinya. OECD (2014), principle 5 - Evaluasi dan revisi Nexus Standards
Hasil kembali ke standar dan model: siklus pun tertutup. Howlett, Ramesh dan Perl (2009)
Metode
- Siklus kebijakan Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- Tata kelola risiko kritis OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- Penggambaran berlapis graf berarah Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
Di seluruh enam pilar, dipimpin oleh Nexus Consortium
- Eksperimen Laboratorium
- Tertanam di Tata Kelola AI dan Digital di Foundry
- Diuji pada Tata Kelola AI dan Digital di Universe
- Dikodifikasi dalam Digital, Siber, dan AI di Standards
- Diterbitkan di Tata Kelola AI dan Digital di Reports
- Diajarkan di Fakultas Teknologi dan Sistem Digital di Academy
08Keterkaitan
Topik yang bertumpu pada metode ini.
09Instrumen dan komitmen
Instrumen, mandat, dan komitmen.
Instrumen, mandat, aktor, dan pengaturan akuntabilitas yang digunakan pembuat kebijakan, diplomat, atau lembaga pembangunan, dengan merujuk perjanjian yang menetapkannya. Struktur mengikuti kerangka yang disebutkan. Setiap kondisi atau kemajuan yang digambarkan bersifat ilustratif, bukan catatan.
Matriks instrumen kebijakan
The kinds of instrument available on Artificial intelligence and machine learning for AI and digital governance, by level of government and cooperation.
| Jenis instrumen | Lokal | Nasional | Regional | Global |
|---|---|---|---|---|
| Regulasi | Zonasi, kode bangunan | Hukum, standar, perizinan | Aturan yang diharmonisasi | Konvensi dan perjanjian |
| Ekonomi | Pungutan lokal, hibah | Pos anggaran, pajak, skema asuransi | Kolam risiko, dana regional | Mekanisme pembiayaan |
| Informasi | Peringatan lokal | Pengungkapan, peringatan dini, statistik | Pengaturan berbagi data | Pemantauan dan pelaporan global |
| Kelembagaan | Komite lokal | Lembaga pemimpin, dewan koordinasi | Badan regional dan sekretariat | Mandat multilateral |
| Kooperatif | Kesepakatan komunitas | Kesepakatan kemitraan | Nota kesepahaman dan program bersama | Perjanjian dan komitmen bersama |
Kerangka Kerja Sendai untuk Pengurangan Risiko Bencana · UNDRRPersetujuan Paris · UNFCCCAgenda 2030 dan Tujuan Pembangunan Berkelanjutan · Perserikatan Bangsa-BangsaPeraturan Kesehatan Internasional · WHO
10Pengelolaan
Siapa yang memelihara metode ini.
Kecerdasan Buatan dan Sistem Otonom mengelola kecerdasan buatan dan pembelajaran mesin untuk Konsorsium dan meninjau cara penerapannya di berbagai platform.
11Terhubung
Ke mana halaman ini mengarah di seluruh Konsorsium.
12Pertanyaan
Tanya jawab.
Apa batasan kecerdasan buatan dan pembelajaran mesin di bidang ini?
Kinerja menurun ketika kondisi penerapan berbeda dari data pelatihan. Model dapat menyandikan bias dan gagal tanpa peringatan yang jelas pada kejadian langka.
Bagaimana hasil diperiksa?
Model dievaluasi pada data uji tersisih yang menghormati struktur spasial, temporal, dan kelompok. Ketangguhan, kalibrasi, dan keadilan diuji di samping akurasi.
Apakah nilai di halaman ini nyata?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Di mana lagi metode ini diterapkan?
Observatory Halaman metode kanonis mencantumkan setiap platform yang menerapkannya.
LaporanBerkontribusi
Kontribusikan bukti dari halaman ini.
Laporan is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumTata Kelola AI dan DigitalTeknologi EksponensialRingkasan Bukti
- SurelGerbang GW-GRFKirim dari halaman iniBukti, koreksi, kasus, metode, tinjauan, terjemahan, atau masukan profil. Kiriman tiba dengan label halaman ini, sehingga editor pemiliknya menerimanya.
- ZenodoDeposit terbukaDeposit dan ajukan ke komunitasTerbitkan catatan Anda sendiri di Zenodo dengan ORCID iD Anda, lalu ajukan ke komunitas Reports di sana. Kurator meninjaunya; DOI tetap milik Anda.
- LaporanGlobal Risks ForumLihat semua cara berkontribusiJenis kontribusi, cara masing-masing ditinjau, kredit yang Anda terima, lisensinya, dan apa yang tidak pernah diterima.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Tata Kelola AI dan Digital
Ajukan pertanyaan tata kelola kepada Forum.
Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.
Hukum
Dokumen hukum.
Tampilkan semua 18 dokumen hukum
Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.