GRF · Tata Kelola AI dan Digital
Pengawasan dan akuntabilitas AI
Ketika sistem AI menyebabkan kerugian, harus ada pihak yang dapat mengetahui apa yang terjadi dan mempertanggungjawabkannya. Pengawasan bergantung pada dokumentasi, pencatatan log, audit, pelaporan insiden, serta otoritas yang memiliki kewenangan dan keterampilan untuk menggunakannya. Akuntabilitas tersebar di antara pengembang, penyelenggara, dewan direksi, dan regulator, dan dapat menghilang di antara mereka. Halaman ini menguraikan bagaimana pengawasan AI berhasil atau gagal, catatan yang menunjukkannya, dan siapa yang memegang setiap keputusan.
AI oversight and accountability in seven parts.
- 01PertanyaannyaPengawasan dan akuntabilitas AI: bagaimana risiko berkembang
- 02IndikatorApa yang diukur, dan seberapa baik
- 03SumberDari mana bukti berasal
- 04KeputusanSiapa yang memutuskan, dan apa yang dilayani bukti
- 05Pertanyaan intiPertanyaan lembaga tentang pengawasan
- 06MechanismsWhy accountability erodes
- 07Methods and limitsInstruments of oversight
AI oversight and accountability: how the risk develops.
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Responsibility diffuses along the chain
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
Catatan menentukan apa yang dapat ditinjau
Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.
Authorities lack capacity
Pengawas pasar, perlindungan data, dan regulator sektoral membutuhkan staf teknis, akses ke sistem dan kewenangan untuk mengujinya. Kapasitas yang tipis mengubah aturan menjadi penilaian mandiri.
Insiden tidak dilaporkan
Kegagalan muncul melalui keluhan, jurnalisme, dan litigasi, bukan melalui pelaporan. Pelaporan insiden wajib dan basis data insiden bersama memungkinkan pola terlihat lintas penerapan.
Register algoritma publik.
Layar yang akan digunakan sebuah tim untuk mengikuti subjek ini: ukuran, status, dan keputusannya. Nama adalah contoh dan nilai bersifat ilustratif.
Register algoritma publik
Pengawasan dan akuntabilitas AI · Register algoritma · Kuartal 2
Sistem terdaftar
| Penandaan kecurangan tunjangan | Keberdayaan sosial | Tinggi | Tidak ada | Sebagian |
| Triase perizinan | Perencanaan | Terbatas | Selesai | Ya |
| Penempatan sekolah | Pendidikan | Tinggi | Selesai | Ya |
| Asisten obrolan | Kantor pajak | Minimal | Selesai | n/a |
Tindakan pengawasan
- Sistem
- Penandaan kecurangan tunjangan
- Wajib
- penilaian dampak, jalur banding
- Tenggat
- 73 days
- Otoritas
- Badan pengawas
Pengaduan atas keputusan otomatis
Apa yang diukur, dan seberapa baik.
Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.
| Indikator | Unit | Kadensi | Jenis sumber | Label |
|---|---|---|---|---|
| Designated AI supervisory or market surveillance authority | yes or no, with legal basis | saat berubah | National legislation and notifications | Statistik yang diterbitkan |
| Technical staff in AI-relevant authorities | full-time equivalents | tahunan | Laporan tahunan otoritas | DILAPORKAN |
| Serious incidents reported under AI rules | jumlah menurut sektor | tahunan | Catatan publik | Statistik yang diterbitkan |
| Publicly recorded AI incidents | jumlah menurut jenis kerugian | setiap bulan | Basis data insiden | DILAPORKAN |
| Enforcement actions concerning AI systems | jumlah menurut otoritas dan jenis | tahunan | Register penegakan hukum oleh regulator | Statistik yang diterbitkan |
| ISO/IEC 42001 certificates issued | jumlah | tahunan | Certification body records | DILAPORKAN |
Bandingkan instrumen: aturan, insentif, dan informasi.
Tiga rumpun instrumen berdampingan dibandingkan dengan garis dasar, masing-masing dengan jeda dan kecepatan adopsinya sendiri, pada cakupan dan kepatuhan yang Anda tetapkan; besaran efek adalah nilai pengajaran yang perlu diganti dengan bukti. Skenario: asumsi bernama tentang masa depan, bukan prakiraan.
Kendali
- Tren dasar hasil
- 2,0% per tahun
- Cakupan instrumen
- 70%
- Kepatuhan
- 75%
- Ukuran efek, terhadap nilai pengajaran
- 100%
- Tahun ke depan
- 20 tahun
Pembacaan
- Pengurangan terbesar pada cakrawala waktu
- Regulasi
- Pengurangannya terhadap garis dasar
- 21%
Angka, metode, dan sumber
| Tahun | Garis dasar | Regulasi | Insentif ekonomi | Informasi dan kapasitas |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Metode
- Tools of government Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
- Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
- Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Data
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Borders Natural Earth
- Cities Natural Earth
Di seluruh enam pilar, dipimpin oleh Nexus Consortium
- Eksperimen Laboratorium
- Tertanam di Tata Kelola AI dan Digital di Foundry
- Diuji pada Tata Kelola AI dan Digital di Universe
- Dikodifikasi dalam Digital, Siber, dan AI di Standards
- Diterbitkan di Tata Kelola AI dan Digital di Reports
- Diajarkan di Fakultas Teknologi dan Sistem Digital di Academy
Asal bukti.
Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.
| Sumber | Apa yang diberikannya | Kelas lisensi |
|---|---|---|
| OECD.AI Policy Observatory | Kebijakan AI nasional, badan tata kelola, dan AI Incidents Monitor | Gratis, ketentuan OECD |
| AI Incident Database | Crowd-sourced records of harms involving AI systems | Terbuka, lisensi perlu diperiksa |
| European Data Protection Board and national authority decisions | Decisions on automated processing and AI-related complaints | Public, EU and national reuse terms |
| Stanford AI Index Report | Data tentang pengembangan, kebijakan, dan insiden AI | Bebas dibaca, lisensi untuk diperiksa |
| Laporan tahunan regulator | Staffing, priorities and enforcement of authorities supervising AI | Catatan publik, ketentuan per otoritas |
Dari mandat hingga evaluasi, per pilar.
Langkah-langkah yang ditempuh sebuah instrumen dari mandat hingga evaluasi, masing-masing dengan pilar yang menjalankannya, serta keputusan yang tetap berada pada otoritas. Model pengajaran dengan nilai ilustratif yang dinyatakan, bukan prediksi.
- Mandat dan pembingkaian masalah Otoritas yang berwenang (di luar program)
Otoritas yang berwenang membingkai masalah dan mandat menurut aturannya sendiri. Howlett, Ramesh dan Perl (2009) - Evidence and system model Foundry
The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2 - Options appraised with scenarios Foundry
Instruments are compared under scenarios, with uncertainty shown. Hood (1983) - Exercise with stakeholders Universe
The options are tested in an exercise with those who would implement and bear them. OECD (2014), principle 3 - Standard or guidance drafted Nexus Standards
What works is codified as a standard or guidance, open to comment. Nexus Standards process - Keputusan otoritas Otoritas yang berwenang (di luar program)
Otoritas memutuskan, di luar program, dengan bukti yang tercatat. Howlett, Ramesh dan Perl (2009) - Kapasitas dan pelatihan Akademi Risiko
Pihak yang melaksanakan dilatih mengenai instrumen yang diputuskan dan datanya. Kerangka Kerja Sendai untuk Pengurangan Risiko Bencana (2015), prioritas 2 - Monitoring and public report Reports
Indicators are published with sources, limits and corrections. OECD (2014), principle 5 - Evaluation and revision Nexus Standards
Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)
Metode
- Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- Governance of critical risks OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
Di seluruh enam pilar, dipimpin oleh Nexus Consortium
- Eksperimen Laboratorium
- Tertanam di Tata Kelola AI dan Digital di Foundry
- Diuji pada Tata Kelola AI dan Digital di Universe
- Dikodifikasi dalam Digital, Siber, dan AI di Standards
- Diterbitkan di Tata Kelola AI dan Digital di Reports
- Diajarkan di Fakultas Teknologi dan Sistem Digital di Academy
Siapa yang memutuskan, dan apa yang dilayani bukti.
Tata Kelola AI dan Digital menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturannya sendiri, dan tidak pernah oleh platform.
| Siapa yang memutuskan | Pertanyaannya | Bukti yang dilayani halaman ini |
|---|---|---|
| Lembaga legislatif | Which obligations attach to developers, deployers and providers of general-purpose models | Rezim komparatif dan bukti dari berbagai insiden |
| Pengawasan pasar dan regulator sektoral | Which systems to inspect and what powers to use | Incident records, risk categories and enforcement practice |
| Boards of deploying organisations | Siapa yang memiliki risiko AI dan penjaminan apa yang mereka syaratkan | Governance practice and management system standards |
| Pengadilan | Who is responsible for harm caused with an AI system | Records and expert evidence presented by parties; the page serves context only |
Keluaran yang dihasilkan topik ini
- Maps of accountability across the AI value chain for a given use
- Comparative notes on AI supervisory authorities and their powers
- Guide to AI incident reporting regimes and databases
- Pertanyaan bagi dewan direksi dan regulator tentang pengawasan AI
Bagaimana pengawasan dan akuntabilitas AI diatur: instrumen, mandat, dan komitmen.
Instrumen, mandat, aktor, dan pengaturan akuntabilitas yang digunakan pembuat kebijakan, diplomat, atau lembaga pembangunan, dengan merujuk perjanjian yang menetapkannya. Struktur mengikuti kerangka yang disebutkan. Setiap kondisi atau kemajuan yang digambarkan bersifat ilustratif, bukan catatan.
Siklus akuntabilitas
How commitments on AI oversight and accountability are held to account, from commitment to correction.
- BerkomitmenPemerintahKomitmen dengan mandat dan dasar hukum.
- RencanaBadan pelaksana utamaRencana nasional dengan pemilik dan tonggak capaian.
- Sumber dayaKementerian keuanganMata anggaran atau pembiayaan yang tercatat.
- TerapkanBadan dan pemerintah daerahPelaksanaan sesuai rencana.
- LaporanKantor statistikIndikator dilaporkan dengan definisi yang disepakati.
- TinjauanBadan legislatif, audit, masyarakat sipilTinjauan independen atas hasil dan kesenjangan.
- KoreksiPemerintahPerubahan rencana, diterbitkan beserta alasannya.
What institutions ask about oversight.
- Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
- Apakah sistem telah divalidasi untuk penggunaan dan populasi spesifik ini, oleh pihak yang independen dari pengembangnya?
- Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
- How will performance be monitored once the system is in use, and what triggers suspension?
Mengapa akuntabilitas terkikis.
Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.
Tinjauan formalitas semata
Orang cenderung menuruti keluaran otomatis, terutama di bawah tekanan waktu, sehingga tinjauan oleh manusia dapat menjadi formalitas belaka.
Banyak tangan
Developers, vendors, integrators and users each own part of the system and none owns the outcome.
Kinerja yang berubah
Model menurun kinerjanya seiring perubahan dunia, dan tanpa pemantauan penurunan itu tidak terdeteksi.
Instruments of oversight.
- 01
Impact assessments
Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.
- 02
Validasi independen
Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.
- 03
Tinjauan manusia yang bermakna
Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.
- 04
Jejak audit dan pemantauan
Log masukan, keluaran, dan keputusan, dengan kinerja yang dipantau dari waktu ke waktu. Keterbatasan: hanya berguna jika ada pihak yang meninjaunya.
Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.
- 01Evaluasi AI dan rekayasa penjaminanCakupan audit pihak ketiga · Pengujian keadilan dalam sistem publik · Pemantauan pascapenerapanDiterapkan di sini
- 02Ilmu kebijakan, kelembagaan, dan keputusanMembandingkan rezim AI · Pemetaan akuntabilitas rantai nilai · Pemetaan forum dan mandatDiterapkan di sini
- 03Kecerdasan buatan dan pembelajaran mesinBagaimana model gagal dalam penerapan · Membaca dokumentasi model · Penjelasan arsitektur agenDiterapkan di sini
Tanya jawab.
Apa perbedaan antara penyedia AI dan penerap (deployer)?
Mengapa pencatatan log penting bagi pengawasan AI?
Does ISO/IEC 42001 certify that an AI system is safe?
Apakah melibatkan manusia dalam prosesnya sudah cukup?
Siapa yang sebaiknya memvalidasi sistem AI?
Does the platform audit AI systems?
Apa yang seharusnya memicu penangguhan suatu sistem?
Kontribusikan bukti dari halaman ini.
Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.
- SurelGerbang GW-GRFKirim dari halaman iniBukti, koreksi, kasus, metode, tinjauan, terjemahan, atau masukan profil. Kiriman tiba dengan label halaman ini, sehingga editor pemiliknya menerimanya.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Ajukan pertanyaan tata kelola kepada Forum.
Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.
Dokumen hukum.
Tampilkan semua 18 dokumen hukum
Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.