Skip to content

GRF · Tata Kelola AI dan Digital

Pengawasan dan akuntabilitas AI

Ketika sistem AI menyebabkan kerugian, harus ada pihak yang dapat mengetahui apa yang terjadi dan mempertanggungjawabkannya. Pengawasan bergantung pada dokumentasi, pencatatan log, audit, pelaporan insiden, serta otoritas yang memiliki kewenangan dan keterampilan untuk menggunakannya. Akuntabilitas tersebar di antara pengembang, penyelenggara, dewan direksi, dan regulator, dan dapat menghilang di antara mereka. Halaman ini menguraikan bagaimana pengawasan AI berhasil atau gagal, catatan yang menunjukkannya, dan siapa yang memegang setiap keputusan.

02Pertanyaannya

AI oversight and accountability: how the risk develops.

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mekanisme

Responsibility diffuses along the chain

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

Mekanisme

Catatan menentukan apa yang dapat ditinjau

Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.

Mekanisme

Authorities lack capacity

Pengawas pasar, perlindungan data, dan regulator sektoral membutuhkan staf teknis, akses ke sistem dan kewenangan untuk mengujinya. Kapasitas yang tipis mengubah aturan menjadi penilaian mandiri.

Mekanisme

Insiden tidak dilaporkan

Kegagalan muncul melalui keluhan, jurnalisme, dan litigasi, bukan melalui pelaporan. Pelaporan insiden wajib dan basis data insiden bersama memungkinkan pola terlihat lintas penerapan.

03Pantau

Register algoritma publik.

Layar yang akan digunakan sebuah tim untuk mengikuti subjek ini: ukuran, status, dan keputusannya. Nama adalah contoh dan nilai bersifat ilustratif.

Register algoritma publik

Pengawasan dan akuntabilitas AI · Register algoritma · Kuartal 2

Dua sistem berisiko tinggi tanpa penilaianGRF · Tata Kelola AI dan Digital

Sistem terdaftar

Penandaan kecurangan tunjanganKeberdayaan sosialTinggiTidak adaSebagian
Triase perizinanPerencanaanTerbatasSelesaiYa
Penempatan sekolahPendidikanTinggiSelesaiYa
Asisten obrolanKantor pajakMinimalSelesain/a

Tindakan pengawasan

Sistem
Penandaan kecurangan tunjangan
Wajib
penilaian dampak, jalur banding
Tenggat
73 days
Otoritas
Badan pengawas

Pengaduan atas keputusan otomatis

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04Indikator

Apa yang diukur, dan seberapa baik.

Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.

IndikatorUnitKadensiJenis sumberLabel
Designated AI supervisory or market surveillance authorityyes or no, with legal basissaat berubahNational legislation and notificationsStatistik yang diterbitkan
Technical staff in AI-relevant authoritiesfull-time equivalentstahunanLaporan tahunan otoritasDILAPORKAN
Serious incidents reported under AI rulesjumlah menurut sektortahunanCatatan publikStatistik yang diterbitkan
Publicly recorded AI incidentsjumlah menurut jenis kerugiansetiap bulanBasis data insidenDILAPORKAN
Enforcement actions concerning AI systemsjumlah menurut otoritas dan jenistahunanRegister penegakan hukum oleh regulatorStatistik yang diterbitkan
ISO/IEC 42001 certificates issuedjumlahtahunanCertification body recordsDILAPORKAN
05Skenario kebijakan

Bandingkan instrumen: aturan, insentif, dan informasi.

Tiga rumpun instrumen berdampingan dibandingkan dengan garis dasar, masing-masing dengan jeda dan kecepatan adopsinya sendiri, pada cakupan dan kepatuhan yang Anda tetapkan; besaran efek adalah nilai pengajaran yang perlu diganti dengan bukti. Skenario: asumsi bernama tentang masa depan, bukan prakiraan.

Kendali

Tren dasar hasil
2,0% per tahun
Cakupan instrumen
70%
Kepatuhan
75%
Ukuran efek, terhadap nilai pengajaran
100%
Tahun ke depan
20 tahun

Pembacaan

Pengurangan terbesar pada cakrawala waktu
Regulasi
Pengurangannya terhadap garis dasar
21%
Angka, metode, dan sumber
TahunGaris dasarRegulasiInsentif ekonomiInformasi dan kapasitas
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

Metode

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

Data

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
Bandingkan instrumen: aturan, insentif, dan informasi. Model pengajaran ilustratif: model ini berjalan pada nilai yang ditetapkan oleh kontrol, bukan pada data terukur. Metode: Tools of government (Hood (1983), The Tools of Government, Macmillan); Carrots, sticks and sermons (Bemelmans-Videc, Rist and Vedung (1998), Transaction); Diffusion of innovations (Rogers (2003), Diffusion of Innovations, Free Press).
06Sumber

Asal bukti.

Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.

SumberApa yang diberikannyaKelas lisensi
OECD.AI Policy ObservatoryKebijakan AI nasional, badan tata kelola, dan AI Incidents MonitorGratis, ketentuan OECD
AI Incident DatabaseCrowd-sourced records of harms involving AI systemsTerbuka, lisensi perlu diperiksa
European Data Protection Board and national authority decisionsDecisions on automated processing and AI-related complaintsPublic, EU and national reuse terms
Stanford AI Index ReportData tentang pengembangan, kebijakan, dan insiden AIBebas dibaca, lisensi untuk diperiksa
Laporan tahunan regulatorStaffing, priorities and enforcement of authorities supervising AICatatan publik, ketentuan per otoritas
07Implementasi

Dari mandat hingga evaluasi, per pilar.

Langkah-langkah yang ditempuh sebuah instrumen dari mandat hingga evaluasi, masing-masing dengan pilar yang menjalankannya, serta keputusan yang tetap berada pada otoritas. Model pengajaran dengan nilai ilustratif yang dinyatakan, bukan prediksi.

  1. Mandat dan pembingkaian masalah Otoritas yang berwenang (di luar program)
    Otoritas yang berwenang membingkai masalah dan mandat menurut aturannya sendiri. Howlett, Ramesh dan Perl (2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. Exercise with stakeholders Universe
    The options are tested in an exercise with those who would implement and bear them. OECD (2014), principle 3
  5. Standard or guidance drafted Nexus Standards
    What works is codified as a standard or guidance, open to comment. Nexus Standards process
  6. Keputusan otoritas Otoritas yang berwenang (di luar program)
    Otoritas memutuskan, di luar program, dengan bukti yang tercatat. Howlett, Ramesh dan Perl (2009)
  7. Kapasitas dan pelatihan Akademi Risiko
    Pihak yang melaksanakan dilatih mengenai instrumen yang diputuskan dan datanya. Kerangka Kerja Sendai untuk Pengurangan Risiko Bencana (2015), prioritas 2
  8. Monitoring and public report Reports
    Indicators are published with sources, limits and corrections. OECD (2014), principle 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

Metode

  1. Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
  2. Governance of critical risks OECD (2014), Recommendation of the Council on the Governance of Critical Risks
  3. Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
Dari mandat hingga evaluasi, per pilar: langkah-langkah sebagaimana tercatat, masing-masing dengan pilarnya; sumber sebagaimana dikutip pada setiap langkah.
08Keputusan

Siapa yang memutuskan, dan apa yang dilayani bukti.

Tata Kelola AI dan Digital menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturannya sendiri, dan tidak pernah oleh platform.

Siapa yang memutuskanPertanyaannyaBukti yang dilayani halaman ini
Lembaga legislatifWhich obligations attach to developers, deployers and providers of general-purpose modelsRezim komparatif dan bukti dari berbagai insiden
Pengawasan pasar dan regulator sektoralWhich systems to inspect and what powers to useIncident records, risk categories and enforcement practice
Boards of deploying organisationsSiapa yang memiliki risiko AI dan penjaminan apa yang mereka syaratkanGovernance practice and management system standards
PengadilanWho is responsible for harm caused with an AI systemRecords and expert evidence presented by parties; the page serves context only

Keluaran yang dihasilkan topik ini

  • Maps of accountability across the AI value chain for a given use
  • Comparative notes on AI supervisory authorities and their powers
  • Guide to AI incident reporting regimes and databases
  • Pertanyaan bagi dewan direksi dan regulator tentang pengawasan AI
09Instrumen dan komitmen

Bagaimana pengawasan dan akuntabilitas AI diatur: instrumen, mandat, dan komitmen.

Instrumen, mandat, aktor, dan pengaturan akuntabilitas yang digunakan pembuat kebijakan, diplomat, atau lembaga pembangunan, dengan merujuk perjanjian yang menetapkannya. Struktur mengikuti kerangka yang disebutkan. Setiap kondisi atau kemajuan yang digambarkan bersifat ilustratif, bukan catatan.

Siklus akuntabilitas

How commitments on AI oversight and accountability are held to account, from commitment to correction.

  1. BerkomitmenPemerintahKomitmen dengan mandat dan dasar hukum.
  2. RencanaBadan pelaksana utamaRencana nasional dengan pemilik dan tonggak capaian.
  3. Sumber dayaKementerian keuanganMata anggaran atau pembiayaan yang tercatat.
  4. TerapkanBadan dan pemerintah daerahPelaksanaan sesuai rencana.
  5. LaporanKantor statistikIndikator dilaporkan dengan definisi yang disepakati.
  6. TinjauanBadan legislatif, audit, masyarakat sipilTinjauan independen atas hasil dan kesenjangan.
  7. KoreksiPemerintahPerubahan rencana, diterbitkan beserta alasannya.
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
Kerangka Kerja Sendai untuk Pengurangan Risiko Bencana · UNDRRPersetujuan Paris · UNFCCCAgenda 2030 dan Tujuan Pembangunan Berkelanjutan · Perserikatan Bangsa-BangsaPeraturan Kesehatan Internasional · WHO
10Pertanyaan inti

What institutions ask about oversight.

  • Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
  • Apakah sistem telah divalidasi untuk penggunaan dan populasi spesifik ini, oleh pihak yang independen dari pengembangnya?
  • Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
  • How will performance be monitored once the system is in use, and what triggers suspension?
11Mekanisme

Mengapa akuntabilitas terkikis.

Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.

Automation bias

Tinjauan formalitas semata

Orang cenderung menuruti keluaran otomatis, terutama di bawah tekanan waktu, sehingga tinjauan oleh manusia dapat menjadi formalitas belaka.

Diffusion

Banyak tangan

Developers, vendors, integrators and users each own part of the system and none owns the outcome.

Drift

Kinerja yang berubah

Model menurun kinerjanya seiring perubahan dunia, dan tanpa pemantauan penurunan itu tidak terdeteksi.

12Metode dan batasan

Instruments of oversight.

  1. 01

    Impact assessments

    Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.

  2. 02

    Validasi independen

    Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.

  3. 03

    Tinjauan manusia yang bermakna

    Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.

  4. 04

    Jejak audit dan pemantauan

    Log masukan, keluaran, dan keputusan, dengan kinerja yang dipantau dari waktu ke waktu. Keterbatasan: hanya berguna jika ada pihak yang meninjaunya.

13Metode

Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.

  1. Evaluasi AI dan rekayasa penjaminanCakupan audit pihak ketiga · Pengujian keadilan dalam sistem publik · Pemantauan pascapenerapanDiterapkan di sini
  2. Ilmu kebijakan, kelembagaan, dan keputusanMembandingkan rezim AI · Pemetaan akuntabilitas rantai nilai · Pemetaan forum dan mandatDiterapkan di sini
  3. Kecerdasan buatan dan pembelajaran mesinBagaimana model gagal dalam penerapan · Membaca dokumentasi model · Penjelasan arsitektur agenDiterapkan di sini
14Pertanyaan

Tanya jawab.

Apa perbedaan antara penyedia AI dan penerap (deployer)?
In the EU AI Act, a provider develops an AI system or model and places it on the market; a deployer uses it under its authority. Each carries different obligations.
Mengapa pencatatan log penting bagi pengawasan AI?
Log dan dokumentasi memungkinkan auditor, regulator, dan pengadilan merekonstruksi bagaimana suatu sistem berperilaku. Tanpa keduanya, akuntabilitas bergantung pada apa yang dipilih operator untuk diungkapkan.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Apakah melibatkan manusia dalam prosesnya sudah cukup?
Tidak dengan sendirinya. Tinjauan hanya bermakna jika peninjau memiliki wewenang, waktu, informasi, dan kompetensi untuk tidak sependapat dengan sistem, dan melakukannya bila diperlukan.
Siapa yang sebaiknya memvalidasi sistem AI?
Someone independent of those who developed or sold it, with access to relevant data and the expertise to test it for the intended use.
Does the platform audit AI systems?
No. It compares governance practices and does not test or certify any system.
Apa yang seharusnya memicu penangguhan suatu sistem?
Lembaga menetapkan pemicu mereka sendiri, yang biasanya mencakup bukti tingkat kesalahan di atas tingkat yang disepakati, pergeseran keluaran yang tidak dapat dijelaskan, atau keluhan kerugian yang kredibel.
LaporanBerkontribusi

Kontribusikan bukti dari halaman ini.

Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Tata Kelola AI dan Digital

Ajukan pertanyaan tata kelola kepada Forum.

Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.