GRF · Tata Kelola AI dan Digital
Keputusan publik algoritmik
Governments use algorithms to assess benefit claims, detect fraud, allocate inspections, set risk scores in policing and migration, and support judges and caseworkers. These decisions affect rights and livelihoods at scale, and errors repeat across thousands of cases before anyone sees them. This page sets out how algorithmic public decisions go wrong and how safeguards work, the records that show them, and who decides whether and how a system is used.
Algorithmic public decisions in seven parts.
- 01The questionAlgorithmic public decisions: how the risk develops
- 02IndikatorApa yang diukur, dan seberapa baik
- 03SumberDari mana bukti berasal
- 04KeputusanSiapa yang memutuskan, dan apa yang dilayani bukti
- 05Core questionsWhat experts ask about algorithmic public decisions
- 06MechanismsHow algorithmic decisions go wrong
- 07Methods and limitsSafeguards and their limits
Algorithmic public decisions: how the risk develops.
Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Errors scale silently
Aturan atau model yang cacat berlaku pada setiap kasus yang disentuhnya. Tanpa pemantauan hasil dan mekanisme banding, kesalahan sistematis dapat menolak atau menghukum banyak orang secara keliru sebelum terdeteksi.
Bias masuk melalui data dan desain
Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.
Human review becomes rubber-stamping
Public servants asked to review automated outputs under time pressure tend to accept them. Meaningful review needs time, authority to overrule and information about how the output was produced.
Ketidakjelasan menghambat tantangan
Orang tidak dapat menggugat keputusan yang tidak mereka ketahui diotomatisasi atau tidak dapat mereka pahami. Pemberitahuan, alasan, dan akses banding menentukan apakah kesalahan dikoreksi.
Register algoritma publik.
Layar yang akan digunakan sebuah tim untuk mengikuti subjek ini: ukuran, status, dan keputusannya. Nama adalah contoh dan nilai bersifat ilustratif.
Register algoritma publik
Algorithmic public decisions · Algorithm register · Quarter 1
Sistem terdaftar
| Penandaan kecurangan tunjangan | Keberdayaan sosial | Tinggi | Tidak ada | Sebagian |
| Triase perizinan | Perencanaan | Terbatas | Selesai | Ya |
| Penempatan sekolah | Pendidikan | Tinggi | Selesai | Ya |
| Asisten obrolan | Kantor pajak | Minimal | Selesai | n/a |
Tindakan pengawasan
- Sistem
- Penandaan kecurangan tunjangan
- Wajib
- penilaian dampak, jalur banding
- Tenggat
- 64 days
- Otoritas
- Badan pengawas
Pengaduan atas keputusan otomatis
Apa yang diukur, dan seberapa baik.
Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.
| Indikator | Unit | Kadensi | Jenis sumber | Label |
|---|---|---|---|---|
| Public algorithmic systems in a transparency register | count by agency | on update | Algorithm registers | DINYATAKAN |
| Algorithmic impact assessments published | jumlah | tahunan | Publikasi pemerintah | DINYATAKAN |
| Appeals against automated decisions | jumlah dan persentase yang dikabulkan | tahunan | Agency and tribunal records | Statistik yang diterbitkan |
| Outcome disparity across groups | ratio of adverse outcome rates | per audit | Independent audits | ESTIMASI |
| Systems suspended or withdrawn after review | jumlah | tahunan | Government and court records | Statistik yang diterbitkan |
| Ombudsman complaints about automated decisions | jumlah | tahunan | Laporan ombudsman | Statistik yang diterbitkan |
How algorithmic public decisions is governed: instruments, mandates and commitments.
Instrumen, mandat, aktor, dan pengaturan akuntabilitas yang digunakan pembuat kebijakan, diplomat, atau lembaga pembangunan, dengan merujuk perjanjian yang menetapkannya. Struktur mengikuti kerangka yang disebutkan. Setiap kondisi atau kemajuan yang digambarkan bersifat ilustratif, bukan catatan.
Matriks instrumen kebijakan
The kinds of instrument available on algorithmic public decisions, by level of government and cooperation.
| Jenis instrumen | Lokal | Nasional | Regional | Global |
|---|---|---|---|---|
| Regulasi | Zonasi, kode bangunan | Hukum, standar, perizinan | Aturan yang diharmonisasi | Konvensi dan perjanjian |
| Ekonomi | Pungutan lokal, hibah | Pos anggaran, pajak, skema asuransi | Kolam risiko, dana regional | Mekanisme pembiayaan |
| Informasi | Peringatan lokal | Pengungkapan, peringatan dini, statistik | Pengaturan berbagi data | Pemantauan dan pelaporan global |
| Kelembagaan | Komite lokal | Lembaga pemimpin, dewan koordinasi | Badan regional dan sekretariat | Mandat multilateral |
| Kooperatif | Kesepakatan komunitas | Kesepakatan kemitraan | Nota kesepahaman dan program bersama | Perjanjian dan komitmen bersama |
Asal bukti.
Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.
| Sumber | Apa yang diberikannya | Kelas lisensi |
|---|---|---|
| UK Algorithmic Transparency Recording Standard records | Catatan terpublikasi tentang alat algoritmik yang digunakan oleh badan publik | Open Government Licence |
| Amsterdam and Helsinki algorithm registers | City registers of algorithmic systems in use | Data terbuka, ketentuan per kota |
| Direktif Kanada tentang Pengambilan Keputusan Otomatis dan Penilaian Dampak Algoritmik | Mandatory impact assessments for federal automated decisions | Open Government Licence, Canada (Lisensi Pemerintah Terbuka, Kanada) |
| Laporan ombudsman dan kantor audit | Investigations of automated decision systems in public services | Catatan publik, ketentuan per kantor |
| Court judgments on automated public decisions | Rulings on lawfulness of algorithmic systems | Public records, terms per court |
Siapa yang memutuskan, dan apa yang dilayani bukti.
Tata Kelola AI dan Digital menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturannya sendiri, dan tidak pernah oleh platform.
| Siapa yang memutuskan | Pertanyaannya | Bukti yang dilayani halaman ini |
|---|---|---|
| Ministers and agency heads | Whether to automate a decision and with what safeguards | Penilaian dampak, bukti audit, dan pelajaran dari sistem |
| Otoritas pelindungan data | Apakah pemrosesan dan keputusan otomatis sah secara hukum | Catatan penilaian dan pengaduan |
| Ombudsmen and audit offices | Whether to investigate a system and what to recommend | Data banding, pengaduan, dan hasil |
| Courts and tribunals | Whether a decision or system breached rights or law | Catatan yang disampaikan para pihak; halaman ini hanya menyajikan konteks |
Keluaran yang dihasilkan topik ini
- Catatan perbandingan tentang register algoritma dan penilaian dampak
- Guide to meaningful human review in automated decisions
- Dialogue briefs on lessons from suspended public algorithms
- Pertanyaan bagi lembaga sebelum menerapkan sistem keputusan otomatis
What experts ask about algorithmic public decisions.
- What legal power authorises this use, and does the algorithm stay within it?
- Can a person affected find out that an algorithm was used, understand how, and challenge the result?
- Does the system perform differently for different groups, and is that justified?
- What happens when the system is wrong, and how quickly is the error found and corrected?
Bagaimana keputusan algoritmik menjadi keliru.
Algorithms trained on historical data can reproduce historical patterns of disadvantage. A proxy variable that seems neutral, such as postcode, may correlate with protected characteristics. Errors at scale differ from individual errors: a flawed rule applied to an entire caseload harms many people at once and in the same way, which can overwhelm complaint systems.
The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.
Mengapa sekarang: sistem otomatis digunakan untuk penentuan kelayakan, triase, dan deteksi penipuan dalam layanan publik, dan pengadilan serta ombudsman di beberapa negara telah memeriksa kasus ketika sistem tersebut keliru. Platform ini dirancang untuk membandingkan mekanisme tinjauan dan pemulihan serta mencatat apa yang sebenarnya dapat dilakukan oleh orang yang terdampak.
Safeguards and their limits.
- 01
Public registers of algorithms
Mendaftar sistem yang digunakan oleh badan publik beserta tujuannya. Keterbatasan: register sering tidak lengkap dan tingkat kerinciannya beragam.
- 02
Explanation and notification
Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.
- 03
Pengujian keadilan
Measuring performance across groups, using machine learning methods. Limits: different fairness measures can conflict, and choosing among them is a value judgement.
- 04
Appeal and redress
Routes to human review, appeal and remedy. Limits: depend on accessible processes and adequate staffing.
Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.
- 01Evaluasi AI dan rekayasa penjaminanCakupan audit pihak ketiga · Pengujian keadilan dalam sistem publik · Pemantauan pascapenerapanDiterapkan di sini
- 02Ilmu kebijakan, kelembagaan, dan keputusanMembandingkan rezim AI · Pemetaan akuntabilitas rantai nilai · Pemetaan forum dan mandatDiterapkan di sini
- 03Kecerdasan buatan dan pembelajaran mesinBagaimana model gagal dalam penerapan · Membaca dokumentasi model · Penjelasan arsitektur agenDiterapkan di sini
- 04Identitas digital dan sistem digital publikTingkat penjaminan untuk layanan publik · Pengungkapan minimal · Analisis eksklusiDiterapkan di sini
Tanya jawab.
Apa itu penilaian dampak algoritmik?
Apa yang membuat tinjauan manusia bermakna?
Do people have a right not to be subject to automated decisions?
Can a public decision be made entirely by an algorithm?
Why can’t fairness be measured with one number?
Does the platform take up individual cases?
Apakah register algoritma diwajibkan?
Kontribusikan bukti dari halaman ini.
Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.
- SurelGerbang GW-GRFKirim dari halaman iniBukti, koreksi, kasus, metode, tinjauan, terjemahan, atau masukan profil. Kiriman tiba dengan label halaman ini, sehingga editor pemiliknya menerimanya.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Ajukan pertanyaan tata kelola kepada Forum.
Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.
Dokumen hukum.
Tampilkan semua 18 dokumen hukum
Peta, data, dan gambar di situs ini ditampilkan untuk konteks dan informasi umum. Semua itu bukan nasihat, prakiraan, atau peringatan; batasan informasinya dijelaskan dalam Penafian dan Pemberitahuan Data.