Skip to content

GRF · Tata Kelola AI dan Digital

Keputusan publik algoritmik

Governments use algorithms to assess benefit claims, detect fraud, allocate inspections, set risk scores in policing and migration, and support judges and caseworkers. These decisions affect rights and livelihoods at scale, and errors repeat across thousands of cases before anyone sees them. This page sets out how algorithmic public decisions go wrong and how safeguards work, the records that show them, and who decides whether and how a system is used.

02Pertanyaannya

Algorithmic public decisions: how the risk develops.

Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mekanisme

Errors scale silently

Aturan atau model yang cacat berlaku pada setiap kasus yang disentuhnya. Tanpa pemantauan hasil dan mekanisme banding, kesalahan sistematis dapat menolak atau menghukum banyak orang secara keliru sebelum terdeteksi.

Mekanisme

Bias masuk melalui data dan desain

Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.

Mekanisme

Human review becomes rubber-stamping

Public servants asked to review automated outputs under time pressure tend to accept them. Meaningful review needs time, authority to overrule and information about how the output was produced.

Mekanisme

Ketidakjelasan menghambat tantangan

Orang tidak dapat menggugat keputusan yang tidak mereka ketahui diotomatisasi atau tidak dapat mereka pahami. Pemberitahuan, alasan, dan akses banding menentukan apakah kesalahan dikoreksi.

03Pantau

Register algoritma publik.

Layar yang akan digunakan sebuah tim untuk mengikuti subjek ini: ukuran, status, dan keputusannya. Nama adalah contoh dan nilai bersifat ilustratif.

Register algoritma publik

Algorithmic public decisions · Algorithm register · Quarter 1

Dua sistem berisiko tinggi tanpa penilaianGRF · Tata Kelola AI dan Digital

Sistem terdaftar

Penandaan kecurangan tunjanganKeberdayaan sosialTinggiTidak adaSebagian
Triase perizinanPerencanaanTerbatasSelesaiYa
Penempatan sekolahPendidikanTinggiSelesaiYa
Asisten obrolanKantor pajakMinimalSelesain/a

Tindakan pengawasan

Sistem
Penandaan kecurangan tunjangan
Wajib
penilaian dampak, jalur banding
Tenggat
64 days
Otoritas
Badan pengawas

Pengaduan atas keputusan otomatis

Public algorithm register: the screen’s structure, terms and states for Algorithmic public decisions.Example names and illustrative values; a design, not a record or a live system.
04Indikator

Apa yang diukur, dan seberapa baik.

Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.

IndikatorUnitKadensiJenis sumberLabel
Public algorithmic systems in a transparency registercount by agencyon updateAlgorithm registersDINYATAKAN
Algorithmic impact assessments publishedjumlahtahunanPublikasi pemerintahDINYATAKAN
Appeals against automated decisionsjumlah dan persentase yang dikabulkantahunanAgency and tribunal recordsStatistik yang diterbitkan
Outcome disparity across groupsratio of adverse outcome ratesper auditIndependent auditsESTIMASI
Systems suspended or withdrawn after reviewjumlahtahunanGovernment and court recordsStatistik yang diterbitkan
Ombudsman complaints about automated decisionsjumlahtahunanLaporan ombudsmanStatistik yang diterbitkan
05Instrumen dan komitmen

How algorithmic public decisions is governed: instruments, mandates and commitments.

Instrumen, mandat, aktor, dan pengaturan akuntabilitas yang digunakan pembuat kebijakan, diplomat, atau lembaga pembangunan, dengan merujuk perjanjian yang menetapkannya. Struktur mengikuti kerangka yang disebutkan. Setiap kondisi atau kemajuan yang digambarkan bersifat ilustratif, bukan catatan.

Matriks instrumen kebijakan

The kinds of instrument available on algorithmic public decisions, by level of government and cooperation.

Jenis instrumenLokalNasionalRegionalGlobal
RegulasiZonasi, kode bangunanHukum, standar, perizinanAturan yang diharmonisasiKonvensi dan perjanjian
EkonomiPungutan lokal, hibahPos anggaran, pajak, skema asuransiKolam risiko, dana regionalMekanisme pembiayaan
InformasiPeringatan lokalPengungkapan, peringatan dini, statistikPengaturan berbagi dataPemantauan dan pelaporan global
KelembagaanKomite lokalLembaga pemimpin, dewan koordinasiBadan regional dan sekretariatMandat multilateral
KooperatifKesepakatan komunitasKesepakatan kemitraanNota kesepahaman dan program bersamaPerjanjian dan komitmen bersama
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Kerangka Kerja Sendai untuk Pengurangan Risiko Bencana · UNDRRPersetujuan Paris · UNFCCCAgenda 2030 dan Tujuan Pembangunan Berkelanjutan · Perserikatan Bangsa-BangsaPeraturan Kesehatan Internasional · WHO
06Sumber

Asal bukti.

Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.

SumberApa yang diberikannyaKelas lisensi
UK Algorithmic Transparency Recording Standard recordsCatatan terpublikasi tentang alat algoritmik yang digunakan oleh badan publikOpen Government Licence
Amsterdam and Helsinki algorithm registersCity registers of algorithmic systems in useData terbuka, ketentuan per kota
Direktif Kanada tentang Pengambilan Keputusan Otomatis dan Penilaian Dampak AlgoritmikMandatory impact assessments for federal automated decisionsOpen Government Licence, Canada (Lisensi Pemerintah Terbuka, Kanada)
Laporan ombudsman dan kantor auditInvestigations of automated decision systems in public servicesCatatan publik, ketentuan per kantor
Court judgments on automated public decisionsRulings on lawfulness of algorithmic systemsPublic records, terms per court
07Keputusan

Siapa yang memutuskan, dan apa yang dilayani bukti.

Tata Kelola AI dan Digital menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturannya sendiri, dan tidak pernah oleh platform.

Siapa yang memutuskanPertanyaannyaBukti yang dilayani halaman ini
Ministers and agency headsWhether to automate a decision and with what safeguardsPenilaian dampak, bukti audit, dan pelajaran dari sistem
Otoritas pelindungan dataApakah pemrosesan dan keputusan otomatis sah secara hukumCatatan penilaian dan pengaduan
Ombudsmen and audit officesWhether to investigate a system and what to recommendData banding, pengaduan, dan hasil
Courts and tribunalsWhether a decision or system breached rights or lawCatatan yang disampaikan para pihak; halaman ini hanya menyajikan konteks

Keluaran yang dihasilkan topik ini

  • Catatan perbandingan tentang register algoritma dan penilaian dampak
  • Guide to meaningful human review in automated decisions
  • Dialogue briefs on lessons from suspended public algorithms
  • Pertanyaan bagi lembaga sebelum menerapkan sistem keputusan otomatis
08Pertanyaan inti

What experts ask about algorithmic public decisions.

  • What legal power authorises this use, and does the algorithm stay within it?
  • Can a person affected find out that an algorithm was used, understand how, and challenge the result?
  • Does the system perform differently for different groups, and is that justified?
  • What happens when the system is wrong, and how quickly is the error found and corrected?
09Mekanisme

Bagaimana keputusan algoritmik menjadi keliru.

Algorithms trained on historical data can reproduce historical patterns of disadvantage. A proxy variable that seems neutral, such as postcode, may correlate with protected characteristics. Errors at scale differ from individual errors: a flawed rule applied to an entire caseload harms many people at once and in the same way, which can overwhelm complaint systems.

The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.

Mengapa sekarang: sistem otomatis digunakan untuk penentuan kelayakan, triase, dan deteksi penipuan dalam layanan publik, dan pengadilan serta ombudsman di beberapa negara telah memeriksa kasus ketika sistem tersebut keliru. Platform ini dirancang untuk membandingkan mekanisme tinjauan dan pemulihan serta mencatat apa yang sebenarnya dapat dilakukan oleh orang yang terdampak.

10Metode dan batasan

Safeguards and their limits.

  1. 01

    Public registers of algorithms

    Mendaftar sistem yang digunakan oleh badan publik beserta tujuannya. Keterbatasan: register sering tidak lengkap dan tingkat kerinciannya beragam.

  2. 02

    Explanation and notification

    Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.

  3. 03

    Pengujian keadilan

    Measuring performance across groups, using machine learning methods. Limits: different fairness measures can conflict, and choosing among them is a value judgement.

  4. 04

    Appeal and redress

    Routes to human review, appeal and remedy. Limits: depend on accessible processes and adequate staffing.

11Metode

Cara hal ini dikaji, dan apa yang tidak dapat dinyatakan metodenya.

12Pertanyaan

Tanya jawab.

Apa itu penilaian dampak algoritmik?
Tinjauan terstruktur, sebelum dan selama penerapan, atas risiko yang ditimbulkan sistem otomatis terhadap manusia dan cara risiko itu dimitigasi. Kanada mewajibkannya untuk keputusan otomatis tingkat federal.
Apa yang membuat tinjauan manusia bermakna?
The reviewer has the time, competence, information and authority to depart from the system’s output, and does so in practice when warranted.
Do people have a right not to be subject to automated decisions?
Under the GDPR, people have rights concerning decisions based solely on automated processing that significantly affect them, with exceptions and safeguards. Other jurisdictions differ.
Can a public decision be made entirely by an algorithm?
Hal itu bergantung pada hukum masing-masing yurisdiksi. Banyak sistem hukum membatasi keputusan yang sepenuhnya otomatis dengan dampak signifikan bagi orang dan mensyaratkan keterlibatan manusia serta hak untuk menggugat.
Why can’t fairness be measured with one number?
Karena ada beberapa definisi keadilan yang masuk akal, dan secara matematis semuanya sering kali tidak dapat dipenuhi sekaligus. Memilih di antaranya merupakan keputusan kebijakan.
Does the platform take up individual cases?
Tidak. Kasus individual menjadi wewenang badan penyelenggara, ombudsman, tribunal, dan pengadilan.
Apakah register algoritma diwajibkan?
Sebagian yurisdiksi dan kota menerbitkannya secara sukarela atau berdasarkan kebijakan; persyaratannya beragam.
LaporanBerkontribusi

Kontribusikan bukti dari halaman ini.

Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Tata Kelola AI dan Digital

Ajukan pertanyaan tata kelola kepada Forum.

Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.