Skip to content

GRF · Tata Kelola AI dan Digital

Agen otonom dan pertanggungjawaban

AI agents now plan and take actions across software, payments and physical systems with limited human input. When an agent causes harm, existing liability rules must decide who pays: the developer, the deployer, the user or the operator of the platform it acted on. This page sets out how autonomy strains liability and oversight, the records that show it, and who decides how responsibility is assigned.

01Daftar

Autonomous agents and liability on the record.

02Pertanyaannya

Autonomous agents and liability: how the risk develops.

Batas tindakan dan akuntabilitas. Dokumen di bawah ini menguraikan bagaimana risiko berkembang, apa yang diukur, dari mana data berasal, bagaimana data dimodelkan, dan siapa yang memutuskan.

Mekanisme

Actions outrun intent

An agent pursuing a goal can take steps its user did not foresee or authorise. Fault-based liability struggles when no person intended or could reasonably foresee the harmful action.

Mekanisme

Many hands, unclear fault

The model, the agent framework, tool providers, the deploying firm and the user all contribute. Proving which defect caused harm is costly for claimants without access to records.

Mekanisme

Permissions define exposure

What an agent can access, spend or change sets the size of possible harm. Limits, confirmations and kill switches are governance choices made at deployment.

Mekanisme

Law adapts slowly

Hukum tanggung jawab produk, kontrak, dan perbuatan melawan hukum sedang ditafsirkan ulang untuk perangkat lunak dan AI. Selama pengadilan dan lembaga legislatif belum menyelesaikan berbagai pertanyaan, ketidakpastian itu sendiri membentuk penerapan.

03Pantau

Register algoritma publik.

Layar yang akan digunakan sebuah tim untuk mengikuti subjek ini: ukuran, status, dan keputusannya. Nama adalah contoh dan nilai bersifat ilustratif.

Register algoritma publik

Autonomous agents and liability · Algorithm register · Quarter 2

Dua sistem berisiko tinggi tanpa penilaianGRF · Tata Kelola AI dan Digital

Sistem terdaftar

Penandaan kecurangan tunjanganKeberdayaan sosialTinggiTidak adaSebagian
Triase perizinanPerencanaanTerbatasSelesaiYa
Penempatan sekolahPendidikanTinggiSelesaiYa
Asisten obrolanKantor pajakMinimalSelesain/a

Tindakan pengawasan

Sistem
Penandaan kecurangan tunjangan
Wajib
penilaian dampak, jalur banding
Tenggat
77 days
Otoritas
Badan pengawas

Pengaduan atas keputusan otomatis

Public algorithm register: the screen’s structure, terms and states for Autonomous agents and liability.Example names and illustrative values; a design, not a record or a live system.
04Indikator

Apa yang diukur, dan seberapa baik.

Setiap indikator membawa satuan, frekuensi, jenis sumber di baliknya, dan label bukti yang akan dibawa suatu nilai. Tidak ada nilai yang ditampilkan: sebuah program menyediakannya berdasarkan wewenangnya sendiri.

IndikatorUnitKadensiJenis sumberLabel
Jurisdictions treating software as a product for liabilityjumlahsaat berubahPeraturan perundang-undanganStatistik yang diterbitkan
Court decisions on AI-caused harmjumlah menurut jenistahunanBasis data yurisprudensiStatistik yang diterbitkan
Insiden agen yang dilaporkanjumlah menurut jenis kerugiansetiap bulanBasis data insidenDILAPORKAN
Deployments with documented permission limitspersentase penerapan yang disurveiberkalaSurveys and auditsDINYATAKAN
Insurance products covering AI liabilitycount of offeringstahunanLaporan pasarDILAPORKAN
Regulatory guidance on agentic AIjumlah dokumentahunanRegulator publicationsStatistik yang diterbitkan
05Instrumen dan komitmen

Bagaimana agen otonom dan pertanggungjawaban hukum diatur: instrumen, mandat, dan komitmen.

Instrumen, mandat, aktor, dan pengaturan akuntabilitas yang digunakan pembuat kebijakan, diplomat, atau lembaga pembangunan, dengan merujuk perjanjian yang menetapkannya. Struktur mengikuti kerangka yang disebutkan. Setiap kondisi atau kemajuan yang digambarkan bersifat ilustratif, bukan catatan.

Matriks instrumen kebijakan

The kinds of instrument available on autonomous agents and liability, by level of government and cooperation.

Jenis instrumenLokalNasionalRegionalGlobal
RegulasiZonasi, kode bangunanHukum, standar, perizinanAturan yang diharmonisasiKonvensi dan perjanjian
EkonomiPungutan lokal, hibahPos anggaran, pajak, skema asuransiKolam risiko, dana regionalMekanisme pembiayaan
InformasiPeringatan lokalPengungkapan, peringatan dini, statistikPengaturan berbagi dataPemantauan dan pelaporan global
KelembagaanKomite lokalLembaga pemimpin, dewan koordinasiBadan regional dan sekretariatMandat multilateral
KooperatifKesepakatan komunitasKesepakatan kemitraanNota kesepahaman dan program bersamaPerjanjian dan komitmen bersama
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Kerangka Kerja Sendai untuk Pengurangan Risiko Bencana · UNDRRPersetujuan Paris · UNFCCCAgenda 2030 dan Tujuan Pembangunan Berkelanjutan · Perserikatan Bangsa-BangsaPeraturan Kesehatan Internasional · WHO
06Sumber

Asal bukti.

Set data publik bernama dan catatan kelembagaan, masing-masing dengan kelas lisensinya. Sumber berdasarkan perjanjian hanya digunakan sesuai ketentuannya dan tidak pernah diterbitkan ulang.

SumberApa yang diberikannyaKelas lisensi
EU revised Product Liability DirectiveLiability rules including software and AI systems as productsPublik, ketentuan penggunaan ulang UE
Law commission and parliamentary reports on AI liabilityAnalysis of liability options for AI and automated systemsCatatan publik, ketentuan per badan
OECD AI Incidents MonitorRecorded incidents involving AI systemsGratis, ketentuan OECD
UK Automated and Electric Vehicles Act and Automated Vehicles ActLiability allocation for automated vehiclesOpen Government Licence
Court judgment databasesKeputusan tentang kerugian yang melibatkan sistem otomatisPublic records, terms per court
07Keputusan

Siapa yang memutuskan, dan apa yang dilayani bukti.

Tata Kelola AI dan Digital menyiapkan bukti. Keputusan di bawah ini diambil oleh otoritas yang disebutkan, berdasarkan aturannya sendiri, dan tidak pernah oleh platform.

Siapa yang memutuskanPertanyaannyaBukti yang dilayani halaman ini
Legislatures and law commissionsHow liability rules apply to autonomous systemsComparative regimes and case evidence
Organisasi penyelenggaraWhat an agent may do and what controls applyPraktik pengendalian dan bukti insiden
Perusahaan asuransiApakah dan bagaimana menanggung kewajiban hukum AIIncident patterns and legal developments
PengadilanWho is liable for harm in a specific caseCatatan yang disampaikan para pihak; halaman ini hanya menyajikan konteks

Keluaran yang dihasilkan topik ini

  • Comparative notes on liability rules for software and AI
  • Panduan batas izin dan kendali untuk penerapan agen
  • Ringkasan dialog tentang pengalokasian tanggung jawab dalam rantai AI multipihak
  • Questions for legislatures on agent liability
08Pertanyaan inti

Apa yang ditanyakan para pakar tentang agen otonom.

  • What actions is this agent permitted to take, and how are those limits enforced technically?
  • Ketika agen menimbulkan kerugian, siapa yang bertanggung jawab secara hukum: pengembang, penyelenggara, atau pengguna?
  • How can an agent’s actions be traced, reviewed and reversed?
  • How should agents interact with other agents, and who governs those interactions?
09Mekanisme

Why agents raise new governance questions.

Most governance frameworks were built for systems that advise a person who then acts. Agents collapse that gap, and with it one of the main points at which errors were caught. Why now: AI agents that act on behalf of people and organisations raise questions of liability that existing rules did not foresee, and legislators are still working through them. The platform is designed to compare emerging approaches and to record open questions for decision holders, without giving legal advice.

Autonomy

Action without review

Agen dapat bertindak lebih cepat dan lebih sering daripada kemampuan manusia untuk meninjau, sehingga kesalahan dapat berlipat ganda sebelum ada yang menyadarinya.

Interaction

Agents meeting agents

Interactions between automated systems can produce outcomes no one designed, as seen in automated trading.

Liability

Unclear responsibility

Aturan pertanggungjawaban yang ada mengasumsikan bahwa manusia atau perusahaan yang bertindak; agen AI membuat penentuan pihak tersebut menjadi lebih rumit.

10Metode dan batasan

Instrumen untuk membatasi agen.

  1. 01

    Kendali izin dan cakupan

    Technical limits on what agents can access and do, studied under AI evaluation and assurance engineering. Limits: agents may find unintended routes around controls.

  2. 02

    Pencatatan log dan reversibilitas

    Recording actions and designing them to be undoable where possible. Limits: some actions cannot be reversed.

  3. 03

    Human approval thresholds

    Requiring human sign-off above defined risk levels. Limits: can slow operations and invite approval fatigue.

  4. 04

    Liability analysis

    Membandingkan cara sistem hukum mengalokasikan tanggung jawab. Keterbatasan: hukum masih berkembang.

12Pertanyaan

Tanya jawab.

Apa itu agen AI?
An AI system that pursues goals by planning and taking actions, such as calling tools, browsing, writing code or making payments, with limited step-by-step human direction.
Siapa yang bertanggung jawab secara hukum ketika agen AI menimbulkan kerugian?
It depends on the jurisdiction and facts. Product liability, contract, negligence and sector rules may apply to developers, deployers or users; many questions are unsettled.
What controls limit agent harm?
Restricted permissions, spending limits, human confirmation for consequential actions, logging, monitoring and the ability to stop the agent.
Can an AI agent be legally responsible?
Menurut hukum yang berlaku saat ini di sebagian besar yurisdiksi, tidak. Tanggung jawab berada pada orang dan organisasi. Bagaimana tanggung jawab itu dibagi di antara mereka masih terus dirumuskan.
How can agent actions be kept within bounds?
Through technical permission limits, monitoring, human approval for high-risk actions and the ability to stop and reverse actions.
Does the platform test agents?
No. Technical evaluation is done at GCRI; the platform compares governance.
Mengapa interaksi agen penting?
Because when many automated systems react to each other, small errors can amplify quickly, as sudden market moves driven by automated trading have shown.
LaporanBerkontribusi

Kontribusikan bukti dari halaman ini.

Reports adalah publikasi triwulanan Konsorsium. Apa yang Anda ketahui tentang subjek ini dapat menjadi bukti, kasus, atau koreksi dalam edisi berikutnya, dengan kredit atas nama Anda dan dipublikasikan di bawah CC BY 4.0 jika merupakan karya Anda sendiri.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Tata Kelola AI dan Digital

Ajukan pertanyaan tata kelola kepada Forum.

Informasi dan pertanyaan sudah terbuka hari ini. Sebuah pertanyaan menerima nomor referensi dan menyebutkan langkah berikutnya; lamaran, pembayaran, alokasi komputasi, dan pendaftaran hanya dibuka ketika tim, ketentuan, dan kapasitas tinjauannya tersedia.