Skip to content

GRF · 人工智能与数字治理

算法化的公共决策

Governments use algorithms to assess benefit claims, detect fraud, allocate inspections, set risk scores in policing and migration, and support judges and caseworkers. These decisions affect rights and livelihoods at scale, and errors repeat across thousands of cases before anyone sees them. This page sets out how algorithmic public decisions go wrong and how safeguards work, the records that show them, and who decides whether and how a system is used.

02问题

Algorithmic public decisions: how the risk develops.

可质疑性与透明度。下方档案说明风险如何演变、衡量什么、数据来自何处、如何建模以及由谁决定。

机制

错误悄然放大

有缺陷的规则或模型会适用于其涉及的每一个案例。如果不对结果和申诉进行监测,系统性错误在被发现之前可能会错误地拒绝或惩处大量人员。

机制

偏差通过数据和设计进入

历史数据反映了过去的决策和执法模式。即使排除了受保护特征,邮政编码或国籍等代理变量仍可能造成不平等的结果。

机制

Human review becomes rubber-stamping

被要求在时间压力下审查自动化输出的公务员往往会予以接受。有意义的审查需要时间、推翻结果的权限,以及关于输出是如何产生的信息。

机制

不透明阻碍质询

People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.

03监测

公共算法登记册。

团队跟踪该主题时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。

公共算法登记册

Algorithmic public decisions · Algorithm register · Quarter 1

两个未经评估的高风险系统GRF · 人工智能与数字治理

已登记的系统

福利欺诈标记社会能动性高缺失部分
许可分诊规划有限已完成是
入学安置教育高已完成是
聊天助手税务局极少已完成n/a

监督行动

系统
福利欺诈标记
必填
影响评估、申诉途径
截止日期
64 days
权限
监督机构

关于自动化决策的投诉

Public algorithm register: the screen’s structure, terms and states for Algorithmic public decisions.Example names and illustrative values; a design, not a record or a live system.
04指标

衡量什么,以及衡量得如何。

每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。

指标单位节奏来源类型标签
Public algorithmic systems in a transparency register按机构统计的数量更新时算法登记册已声明
Algorithmic impact assessments published计数年度政府出版物已声明
对自动化决定的申诉获维持的数量和占比年度Agency and tribunal records已发布统计
不同群体间的结果差异不良结局发生率之比每次审计独立审计估算
经审查后暂停或撤销的系统计数年度Government and court records已发布统计
Ombudsman complaints about automated decisions计数年度监察专员报告已发布统计
05工具与承诺

算法化公共决策的治理方式:文书、授权与承诺。

政策制定者、外交官或发展机构所使用的文书、授权、行为方和问责安排,并注明设定它们的协定。结构遵循所列框架。所绘制的任何状态或进展均为说明性,并非记录。

政策工具矩阵

The kinds of instrument available on algorithmic public decisions, by level of government and cooperation.

工具类型地方国家区域全球
监管型分区、建筑规范法律、标准、许可统一规则公约与条约
经济地方税费、拨款预算项目、税收、保险计划风险池,区域基金融资机制
信息地方预警披露、预警、统计数据共享安排全球监测与报告
制度型地方委员会牵头机构,协调理事会区域机构与秘书处多边授权
合作型社区协议伙伴关系契约谅解备忘录与联合计划协定与共同承诺
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
《仙台框架》(减少灾害风险) · 联合国减少灾害风险办公室《巴黎协定》 · 《联合国气候变化框架公约》《2030 年可持续发展议程》和可持续发展目标 · 联合国《国际卫生条例》 · 世卫组织
06来源

证据来自何处。

具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。

来源它提供什么许可类别
英国算法透明度记录标准记录Published records of algorithmic tools used by public bodies开放政府许可
Amsterdam and Helsinki algorithm registersCity registers of algorithmic systems in useOpen data, terms per city
Canada Directive on Automated Decision-Making and Algorithmic Impact AssessmentsMandatory impact assessments for federal automated decisionsOpen Government Licence, Canada(加拿大开放政府许可)
监察专员和审计机构报告Investigations of automated decision systems in public services公共记录,条款因办公室而异
Court judgments on automated public decisions关于算法系统合法性的裁决公开记录,各法院的条款
07决定

由谁决定,以及证据服务于什么。

AI 与数字治理负责准备证据。以下决定由所列主管机构依据其自身规则作出,绝不由平台作出。

谁来决定问题本页面服务的证据
部长和机构负责人是否将某项决策自动化,以及采取何种保障措施Impact assessments, audit evidence and lessons from comparable systems
数据保护机构Whether processing and automated decisions are lawfulAssessment records and complaints
Ombudsmen and audit officesWhether to investigate a system and what to recommendAppeals, complaints and outcome data
法院和法庭某项决策或系统是否违反了权利或法律由各方提交的记录;本页面仅提供背景

该主题产生的产出

  • 算法登记册与影响评估的比较说明
  • Guide to meaningful human review in automated decisions
  • 关于暂停使用的公共算法所得教训的对话简报
  • Questions for agencies before deploying an automated decision system
08核心问题

专家对算法化公共决策的提问。

  • 哪项法律权力授权了这一使用,算法是否未超出该权力范围?
  • 受影响的人能否得知使用了算法、理解其如何运作并对结果提出质疑?
  • 系统对不同群体的表现是否不同,这种差异是否合理?
  • 系统出错时会发生什么,错误能多快被发现并得到纠正?
09机制

How algorithmic decisions go wrong.

基于历史数据训练的算法可能复制历史上的不利处境模式。看似中性的代理变量,例如邮政编码,可能与受保护特征相关。大规模错误不同于个别错误:将有缺陷的规则应用于全部案件,会同时以同样的方式损害许多人,可能使投诉 系统.

举证责任往往悄然转移。当系统将某人标记为高风险时,此人可能需要自证清白,却不知道系统使用了哪些证据。自动化福利和欺诈系统中有充分记录的失误表明,当自动标记被视为结论,而不是启动人工调查的提示时,造成的危害最大。

Why now: automated systems are used for eligibility, triage and fraud detection in public services, and courts and ombudsmen in several countries have examined cases where they went wrong. The platform is designed to compare review and redress arrangements and record what affected people can actually do.

10方法与局限

保障措施及其局限。

  1. 01

    算法公开登记册

    Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.

  2. 02

    说明与通知

    Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.

  3. 03

    公平性测试

    使用 机器学习 方法衡量不同群体间的表现。局限:不同的公平性度量可能相互冲突,而在其中作出选择属于价值判断。

  4. 04

    Appeal and redress

    获得人工审查、申诉和补救的途径。局限:取决于可及的程序和充足的人员配置。

11方法

如何研究,以及方法无法说明的内容。

12问题

问题与解答。

什么是算法影响评估?
在部署之前和部署期间,对自动化系统给人带来的风险及其缓解措施进行的结构化审查。加拿大要求联邦自动化决策进行此类审查。
什么使人工审核真正有意义?
The reviewer has the time, competence, information and authority to depart from the system’s output, and does so in practice when warranted.
人们是否有权不受自动化决策的约束?
Under the GDPR, people have rights concerning decisions based solely on automated processing that significantly affect them, with exceptions and safeguards. Other jurisdictions differ.
公共决策可以完全由算法作出吗?
That depends on the law of each jurisdiction. Many legal systems restrict fully automated decisions with significant effects on people and require human involvement and a right to contest.
Why can’t fairness be measured with one number?
Because there are several reasonable definitions of fairness, and mathematically they often cannot all be satisfied at once. Choosing among them is a policy decision.
平台是否受理个案?
不会。个案属于部署机构、监察专员、裁判机构和法院。
是否要求设立算法登记册?
Some jurisdictions and cities publish them voluntarily or under policy; requirements vary.
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

全球风险论坛(Global Risks Forum)人工智能与数字治理指数级技术证据简报
人工智能与数字治理

把一个治理问题带到论坛。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。