GRF · 人工智能与数字治理
算法化的公共决策
Governments use algorithms to assess benefit claims, detect fraud, allocate inspections, set risk scores in policing and migration, and support judges and caseworkers. These decisions affect rights and livelihoods at scale, and errors repeat across thousands of cases before anyone sees them. This page sets out how algorithmic public decisions go wrong and how safeguards work, the records that show them, and who decides whether and how a system is used.
Algorithmic public decisions: how the risk develops.
可质疑性与透明度。下方档案说明风险如何演变、衡量什么、数据来自何处、如何建模以及由谁决定。
错误悄然放大
有缺陷的规则或模型会适用于其涉及的每一个案例。如果不对结果和申诉进行监测,系统性错误在被发现之前可能会错误地拒绝或惩处大量人员。
偏差通过数据和设计进入
历史数据反映了过去的决策和执法模式。即使排除了受保护特征,邮政编码或国籍等代理变量仍可能造成不平等的结果。
Human review becomes rubber-stamping
被要求在时间压力下审查自动化输出的公务员往往会予以接受。有意义的审查需要时间、推翻结果的权限,以及关于输出是如何产生的信息。
不透明阻碍质询
People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.
公共算法登记册。
团队跟踪该主题时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。
公共算法登记册
Algorithmic public decisions · Algorithm register · Quarter 1
已登记的系统
| 福利欺诈标记 | 社会能动性 | 高 | 缺失 | 部分 |
| 许可分诊 | 规划 | 有限 | 已完成 | 是 |
| 入学安置 | 教育 | 高 | 已完成 | 是 |
| 聊天助手 | 税务局 | 极少 | 已完成 | n/a |
监督行动
- 系统
- 福利欺诈标记
- 必填
- 影响评估、申诉途径
- 截止日期
- 64 days
- 权限
- 监督机构
关于自动化决策的投诉
衡量什么,以及衡量得如何。
每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。
| 指标 | 单位 | 节奏 | 来源类型 | 标签 |
|---|---|---|---|---|
| Public algorithmic systems in a transparency register | 按机构统计的数量 | 更新时 | 算法登记册 | 已声明 |
| Algorithmic impact assessments published | 计数 | 年度 | 政府出版物 | 已声明 |
| 对自动化决定的申诉 | 获维持的数量和占比 | 年度 | Agency and tribunal records | 已发布统计 |
| 不同群体间的结果差异 | 不良结局发生率之比 | 每次审计 | 独立审计 | 估算 |
| 经审查后暂停或撤销的系统 | 计数 | 年度 | Government and court records | 已发布统计 |
| Ombudsman complaints about automated decisions | 计数 | 年度 | 监察专员报告 | 已发布统计 |
算法化公共决策的治理方式:文书、授权与承诺。
政策制定者、外交官或发展机构所使用的文书、授权、行为方和问责安排,并注明设定它们的协定。结构遵循所列框架。所绘制的任何状态或进展均为说明性,并非记录。
政策工具矩阵
The kinds of instrument available on algorithmic public decisions, by level of government and cooperation.
| 工具类型 | 地方 | 国家 | 区域 | 全球 |
|---|---|---|---|---|
| 监管型 | 分区、建筑规范 | 法律、标准、许可 | 统一规则 | 公约与条约 |
| 经济 | 地方税费、拨款 | 预算项目、税收、保险计划 | 风险池,区域基金 | 融资机制 |
| 信息 | 地方预警 | 披露、预警、统计 | 数据共享安排 | 全球监测与报告 |
| 制度型 | 地方委员会 | 牵头机构,协调理事会 | 区域机构与秘书处 | 多边授权 |
| 合作型 | 社区协议 | 伙伴关系契约 | 谅解备忘录与联合计划 | 协定与共同承诺 |
证据来自何处。
具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。
| 来源 | 它提供什么 | 许可类别 |
|---|---|---|
| 英国算法透明度记录标准记录 | Published records of algorithmic tools used by public bodies | 开放政府许可 |
| Amsterdam and Helsinki algorithm registers | City registers of algorithmic systems in use | Open data, terms per city |
| Canada Directive on Automated Decision-Making and Algorithmic Impact Assessments | Mandatory impact assessments for federal automated decisions | Open Government Licence, Canada(加拿大开放政府许可) |
| 监察专员和审计机构报告 | Investigations of automated decision systems in public services | 公共记录,条款因办公室而异 |
| Court judgments on automated public decisions | 关于算法系统合法性的裁决 | 公开记录,各法院的条款 |
由谁决定,以及证据服务于什么。
AI 与数字治理负责准备证据。以下决定由所列主管机构依据其自身规则作出,绝不由平台作出。
| 谁来决定 | 问题 | 本页面服务的证据 |
|---|---|---|
| 部长和机构负责人 | 是否将某项决策自动化,以及采取何种保障措施 | Impact assessments, audit evidence and lessons from comparable systems |
| 数据保护机构 | Whether processing and automated decisions are lawful | Assessment records and complaints |
| Ombudsmen and audit offices | Whether to investigate a system and what to recommend | Appeals, complaints and outcome data |
| 法院和法庭 | 某项决策或系统是否违反了权利或法律 | 由各方提交的记录;本页面仅提供背景 |
该主题产生的产出
- 算法登记册与影响评估的比较说明
- Guide to meaningful human review in automated decisions
- 关于暂停使用的公共算法所得教训的对话简报
- Questions for agencies before deploying an automated decision system
专家对算法化公共决策的提问。
- 哪项法律权力授权了这一使用,算法是否未超出该权力范围?
- 受影响的人能否得知使用了算法、理解其如何运作并对结果提出质疑?
- 系统对不同群体的表现是否不同,这种差异是否合理?
- 系统出错时会发生什么,错误能多快被发现并得到纠正?
How algorithmic decisions go wrong.
基于历史数据训练的算法可能复制历史上的不利处境模式。看似中性的代理变量,例如邮政编码,可能与受保护特征相关。大规模错误不同于个别错误:将有缺陷的规则应用于全部案件,会同时以同样的方式损害许多人,可能使投诉 系统.
举证责任往往悄然转移。当系统将某人标记为高风险时,此人可能需要自证清白,却不知道系统使用了哪些证据。自动化福利和欺诈系统中有充分记录的失误表明,当自动标记被视为结论,而不是启动人工调查的提示时,造成的危害最大。
Why now: automated systems are used for eligibility, triage and fraud detection in public services, and courts and ombudsmen in several countries have examined cases where they went wrong. The platform is designed to compare review and redress arrangements and record what affected people can actually do.
保障措施及其局限。
- 01
算法公开登记册
Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.
- 02
说明与通知
Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.
- 03
公平性测试
使用 机器学习 方法衡量不同群体间的表现。局限:不同的公平性度量可能相互冲突,而在其中作出选择属于价值判断。
- 04
Appeal and redress
获得人工审查、申诉和补救的途径。局限:取决于可及的程序和充足的人员配置。
问题与解答。
什么是算法影响评估?
什么使人工审核真正有意义?
人们是否有权不受自动化决策的约束?
公共决策可以完全由算法作出吗?
Why can’t fairness be measured with one number?
平台是否受理个案?
是否要求设立算法登记册?
从本页贡献证据。
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
- 电子邮件网关 GW-GRF从本页发送证据、更正、案例、方法、审查、翻译或概况投稿。它会带上本页标签送达,由负责的编辑接收。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 报告全球风险论坛(Global Risks Forum)查看所有贡献方式贡献类型、各自的评审方式、您获得的署名、许可协议,以及绝不接受的内容。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
法律文件。
显示全部 18 份法律文件
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。