GRF · 人工智能与数字治理
人工智能监督与问责
When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.
AI oversight and accountability in seven parts.
AI 监督与问责:风险如何演变。
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
责任沿链条分散
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
记录决定哪些内容可以接受审查
Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.
Incidents go unreported
故障通过投诉、新闻报道和诉讼而非报告浮现。强制性事件报告和共享事件数据库使人们能够跨部署发现规律。
公共算法登记册。
团队跟踪该主题时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。
公共算法登记册
人工智能监督与问责 · 算法登记册 · 第 2 季度
已登记的系统
| 福利欺诈标记 | 社会能动性 | 高 | 缺失 | 部分 |
| 许可分诊 | 规划 | 有限 | 已完成 | 是 |
| 入学安置 | 教育 | 高 | 已完成 | 是 |
| 聊天助手 | 税务局 | 极少 | 已完成 | n/a |
监督行动
- 系统
- 福利欺诈标记
- 必填
- 影响评估、申诉途径
- 截止日期
- 73 days
- 权限
- 监督机构
关于自动化决策的投诉
衡量什么,以及衡量得如何。
每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。
| 指标 | 单位 | 节奏 | 来源类型 | 标签 |
|---|---|---|---|---|
| 指定的人工智能监管或市场监督机构 | 是或否,并注明法律依据 | 变更时 | 国家立法和通报 | 已发布统计 |
| 人工智能相关主管机构的技术人员 | 全时当量 | 年度 | 主管机构年度报告 | 已报告 |
| 依据人工智能规则报告的严重事件 | 按部门计数 | 年度 | 公共记录 | 已发布统计 |
| Publicly recorded AI incidents | 按危害类型计数 | 每月 | 事件数据库 | 已报告 |
| 涉及 AI 系统 | count by authority and type | 年度 | 监管执法登记册 | 已发布统计 |
| ISO/IEC 42001 certificates issued | 计数 | 年度 | Certification body records | 已报告 |
比较文书:规则、激励和信息。
三类工具在你设定的覆盖率和遵从率下与基线并列比较,每类都有自己的滞后和采用速度;效应大小是教学用数值,应以证据替换。情景:关于未来的具名假设,不是预测。
控制措施
- 结果的基线趋势
- 每年 2.0%
- 该工具的覆盖范围
- 70%
- 合规
- 75%
- 效应量,相对于教学取值
- 100%
- 未来年数
- 20 年
读数
- 期末时点降幅最大
- 监管
- 相对基线的降幅
- 21%
数字、方法与来源
| 年份 | 基线 | 监管 | 经济激励 | 信息与能力 |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
方法
- Tools of government Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
- Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
- Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
数据
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Borders Natural Earth
- Cities Natural Earth
贯穿六大支柱,由 Nexus Consortium 牵头
证据来自何处。
具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。
| 来源 | 它提供什么 | 许可类别 |
|---|---|---|
| OECD.AI 政策观察站 | National AI policies, governance bodies and the AI Incidents Monitor | 免费,OECD 条款 |
| AI Incident Database | 涉及 AI 系统 | 开放,许可待核查 |
| European Data Protection Board and national authority decisions | Decisions on automated processing and AI-related complaints | 公共、欧盟和国家层面的再利用条款 |
| 斯坦福人工智能指数报告 | 关于人工智能发展、政策和事件的数据 | 免费阅读,许可可查 |
| 监管机构年度报告 | Staffing, priorities and enforcement of authorities supervising AI | 公共记录,条款因主管机构而异 |
从授权到评估,按支柱划分。
一项文书从授权到评估所经历的步骤,每一步都标明负责运行的支柱,以及仍由当局作出的决定。这是带有明示说明性数值的教学模型,不是预测。
- 授权与问题界定 主管当局(计划之外)
主管当局依其自身规则界定问题和授权。 Howlett、Ramesh 和 Perl(2009) - Evidence and system model Foundry
The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2 - Options appraised with scenarios Foundry
Instruments are compared under scenarios, with uncertainty shown. Hood (1983) - 与利益相关方演练 宇宙
在演练中与将实施和承担这些方案的各方一起检验方案。 OECD(2014),原则 3 - Standard or guidance drafted Nexus Standards
What works is codified as a standard or guidance, open to comment. Nexus Standards process - 由主管当局决定 主管当局(计划之外)
主管当局在计划之外,依据记录在案的证据作出决定。 Howlett、Ramesh 和 Perl(2009) - Capacity and training Risk Academy
Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2 - 监测与公开报告 报告
指标连同来源、局限和更正一并发布。 OECD(2014),原则 5 - Evaluation and revision Nexus Standards
Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)
方法
- Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- 关键风险治理 OECD(2014),Recommendation of the Council on the Governance of Critical Risks
- Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
贯穿六大支柱,由 Nexus Consortium 牵头
由谁决定,以及证据服务于什么。
AI 与数字治理负责准备证据。以下决定由所列主管机构依据其自身规则作出,绝不由平台作出。
| 谁来决定 | 问题 | 本页面服务的证据 |
|---|---|---|
| 立法机构 | Which obligations attach to developers, deployers and providers of general-purpose models | 比较制度与事件证据 |
| Market surveillance and sector regulators | Which systems to inspect and what powers to use | 事件记录、风险类别和执法实践 |
| 部署组织的董事会 | Who owns AI risk and what assurance they require | 治理实践与管理体系标准 |
| 法院 | 谁对使用 AI 系统造成的损害负责 | Records and expert evidence presented by parties; the page serves context only |
该主题产生的产出
- 针对特定用途,绘制人工智能价值链各环节的问责图谱
- 关于人工智能监管机构及其权力的比较说明
- Guide to AI incident reporting regimes and databases
- Questions for boards and regulators on AI oversight
人工智能监督与问责如何治理:文书、授权和承诺。
政策制定者、外交官或发展机构所使用的文书、授权、行为方和问责安排,并注明设定它们的协定。结构遵循所列框架。所绘制的任何状态或进展均为说明性,并非记录。
问责循环
如何对 AI 监督和问责方面的承诺进行问责,从作出承诺到予以纠正。
- 承诺政府具有授权和法律依据的承诺。
- 计划牵头机构有负责方和里程碑的国家计划。
- 资源型财政部有记录的预算项目或融资。
- 实施机构与地方政府对照计划的交付情况。
- 报告统计局按商定定义报告的指标。
- 审核立法机构、审计机构、公民社会对结果和差距进行独立审查。
- 更正政府计划的变更,附理由公布。
机构对监督提出的问题。
- Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
- Has the system been validated for this specific use and population, by someone independent of its developers?
- 评审其输出的人员能否真正与之意见相左,还是只是批准它的建议?
- 系统投入使用后将如何监测其表现,哪些情形会触发暂停?
问责为何会削弱。
Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.
Rubber-stamp review
人们往往倾向于听从自动化输出,在时间紧迫时尤其如此,因此人工审查可能流于形式。
众人协作
开发者、供应商、集成商和用户各自掌握系统的一部分,却无人对结果负全责。
绩效变化
随着世界变化,模型会退化,而不加监测,这种退化就不会被察觉。
Instruments of oversight.
- 01
Impact assessments
在部署前对权利和结果面临的风险进行结构化分析。局限:若不与决策挂钩,可能流于文书工作。
- 02
独立验证
由独立于开发者的人员使用 AI 评估与保证工程进行测试。局限:测试显示的是测试数据上的表现,而非每一种真实情形下的表现。
- 03
Meaningful human review
拥有推翻决定的权限、时间、信息和培训的审查人员。局限:成本高昂,且难以大规模持续。
- 04
审计追踪与监测
输入、输出和决策的日志,以及随时间推移对性能的跟踪。局限:只有在有人审查时才有用。
问题与解答。
What is the difference between an AI provider and a deployer?
Why does logging matter for AI oversight?
Does ISO/IEC 42001 certify that an AI system is safe?
Is having a human in the loop enough?
谁应当对人工智能系统进行验证?
Does the platform audit AI systems?
什么情形应触发暂停某一系统?
从本页贡献证据。
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
- 电子邮件网关 GW-GRF从本页发送证据、更正、案例、方法、审查、翻译或概况投稿。它会带上本页标签送达,由负责的编辑接收。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 报告全球风险论坛(Global Risks Forum)查看所有贡献方式贡献类型、各自的评审方式、您获得的署名、许可协议,以及绝不接受的内容。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
法律文件。
显示全部 18 份法律文件
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。