Skip to content

GRF · 人工智能与数字治理

人工智能监督与问责

When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.

02问题

AI 监督与问责:风险如何演变。

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

机制

责任沿链条分散

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

机制

记录决定哪些内容可以接受审查

Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.

机制

Authorities lack capacity

市场监管、数据保护和行业监管机构需要技术人员、访问 系统 的权限以及测试系统的权力。能力薄弱会使规则沦为自我评估。

机制

Incidents go unreported

故障通过投诉、新闻报道和诉讼而非报告浮现。强制性事件报告和共享事件数据库使人们能够跨部署发现规律。

03监测

公共算法登记册。

团队跟踪该主题时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。

公共算法登记册

人工智能监督与问责 · 算法登记册 · 第 2 季度

两个未经评估的高风险系统GRF · 人工智能与数字治理

已登记的系统

福利欺诈标记社会能动性高缺失部分
许可分诊规划有限已完成是
入学安置教育高已完成是
聊天助手税务局极少已完成n/a

监督行动

系统
福利欺诈标记
必填
影响评估、申诉途径
截止日期
73 days
权限
监督机构

关于自动化决策的投诉

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04指标

衡量什么,以及衡量得如何。

每个指标都注明其单位、频率、背后的来源类型以及数值将附带的证据标签。此处不显示数值:数值由计划依据其自身权限提供。

指标单位节奏来源类型标签
指定的人工智能监管或市场监督机构是或否,并注明法律依据变更时国家立法和通报已发布统计
人工智能相关主管机构的技术人员全时当量年度主管机构年度报告已报告
依据人工智能规则报告的严重事件按部门计数年度公共记录已发布统计
Publicly recorded AI incidents按危害类型计数每月事件数据库已报告
涉及 AI 系统count by authority and type年度监管执法登记册已发布统计
ISO/IEC 42001 certificates issued计数年度Certification body records已报告
05政策情景

比较文书:规则、激励和信息。

三类工具在你设定的覆盖率和遵从率下与基线并列比较,每类都有自己的滞后和采用速度;效应大小是教学用数值,应以证据替换。情景:关于未来的具名假设,不是预测。

控制措施

结果的基线趋势
每年 2.0%
该工具的覆盖范围
70%
合规
75%
效应量,相对于教学取值
100%
未来年数
20 年

读数

期末时点降幅最大
监管
相对基线的降幅
21%
数字、方法与来源
年份基线监管经济激励信息与能力
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

方法

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

数据

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
比较政策工具:规则、激励和信息。示意性教学模型:依据控件设定的数值运行,而非实测数据。方法:政府工具(Hood (1983), The Tools of Government, Macmillan);胡萝卜、大棒与说教(Bemelmans-Videc, Rist and Vedung (1998), Transaction);创新扩散(Rogers (2003), Diffusion of Innovations, Free Press)。
06来源

证据来自何处。

具名公共数据集与机构记录,各自注明许可类别。依协议获得的来源仅按其条款使用,绝不再次发布。

来源它提供什么许可类别
OECD.AI 政策观察站National AI policies, governance bodies and the AI Incidents Monitor免费,OECD 条款
AI Incident Database涉及 AI 系统开放,许可待核查
European Data Protection Board and national authority decisionsDecisions on automated processing and AI-related complaints公共、欧盟和国家层面的再利用条款
斯坦福人工智能指数报告关于人工智能发展、政策和事件的数据免费阅读,许可可查
监管机构年度报告Staffing, priorities and enforcement of authorities supervising AI公共记录,条款因主管机构而异
07实施

从授权到评估,按支柱划分。

一项文书从授权到评估所经历的步骤,每一步都标明负责运行的支柱,以及仍由当局作出的决定。这是带有明示说明性数值的教学模型,不是预测。

  1. 授权与问题界定 主管当局(计划之外)
    主管当局依其自身规则界定问题和授权。 Howlett、Ramesh 和 Perl(2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. 与利益相关方演练 宇宙
    在演练中与将实施和承担这些方案的各方一起检验方案。 OECD(2014),原则 3
  5. Standard or guidance drafted Nexus Standards
    What works is codified as a standard or guidance, open to comment. Nexus Standards process
  6. 由主管当局决定 主管当局(计划之外)
    主管当局在计划之外,依据记录在案的证据作出决定。 Howlett、Ramesh 和 Perl(2009)
  7. Capacity and training Risk Academy
    Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2
  8. 监测与公开报告 报告
    指标连同来源、局限和更正一并发布。 OECD(2014),原则 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

方法

  1. Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
  2. 关键风险治理 OECD(2014),Recommendation of the Council on the Governance of Critical Risks
  3. Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
从授权到评估,按支柱划分:所记录的各个步骤及其所属支柱;来源按各步骤所引。
08决定

由谁决定,以及证据服务于什么。

AI 与数字治理负责准备证据。以下决定由所列主管机构依据其自身规则作出,绝不由平台作出。

谁来决定问题本页面服务的证据
立法机构Which obligations attach to developers, deployers and providers of general-purpose models比较制度与事件证据
Market surveillance and sector regulatorsWhich systems to inspect and what powers to use事件记录、风险类别和执法实践
部署组织的董事会Who owns AI risk and what assurance they require治理实践与管理体系标准
法院谁对使用 AI 系统造成的损害负责Records and expert evidence presented by parties; the page serves context only

该主题产生的产出

  • 针对特定用途,绘制人工智能价值链各环节的问责图谱
  • 关于人工智能监管机构及其权力的比较说明
  • Guide to AI incident reporting regimes and databases
  • Questions for boards and regulators on AI oversight
09工具与承诺

人工智能监督与问责如何治理:文书、授权和承诺。

政策制定者、外交官或发展机构所使用的文书、授权、行为方和问责安排,并注明设定它们的协定。结构遵循所列框架。所绘制的任何状态或进展均为说明性,并非记录。

问责循环

如何对 AI 监督和问责方面的承诺进行问责,从作出承诺到予以纠正。

  1. 承诺政府具有授权和法律依据的承诺。
  2. 计划牵头机构有负责方和里程碑的国家计划。
  3. 资源型财政部有记录的预算项目或融资。
  4. 实施机构与地方政府对照计划的交付情况。
  5. 报告统计局按商定定义报告的指标。
  6. 审核立法机构、审计机构、公民社会对结果和差距进行独立审查。
  7. 更正政府计划的变更,附理由公布。
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
《仙台框架》(减少灾害风险) · 联合国减少灾害风险办公室《巴黎协定》 · 《联合国气候变化框架公约》《2030 年可持续发展议程》和可持续发展目标 · 联合国《国际卫生条例》 · 世卫组织
10核心问题

机构对监督提出的问题。

  • Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
  • Has the system been validated for this specific use and population, by someone independent of its developers?
  • 评审其输出的人员能否真正与之意见相左,还是只是批准它的建议?
  • 系统投入使用后将如何监测其表现,哪些情形会触发暂停?
11机制

问责为何会削弱。

Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.

Automation bias

Rubber-stamp review

人们往往倾向于听从自动化输出,在时间紧迫时尤其如此,因此人工审查可能流于形式。

Diffusion

众人协作

开发者、供应商、集成商和用户各自掌握系统的一部分,却无人对结果负全责。

漂移

绩效变化

随着世界变化,模型会退化,而不加监测,这种退化就不会被察觉。

12方法与局限

Instruments of oversight.

  1. 01

    Impact assessments

    在部署前对权利和结果面临的风险进行结构化分析。局限:若不与决策挂钩,可能流于文书工作。

  2. 02

    独立验证

    由独立于开发者的人员使用 AI 评估与保证工程进行测试。局限:测试显示的是测试数据上的表现,而非每一种真实情形下的表现。

  3. 03

    Meaningful human review

    拥有推翻决定的权限、时间、信息和培训的审查人员。局限:成本高昂,且难以大规模持续。

  4. 04

    审计追踪与监测

    输入、输出和决策的日志,以及随时间推移对性能的跟踪。局限:只有在有人审查时才有用。

13方法

如何研究,以及方法无法说明的内容。

  1. AI 评估与保证工程第三方审计范围 · 公共系统的公平性测试 · 部署后监测在此应用
  2. 政策、制度与决策科学比较 AI 制度 · 价值链问责梳理 · 论坛与职责授权梳理在此应用
  3. 人工智能与机器学习模型在部署中如何失效 · 解读模型文档 · 智能体架构详解在此应用
14问题

问题与解答。

What is the difference between an AI provider and a deployer?
In the EU AI Act, a provider develops an AI system or model and places it on the market; a deployer uses it under its authority. Each carries different obligations.
Why does logging matter for AI oversight?
日志和文档使审计人员、监管机构和法院能够还原系统的行为。没有它们,问责就取决于运营方选择披露什么。
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Is having a human in the loop enough?
Not by itself. Review is meaningful only if the reviewer has the authority, time, information and competence to disagree with the system and does so when warranted.
谁应当对人工智能系统进行验证?
独立于开发者或销售者、能够获取相关数据并具备针对预期用途进行测试的专业能力的人员。
Does the platform audit AI systems?
否。它比较治理实践,不测试或认证任何系统。
什么情形应触发暂停某一系统?
各机构自行设定触发条件,通常包括错误率高于约定水平的证据、输出出现无法解释的变化或可信的损害投诉。
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

全球风险论坛(Global Risks Forum)人工智能与数字治理指数级技术证据简报
人工智能与数字治理

把一个治理问题带到论坛。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。