How models fail in deployment
Distribution shift, spurious correlations and feedback loops are explained with public case records, so oversight bodies know what to ask about a system’s behaviour after deployment.
GRF · 人工智能与数字治理
面向 AI 与数字治理的人工智能与机器学习
Artificial intelligence and machine learning are the 系统 this field governs. On this platform the methods are explained so that oversight bodies, legislators and the public understand what models do, how they fail and what evidence about them can be trusted.
01目录
Artificial intelligence and machine learning for AI and digital governance in five parts.
02申请
人工智能与机器学习在此处的作用。
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence, digital public infrastructure and cyber and digital resilience, machine learning can scale detection and forecasting across interconnected 系统. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on STEM Commons.
Reading model documentation
Model cards, data sheets and system cards are read for what they disclose and omit about training data, evaluation and limits.
Agent architectures explained
How agents chain model calls, tools and memory is described, so that permission and liability questions can be placed at the right point.
03监测
模型训练。
团队遵循该方法时会使用的界面：其指标、状态与决策。名称为示例，数值仅作示意。
模型训练
AI and digital governance · Artificial intelligence · Run R-6213
某一切片上的漂移GRF · 人工智能与数字治理
按切片评估
| 全部 | 0.85 | 0.04 | 4407 | 通过 |
| 区域 A | 0.78 | 0.04 | 1829 | 审核 |
| 区域 B | 0.65 | 0.07 | 444 | 审核 |
| 稀有类别 | 0.74 | 0.14 | 124 | 低于标准 |
方法卡
- 方法
- 人工智能与机器学习
- 拆分
- 基于时间，无信息泄漏
- 功能
- 55
- 标签
- 模型估算
人口稳定性
| 数据 | 角色 | 标签 |
|---|---|---|
| Model and system cards | Disclosed capabilities and limits | 已声明 |
| Benchmark results | Comparative capability | 已报告 |
| Incident records | Observed failures | 已报告 |
| Research literature | 方法与证据 | 已报告 |
05政策情景
比较文书：规则、激励和信息。
三类工具在你设定的覆盖率和遵从率下与基线并列比较，每类都有自己的滞后和采用速度；效应大小是教学用数值，应以证据替换。情景：关于未来的具名假设，不是预测。
控制措施
- 结果的基线趋势
- 每年 2.0%
- 该工具的覆盖范围
- 70%
- 合规
- 75%
- 效应量，相对于教学取值
- 100%
- 未来年数
- 20 年
读数
- 期末时点降幅最大
- 监管
- 相对基线的降幅
- 21%
数字、方法与来源
| 年份 | 基线 | 监管 | 经济激励 | 信息与能力 |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
方法
- 政府工具 Hood (1983), The Tools of Government, Macmillan
- 胡萝卜、大棒与说教 Bemelmans-Videc, Rist and Vedung (1998), Transaction
- 创新扩散 Rogers (2003), Diffusion of Innovations, Free Press
- 不确定性扇形图（参数蒙特卡罗） Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- 单因素敏感性（龙卷风图） Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
数据
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- 边界 Natural Earth
- 城市 Natural Earth
贯穿六大支柱，由 Nexus Consortium 牵头
06验证
结果如何核查。
模型在尊重空间、时间与群体结构的留出数据上进行评估。在测试准确性的同时，也测试稳健性、校准与公平性。
| 核查 | 如何开展 |
|---|---|
| Claims against evidence | Capability claims are checked against published evaluations |
| Context of benchmarks | Benchmark results are read with their task and data limits stated |
| Deployment conditions | Behaviour is described for the conditions in which the system is used |
当部署条件与训练数据不同时，性能会下降。模型可能固化偏见，并在罕见事件上毫无明显预警地失效。
07实施
从授权到评估，按支柱划分。
一项文书从授权到评估所经历的步骤，每一步都标明负责运行的支柱，以及仍由当局作出的决定。这是带有明示说明性数值的教学模型，不是预测。
- 授权与问题界定 主管当局（计划之外）
主管当局依其自身规则界定问题和授权。 Howlett、Ramesh 和 Perl（2009） - 证据与系统模型 Foundry
对系统及其反馈、数据和已说明的局限进行建模。 OECD (2014)，原则 2 - 在情景下评估备选方案 Foundry
在情景下比较各项政策工具，并显示不确定性。 Hood (1983) - 与利益相关方演练 宇宙
在演练中与将实施和承担这些方案的各方一起检验方案。 OECD（2014），原则 3 - 起草标准或指南 Nexus Standards
行之有效的做法被编纂为标准或指南，并公开征求意见。 Nexus Standards 流程 - 由主管当局决定 主管当局（计划之外）
主管当局在计划之外，依据记录在案的证据作出决定。 Howlett、Ramesh 和 Perl（2009） - 能力与培训 Risk Academy
负责实施的人员接受关于所决定文书及其数据的培训。 仙台框架（2015），优先事项 2 - 监测与公开报告 报告
指标连同来源、局限和更正一并发布。 OECD（2014），原则 5 - 评估与修订 Nexus Standards
结果反馈至标准和模型：循环闭合。 Howlett、Ramesh 和 Perl（2009）
方法
- 政策周期 Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- 关键风险治理 OECD（2014），Recommendation of the Council on the Governance of Critical Risks
- 有向图的分层绘制 Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
贯穿六大支柱，由 Nexus Consortium 牵头
09工具与承诺
工具、职责与承诺。
政策制定者、外交官或发展机构所使用的文书、授权、行为方和问责安排，并注明设定它们的协定。结构遵循所列框架。所绘制的任何状态或进展均为说明性，并非记录。
政策工具矩阵
The kinds of instrument available on Artificial intelligence and machine learning for AI and digital governance, by level of government and cooperation.
| 工具类型 | 地方 | 国家 | 区域 | 全球 |
|---|---|---|---|---|
| 监管型 | 分区、建筑规范 | 法律、标准、许可 | 统一规则 | 公约与条约 |
| 经济 | 地方税费、拨款 | 预算项目、税收、保险计划 | 风险池，区域基金 | 融资机制 |
| 信息 | 地方预警 | 披露、预警、统计 | 数据共享安排 | 全球监测与报告 |
| 制度型 | 地方委员会 | 牵头机构，协调理事会 | 区域机构与秘书处 | 多边授权 |
| 合作型 | 社区协议 | 伙伴关系契约 | 谅解备忘录与联合计划 | 协定与共同承诺 |
《仙台框架》（减少灾害风险） · 联合国减少灾害风险办公室《巴黎协定》 · 《联合国气候变化框架公约》《2030 年可持续发展议程》和可持续发展目标 · 联合国《国际卫生条例》 · 世卫组织
11已关联
本页在整个联合体中通向何处。
12问题
问题与解答。
在该领域，人工智能与机器学习有哪些局限？
当部署条件与训练数据不同时，性能会下降。模型可能固化偏见，并在罕见事件上毫无明显预警地失效。
结果如何核查？
模型在尊重空间、时间与群体结构的留出数据上进行评估。在测试准确性的同时，也测试稳健性、校准与公平性。
本页面上的数值是真实的吗？
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
该方法还应用于何处？
维持社会运转的各个 规范方法页面 列出应用该方法的每个平台。
报告贡献
从本页贡献证据。
报告 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
全球风险论坛（Global Risks Forum）人工智能与数字治理指数级技术证据简报
- 电子邮件网关 GW-GRF从本页发送证据、更正、案例、方法、审查、翻译或概况投稿。它会带上本页标签送达，由负责的编辑接收。
- Zenodo开放存缴存缴并提交到社区用您的 ORCID iD 在 Zenodo 上发布您自己的记录，然后提交到那里的 Reports 社区。由策展人审核；DOI 仍归您所有。
- 报告全球风险论坛（Global Risks Forum）查看所有贡献方式贡献类型、各自的评审方式、您获得的署名、许可协议，以及绝不接受的内容。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查；发送贡献不赋予署名权或编辑权，赞助也绝不能换取研究结论。
法律
法律文件。
显示全部 18 份法律文件
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警；信息的局限见免责声明和数据说明。