GRF · AIとデジタル・ガバナンス
AI の監督と説明責任
When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.
AI oversight and accountability in seven parts.
AI oversight and accountability: how the risk develops.
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
責任はチェーンに沿って拡散する
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
記録が、レビュー可能な範囲を決める
Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.
Authorities lack capacity
市場監督機関、データ保護機関、分野別規制当局には、技術スタッフ、 システム へのアクセス、およびそれらを検査する権限が必要です。体制が脆弱だと、規則は自己評価に終わります。
Incidents go unreported
不具合は、報告ではなく、苦情、報道、訴訟を通じて明らかになります。義務的なインシデント報告と共有インシデントデータベースにより、複数の展開事例にまたがるパターンを把握できます。
公的アルゴリズム登録簿。
このテーマを追跡するためにチームが使う画面:その指標、状態、決定。名前は例であり、値はイメージです。
公的アルゴリズム登録簿
AI の監督と説明責任 · アルゴリズム登録簿 · 第 2 四半期
登録済みのシステム
| 給付不正のフラグ付け | 社会的主体性 | 高 | 欠損 | 一部 |
| 許可のトリアージ | 計画 | 限定的 | 完了 | はい |
| 就学の受け入れ | 教育 | 高 | 完了 | はい |
| チャットアシスタント | 税務署 | 最小限 | 完了 | n/a |
監督上の行動
- システム
- 給付不正のフラグ付け
- 必須
- 影響評価、不服申立ての経路
- 期限
- 73 days
- 権限
- 監督機関
自動化された意思決定に関する苦情
何を、どの程度うまく測定しているか。
各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。
| 指標 | 単位 | 周期 | 出典の種類 | ラベル |
|---|---|---|---|---|
| Designated AI supervisory or market surveillance authority | yes or no, with legal basis | 変更時 | National legislation and notifications | 公表統計 |
| Technical staff in AI-relevant authorities | full-time equivalents | 年次 | 当局の年次報告書 | 報告値 |
| AI 規則に基づき報告された重大インシデント | セクター別の件数 | 年次 | 公的記録 | 公表統計 |
| Publicly recorded AI incidents | 被害の種類別の件数 | 月次 | インシデントのデータベース | 報告値 |
| Enforcement actions concerning AI systems | 機関と種類別の件数 | 年次 | 規制当局の執行登録簿 | 公表統計 |
| ISO/IEC 42001 certificates issued | 件数 | 年次 | 認証機関の記録 | 報告値 |
文書の比較:規則、インセンティブ、情報。
3 種類の手段を、設定した対象範囲と遵守率のもとでベースラインと並べて比較します。それぞれに固有の遅れと普及速度があり、効果量は証拠で置き換えるべき教材用の値です。シナリオ:未来についての名前の付いた仮定であり、予測ではありません。
管理策
- 成果のベースライン・トレンド
- 年 2.0%
- この手段のカバレッジ
- 70%
- コンプライアンス
- 75%
- 効果量(教育用の値との比較)
- 100%
- 将来の年数
- 20 年
読み取り値
- 期間末で最大の削減
- 規制
- ベースラインに対する削減幅
- 21%
数値、手法、出典
| 年 | ベースライン | 規制 | 経済的インセンティブ | 情報と能力 |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
手法
- Tools of government Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
- Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
- Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
データ
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Borders Natural Earth
- Cities Natural Earth
6 本の柱を通じて、Nexus Consortium が主導
エビデンスの出所。
名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。
| 出典 | 提供するもの | ライセンス区分 |
|---|---|---|
| OECD.AI 政策観測所 | 各国の AI 政策、ガバナンス機関、AI Incidents Monitor | 無料、OECD の条件 |
| AI Incident Database | Crowd-sourced records of harms involving AI systems | 公開、ライセンス要確認 |
| European Data Protection Board and national authority decisions | Decisions on automated processing and AI-related complaints | Public, EU and national reuse terms |
| Stanford AI Index Report | Data on AI development, policy and incidents | Free to read, licence to check |
| 規制当局の年次報告書 | Staffing, priorities and enforcement of authorities supervising AI | 公的記録、条件は当局ごと |
委任から評価まで、柱ごとに。
文書が委任から評価までにたどるステップと、それぞれを担う柱、そして当局に委ねられる決定。明示された例示値による教育用モデルであり、予測ではありません。
- 委任と問題の設定 所管当局(プログラムの外)
所管当局が自らの規則に基づいて問題と委任を設定します。 Howlett、Ramesh、Perl(2009) - Evidence and system model Foundry
The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2 - Options appraised with scenarios Foundry
Instruments are compared under scenarios, with uncertainty shown. Hood (1983) - 関係者との演習 ユニバース
選択肢を、それを実施し負担する人々との演習で検証します。 OECD(2014)、原則 3 - Standard or guidance drafted Nexus Standards
What works is codified as a standard or guidance, open to comment. Nexus Standards process - 当局による決定 所管当局(プログラムの外)
当局は、記録に残された証拠に基づき、プログラムの外で決定します。 Howlett、Ramesh、Perl(2009) - Capacity and training Risk Academy
Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2 - 監視と公開報告 報告書
指標は、情報源、限界、訂正とともに公開されます。 OECD(2014)、原則 5 - Evaluation and revision Nexus Standards
Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)
手法
- Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- 重大リスクのガバナンス OECD(2014)、Recommendation of the Council on the Governance of Critical Risks
- Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
6 本の柱を通じて、Nexus Consortium が主導
誰が決め、エビデンスが何に役立つか。
AIとデジタル・ガバナンス はエビデンスを準備します。以下の決定は、記載された当局がそれぞれの規則に基づいて行うものであり、プラットフォームが行うことはありません。
| 誰が決定するか | 質問 | このページが提供するエビデンス |
|---|---|---|
| 議会 | Which obligations attach to developers, deployers and providers of general-purpose models | 制度の比較とインシデントからのエビデンス |
| Market surveillance and sector regulators | Which systems to inspect and what powers to use | Incident records, risk categories and enforcement practice |
| Boards of deploying organisations | Who owns AI risk and what assurance they require | Governance practice and management system standards |
| 裁判所 | Who is responsible for harm caused with an AI system | Records and expert evidence presented by parties; the page serves context only |
このトピックが生み出す成果物
- 特定の用途について、AI バリューチェーン全体にわたる責任の所在を示したマップ
- Comparative notes on AI supervisory authorities and their powers
- Guide to AI incident reporting regimes and databases
- Questions for boards and regulators on AI oversight
AI の監督と説明責任がどのように統治されているか:文書、権限および約束事項。
政策立案者、外交官、開発機関が扱う文書、委任、アクター、説明責任の仕組みを、それらを定める協定を引用して示します。構造は挙げられた枠組みに従います。示される状態や進捗は例示であり、記録ではありません。
説明責任のサイクル
AI の監督と説明責任に関する約束が、約束から是正に至るまで、どのように履行を問われるか。
- 確約政府委任と法的根拠を伴うコミットメント。
- 計画主導機関責任者とマイルストーンを定めた国家計画。
- 資源財務省記録された予算項目または資金。
- 実施行政機関と地方自治体計画に対する実施状況。
- 報告書統計局合意された定義で報告される指標。
- 審査議会、監査、市民社会結果と欠落の独立したレビュー。
- 訂正政府計画の変更。理由を添えて公開されます。
What institutions ask about oversight.
- Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
- Has the system been validated for this specific use and population, by someone independent of its developers?
- その出力を審査する人々は、本当にそれに異議を唱えることができるのか、それとも単に提案を承認しているだけなのか。
- How will performance be monitored once the system is in use, and what triggers suspension?
Why accountability erodes.
説明責任は、徐々に曖昧になりがちです。開発者、統合者、運用者、管理者からなる長い連鎖の中で、各主体はもっともらしく他者に責任があると指し示すことができ、やがて誰も責任を負わなくなります。なぜ今か: 人間による監督 の義務が、欧州連合 AI 法(2024 年)を含め、法律に盛り込まれつつあり、公的機関は誰が自動化された出力を理解し覆せるかを示さなければなりません。このプラットフォームは、そうした機関を招集し、システムが自信を持って誤る場面を想定したシナリオで、 ユニバース において監督を実践できるよう設計されています。
Rubber-stamp review
人は、特に時間的圧力の下では自動化された出力に従う傾向があり、人間によるレビューが形式的なものになりかねません。
多くの手
Developers, vendors, integrators and users each own part of the system and none owns the outcome.
Changing performance
世界が変化するにつれてモデルは劣化し、モニタリングがなければその劣化は気づかれません。
監督の手段。
- 01
影響評価
Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.
- 02
独立検証
開発者から独立した人員によるテストで、 AI 評価・保証工学を用います。限界:テストが示すのはテストデータ上の性能であり、あらゆる現実の状況での性能ではありません。
- 03
意味のある人間によるレビュー
Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.
- 04
監査証跡とモニタリング
入力、出力、判断のログを記録し、性能を時系列で追跡します。限界: 誰かがレビューして初めて有用になります。
質問と回答。
What is the difference between an AI provider and a deployer?
Why does logging matter for AI oversight?
Does ISO/IEC 42001 certify that an AI system is safe?
Is having a human in the loop enough?
AI システムは誰が検証すべきか。
Does the platform audit AI systems?
What should trigger suspending a system?
このページからエビデンスを提供する。
Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。
- メールゲートウェイ GW-GRFこのページから送信するエビデンス、訂正、事例、手法、レビュー、翻訳、プロファイルへの入力。このページのタグが付いて届くため、担当の編集者が受け取ります。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 報告書グローバル・リスク・フォーラム(Global Risks Forum)貢献のすべての方法を見る貢献の種類、それぞれの審査方法、受け取るクレジット、ライセンス、決して受け付けないもの。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
ガバナンスの問いをフォーラムに持ち込む。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
法的文書。
法的文書 18 件をすべて表示
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。