Skip to content

GRF · AIとデジタル・ガバナンス

AI の監督と説明責任

When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.

02質問

AI oversight and accountability: how the risk develops.

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

メカニズム

責任はチェーンに沿って拡散する

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

メカニズム

記録が、レビュー可能な範囲を決める

Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.

メカニズム

Authorities lack capacity

市場監督機関、データ保護機関、分野別規制当局には、技術スタッフ、 システム へのアクセス、およびそれらを検査する権限が必要です。体制が脆弱だと、規則は自己評価に終わります。

メカニズム

Incidents go unreported

不具合は、報告ではなく、苦情、報道、訴訟を通じて明らかになります。義務的なインシデント報告と共有インシデントデータベースにより、複数の展開事例にまたがるパターンを把握できます。

03監視

公的アルゴリズム登録簿。

このテーマを追跡するためにチームが使う画面:その指標、状態、決定。名前は例であり、値はイメージです。

公的アルゴリズム登録簿

AI の監督と説明責任 · アルゴリズム登録簿 · 第 2 四半期

評価を受けていない 2 つの高リスクシステムGRF · AIとデジタル・ガバナンス

登録済みのシステム

給付不正のフラグ付け社会的主体性高欠損一部
許可のトリアージ計画限定的完了はい
就学の受け入れ教育高完了はい
チャットアシスタント税務署最小限完了n/a

監督上の行動

システム
給付不正のフラグ付け
必須
影響評価、不服申立ての経路
期限
73 days
権限
監督機関

自動化された意思決定に関する苦情

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04指標

何を、どの程度うまく測定しているか。

各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。

指標単位周期出典の種類ラベル
Designated AI supervisory or market surveillance authorityyes or no, with legal basis変更時National legislation and notifications公表統計
Technical staff in AI-relevant authoritiesfull-time equivalents年次当局の年次報告書報告値
AI 規則に基づき報告された重大インシデントセクター別の件数年次公的記録公表統計
Publicly recorded AI incidents被害の種類別の件数月次インシデントのデータベース報告値
Enforcement actions concerning AI systems機関と種類別の件数年次規制当局の執行登録簿公表統計
ISO/IEC 42001 certificates issued件数年次認証機関の記録報告値
05政策シナリオ

文書の比較:規則、インセンティブ、情報。

3 種類の手段を、設定した対象範囲と遵守率のもとでベースラインと並べて比較します。それぞれに固有の遅れと普及速度があり、効果量は証拠で置き換えるべき教材用の値です。シナリオ:未来についての名前の付いた仮定であり、予測ではありません。

管理策

成果のベースライン・トレンド
年 2.0%
この手段のカバレッジ
70%
コンプライアンス
75%
効果量(教育用の値との比較)
100%
将来の年数
20 年

読み取り値

期間末で最大の削減
規制
ベースラインに対する削減幅
21%
数値、手法、出典
年ベースライン規制経済的インセンティブ情報と能力
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

手法

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

データ

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
政策手段の比較:規則、インセンティブ、情報。説明用の教材モデルで、実測データではなくコントロールで設定した値に基づいて動きます。手法:政府の道具(Hood (1983)、The Tools of Government、Macmillan)、アメとムチと説教(Bemelmans-Videc, Rist and Vedung (1998)、Transaction)、イノベーションの普及(Rogers (2003)、Diffusion of Innovations、Free Press)。
06出典

エビデンスの出所。

名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。

出典提供するものライセンス区分
OECD.AI 政策観測所各国の AI 政策、ガバナンス機関、AI Incidents Monitor無料、OECD の条件
AI Incident DatabaseCrowd-sourced records of harms involving AI systems公開、ライセンス要確認
European Data Protection Board and national authority decisionsDecisions on automated processing and AI-related complaintsPublic, EU and national reuse terms
Stanford AI Index ReportData on AI development, policy and incidentsFree to read, licence to check
規制当局の年次報告書Staffing, priorities and enforcement of authorities supervising AI公的記録、条件は当局ごと
07実装

委任から評価まで、柱ごとに。

文書が委任から評価までにたどるステップと、それぞれを担う柱、そして当局に委ねられる決定。明示された例示値による教育用モデルであり、予測ではありません。

  1. 委任と問題の設定 所管当局(プログラムの外)
    所管当局が自らの規則に基づいて問題と委任を設定します。 Howlett、Ramesh、Perl(2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. 関係者との演習 ユニバース
    選択肢を、それを実施し負担する人々との演習で検証します。 OECD(2014)、原則 3
  5. Standard or guidance drafted Nexus Standards
    What works is codified as a standard or guidance, open to comment. Nexus Standards process
  6. 当局による決定 所管当局(プログラムの外)
    当局は、記録に残された証拠に基づき、プログラムの外で決定します。 Howlett、Ramesh、Perl(2009)
  7. Capacity and training Risk Academy
    Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2
  8. 監視と公開報告 報告書
    指標は、情報源、限界、訂正とともに公開されます。 OECD(2014)、原則 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

手法

  1. Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
  2. 重大リスクのガバナンス OECD(2014)、Recommendation of the Council on the Governance of Critical Risks
  3. Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
任務から評価まで、柱ごとに:記録された各段階とその柱。出典は各段階に記載のとおり。
08決定

誰が決め、エビデンスが何に役立つか。

AIとデジタル・ガバナンス はエビデンスを準備します。以下の決定は、記載された当局がそれぞれの規則に基づいて行うものであり、プラットフォームが行うことはありません。

誰が決定するか質問このページが提供するエビデンス
議会Which obligations attach to developers, deployers and providers of general-purpose models制度の比較とインシデントからのエビデンス
Market surveillance and sector regulatorsWhich systems to inspect and what powers to useIncident records, risk categories and enforcement practice
Boards of deploying organisationsWho owns AI risk and what assurance they requireGovernance practice and management system standards
裁判所Who is responsible for harm caused with an AI systemRecords and expert evidence presented by parties; the page serves context only

このトピックが生み出す成果物

  • 特定の用途について、AI バリューチェーン全体にわたる責任の所在を示したマップ
  • Comparative notes on AI supervisory authorities and their powers
  • Guide to AI incident reporting regimes and databases
  • Questions for boards and regulators on AI oversight
09手段と約束

AI の監督と説明責任がどのように統治されているか:文書、権限および約束事項。

政策立案者、外交官、開発機関が扱う文書、委任、アクター、説明責任の仕組みを、それらを定める協定を引用して示します。構造は挙げられた枠組みに従います。示される状態や進捗は例示であり、記録ではありません。

説明責任のサイクル

AI の監督と説明責任に関する約束が、約束から是正に至るまで、どのように履行を問われるか。

  1. 確約政府委任と法的根拠を伴うコミットメント。
  2. 計画主導機関責任者とマイルストーンを定めた国家計画。
  3. 資源財務省記録された予算項目または資金。
  4. 実施行政機関と地方自治体計画に対する実施状況。
  5. 報告書統計局合意された定義で報告される指標。
  6. 審査議会、監査、市民社会結果と欠落の独立したレビュー。
  7. 訂正政府計画の変更。理由を添えて公開されます。
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
災害リスク削減のための仙台防災枠組 · UNDRRパリ協定 · UNFCCC持続可能な開発のための 2030 アジェンダと持続可能な開発目標 · 国際連合国際保健規則 · WHO
10中核となる問い

What institutions ask about oversight.

  • Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
  • Has the system been validated for this specific use and population, by someone independent of its developers?
  • その出力を審査する人々は、本当にそれに異議を唱えることができるのか、それとも単に提案を承認しているだけなのか。
  • How will performance be monitored once the system is in use, and what triggers suspension?
11メカニズム

Why accountability erodes.

説明責任は、徐々に曖昧になりがちです。開発者、統合者、運用者、管理者からなる長い連鎖の中で、各主体はもっともらしく他者に責任があると指し示すことができ、やがて誰も責任を負わなくなります。なぜ今か: 人間による監督 の義務が、欧州連合 AI 法(2024 年)を含め、法律に盛り込まれつつあり、公的機関は誰が自動化された出力を理解し覆せるかを示さなければなりません。このプラットフォームは、そうした機関を招集し、システムが自信を持って誤る場面を想定したシナリオで、 ユニバース において監督を実践できるよう設計されています。

Automation bias

Rubber-stamp review

人は、特に時間的圧力の下では自動化された出力に従う傾向があり、人間によるレビューが形式的なものになりかねません。

Diffusion

多くの手

Developers, vendors, integrators and users each own part of the system and none owns the outcome.

ドリフト

Changing performance

世界が変化するにつれてモデルは劣化し、モニタリングがなければその劣化は気づかれません。

12手法と限界

監督の手段。

  1. 01

    影響評価

    Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.

  2. 02

    独立検証

    開発者から独立した人員によるテストで、 AI 評価・保証工学を用います。限界:テストが示すのはテストデータ上の性能であり、あらゆる現実の状況での性能ではありません。

  3. 03

    意味のある人間によるレビュー

    Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.

  4. 04

    監査証跡とモニタリング

    入力、出力、判断のログを記録し、性能を時系列で追跡します。限界: 誰かがレビューして初めて有用になります。

13手法

どのように研究され、手法が言えないことは何か。

  1. AI 評価・保証工学第三者監査の範囲 · 公共システムにおける公平性の試験 · 導入後のモニタリングここでの適用
  2. 政策・制度・意思決定の科学AI 規制体制の比較 · バリューチェーンの説明責任のマッピング · フォーラムと権限のマッピングここでの適用
  3. 人工知能と機械学習モデルは導入後にどう失敗するか · モデルの文書の読み方 · エージェントのアーキテクチャの解説ここでの適用
14質問

質問と回答。

What is the difference between an AI provider and a deployer?
In the EU AI Act, a provider develops an AI system or model and places it on the market; a deployer uses it under its authority. Each carries different obligations.
Why does logging matter for AI oversight?
Logs and documentation let auditors, regulators and courts reconstruct how a system behaved. Without them, accountability depends on what the operator chooses to disclose.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Is having a human in the loop enough?
Not by itself. Review is meaningful only if the reviewer has the authority, time, information and competence to disagree with the system and does so when warranted.
AI システムは誰が検証すべきか。
Someone independent of those who developed or sold it, with access to relevant data and the expertise to test it for the intended use.
Does the platform audit AI systems?
No. It compares governance practices and does not test or certify any system.
What should trigger suspending a system?
各機関は独自のトリガーを定めます。通常、合意された水準を超える誤り率の証拠、説明のつかない出力の変動、被害に関する信頼できる苦情などが含まれます。
報告書貢献する

このページからエビデンスを提供する。

Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。

グローバル・リスク・フォーラム(Global Risks Forum)AIとデジタル・ガバナンス指数関数的テクノロジーエビデンス・ブリーフ
AIとデジタル・ガバナンス

ガバナンスの問いをフォーラムに持ち込む。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。