Third-party audit scope
Audit engagements are compared for access, independence and what they test, so buyers and regulators know what an audit opinion covers.
GRF · AIとデジタル・ガバナンス
AI とデジタル・ガバナンスのための AI 評価・保証エンジニアリング
AI assurance is the set of practices that build justified confidence in an AI system: evaluation, audit, red-teaming, monitoring and conformity assessment. In digital governance it decides what evidence regulators, buyers and courts can rely on, and who is independent enough to produce it.
01登録
主な事実。
手法の記録STEM の手法
- 手法AI 評価・保証工学
- スチュワード人工知能と自律システム
- 適用先AIとデジタル・ガバナンス
- データ4 つの入力
- チェック3 つの検証ステップ
- 正式なページSTEM コモンズ
02申請
What AI evaluation and assurance engineering does here.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI システム. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence, digital public infrastructure and cyber and digital resilience, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on STEM コモンズ.
Fairness testing in public systems
Outcome rates across groups are compared and proxy effects tested, with the fairness criterion chosen by the decision maker stated.
Post-deployment monitoring
Monitoring plans track drift, complaints and incidents after deployment, with thresholds that trigger review or withdrawal.
03政策シナリオ
文書の比較：規則、インセンティブ、情報。
3 種類の手段を、設定した対象範囲と遵守率のもとでベースラインと並べて比較します。それぞれに固有の遅れと普及速度があり、効果量は証拠で置き換えるべき教材用の値です。シナリオ：未来についての名前の付いた仮定であり、予測ではありません。
管理策
- 成果のベースライン・トレンド
- 年 2.0%
- この手段のカバレッジ
- 70%
- コンプライアンス
- 75%
- 効果量（教育用の値との比較）
- 100%
- 将来の年数
- 20 年
読み取り値
- 期間末で最大の削減
- 規制
- ベースラインに対する削減幅
- 21%
数値、手法、出典
| 年 | ベースライン | 規制 | 経済的インセンティブ | 情報と能力 |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
手法
- 政府の道具立て Hood (1983), The Tools of Government, Macmillan
- 飴、鞭、説教 Bemelmans-Videc, Rist and Vedung (1998), Transaction
- イノベーションの普及 Rogers (2003), Diffusion of Innovations, Free Press
- 不確実性のファンチャート（パラメータ・モンテカルロ） Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- 一因子ずつの感度分析（トルネード図） Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
データ
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- 国境 Natural Earth
- 都市 Natural Earth
6 本の柱を通じて、Nexus Consortium が主導
04データ
手法が使用するもの。
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in 出典の登録簿.
| データ | 役割 | ラベル |
|---|---|---|
| Audit and evaluation reports | Assurance evidence | 報告値 |
| Outcome and appeal data | Real-world performance | 観測 |
| Conformity assessment records | Regulatory compliance | 申告済み |
| Incident reports | Failures in use | 報告値 |
05実装
委任から評価まで、柱ごとに。
文書が委任から評価までにたどるステップと、それぞれを担う柱、そして当局に委ねられる決定。明示された例示値による教育用モデルであり、予測ではありません。
- 委任と問題の設定 所管当局（プログラムの外）
所管当局が自らの規則に基づいて問題と委任を設定します。 Howlett、Ramesh、Perl（2009） - エビデンスとシステムモデル Foundry
システムを、そのフィードバック、データ、明示された限界とともにモデル化する。 OECD (2014), principle 2 - シナリオによる選択肢の評価 Foundry
政策手段をシナリオのもとで比較し、不確実性を示す。 Hood (1983) - 関係者との演習 ユニバース
選択肢を、それを実施し負担する人々との演習で検証します。 OECD（2014）、原則 3 - 標準またはガイダンスの起草 Nexus Standards
有効な取り組みを、意見募集に開かれた標準またはガイダンスとして成文化する。 Nexus Standards のプロセス - 当局による決定 所管当局（プログラムの外）
当局は、記録に残された証拠に基づき、プログラムの外で決定します。 Howlett、Ramesh、Perl（2009） - 能力と研修 Risk Academy
実施する人々が、決定された文書とそのデータについて研修を受けます。 仙台防災枠組（2015）、優先行動 2 - 監視と公開報告 報告書
指標は、情報源、限界、訂正とともに公開されます。 OECD（2014）、原則 5 - 評価と見直し Nexus Standards
結果は標準とモデルに戻り、サイクルが閉じる。 Howlett、Ramesh、Perl（2009）
手法
- 政策サイクル Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- 重大リスクのガバナンス OECD（2014）、Recommendation of the Council on the Governance of Critical Risks
- 有向グラフの階層的描画 Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
6 本の柱を通じて、Nexus Consortium が主導
06検証
結果の確認方法。
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| 確認 | 実施方法 |
|---|---|
| 独立性 | The assessor’s relationship to the developer and deployer is stated |
| アクセス | The level of access to model, data and documentation is recorded |
| Scope stated | What the assurance covers and excludes is stated beside its conclusion |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
07手段と約束
文書、権限、約束。
政策立案者、外交官、開発機関が扱う文書、委任、アクター、説明責任の仕組みを、それらを定める協定を引用して示します。構造は挙げられた枠組みに従います。示される状態や進捗は例示であり、記録ではありません。
政策手段のマトリクス
The kinds of instrument available on AI evaluation and assurance engineering for AI and digital governance, by level of government and cooperation.
| 手段の種類 | 地方 | 国別 | 地域 | グローバル |
|---|---|---|---|---|
| 規制 | ゾーニング、建築基準 | 法律、標準、許認可 | 調和された規則 | 条約と協定 |
| 経済 | 地方の賦課金、補助金 | 予算項目、税、保険制度 | リスクプール、地域基金 | 資金調達の仕組み |
| 情報 | 地域の警報 | 開示、早期警報、統計 | データ共有の取り決め | 世界的な監視と報告 |
| 機関 | 地域の委員会 | 主導機関、調整評議会 | 地域機関と事務局 | 多国間の委任 |
| 協調的 | コミュニティの合意 | パートナーシップ協定 | 覚書と共同プログラム | 協定と共同の約束 |
災害リスク削減のための仙台防災枠組 · UNDRRパリ協定 · UNFCCC持続可能な開発のための 2030 アジェンダと持続可能な開発目標 · 国際連合国際保健規則 · WHO
08つながり
この手法に依拠するトピック。
09スチュワードシップ
手法を維持する者。
人工知能と自律システム stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
10接続済み
このページがコンソーシアム全体でどこへつながるか。
11質問
質問と回答。
What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
結果はどのように確認されますか？
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
このページの値は実際のものですか？
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
この手法は他にどこで適用されていますか？
社会を動かし続ける 正式な手法のページ には、それを適用するすべてのプラットフォームが掲載されています。
報告書貢献する
このページからエビデンスを提供する。
報告書 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
グローバル・リスク・フォーラム（Global Risks Forum）AIとデジタル・ガバナンス指数関数的テクノロジーエビデンス・ブリーフ
- メールゲートウェイ GW-GRFこのページから送信するエビデンス、訂正、事例、手法、レビュー、翻訳、プロファイルへの入力。このページのタグが付いて届くため、担当の編集者が受け取ります。
- Zenodoオープンな寄託寄託してコミュニティに提出するORCID iD を使って Zenodo に自分の記録を公開し、そこから Reports コミュニティに提出してください。キュレーターが審査し、DOI は引き続きあなたのものです。
- 報告書グローバル・リスク・フォーラム（Global Risks Forum）貢献のすべての方法を見る貢献の種類、それぞれの審査方法、受け取るクレジット、ライセンス、決して受け付けないもの。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
AIとデジタル・ガバナンス
ガバナンスの問いをフォーラムに持ち込む。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
法務
法的文書。
法的文書 18 件をすべて表示
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。