Skip to content

GRF · AIとデジタル・ガバナンス

アルゴリズムによる公的決定

政府は、給付申請の評価、不正の検出、検査の割り当て、警察活動や移民管理におけるリスクスコアの設定、裁判官や担当職員の支援にアルゴリズムを用いています。これらの決定は権利と生計に大規模な影響を及ぼし、誤りは誰かが気づく前に数千件で繰り返されます。本ページでは、アルゴリズムによる公的決定がどのように誤るか、保護措置がどう機能するか、それを示す記録、そしてシステムを使うかどうか、どう使うかを誰が決めるかを示します。

02質問

Algorithmic public decisions: how the risk develops.

Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

メカニズム

誤差は気づかれないうちに拡大する

欠陥のあるルールやモデルは、それが関わるすべての事例に適用されます。結果や不服申立てのモニタリングがなければ、体系的な誤りが発見されるまでに、多くの人々が不当に拒否されたり不利益を受けたりするおそれがあります。

メカニズム

Bias enters through data and design

Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.

メカニズム

人間によるレビューが形式的な承認になる

Public servants asked to review automated outputs under time pressure tend to accept them. Meaningful review needs time, authority to overrule and information about how the output was produced.

メカニズム

不透明性は異議申し立てを妨げる

People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.

03監視

公的アルゴリズム登録簿。

このテーマを追跡するためにチームが使う画面:その指標、状態、決定。名前は例であり、値はイメージです。

公的アルゴリズム登録簿

Algorithmic public decisions · Algorithm register · Quarter 1

評価を受けていない 2 つの高リスクシステムGRF · AIとデジタル・ガバナンス

登録済みのシステム

給付不正のフラグ付け社会的主体性高欠損一部
許可のトリアージ計画限定的完了はい
就学の受け入れ教育高完了はい
チャットアシスタント税務署最小限完了n/a

監督上の行動

システム
給付不正のフラグ付け
必須
影響評価、不服申立ての経路
期限
64 days
権限
監督機関

自動化された意思決定に関する苦情

Public algorithm register: the screen’s structure, terms and states for Algorithmic public decisions.Example names and illustrative values; a design, not a record or a live system.
04指標

何を、どの程度うまく測定しているか。

各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。

指標単位周期出典の種類ラベル
Public algorithmic systems in a transparency register機関別の件数更新時Algorithm registers申告済み
Algorithmic impact assessments published件数年次政府の刊行物申告済み
自動化された決定に対する不服申立て支持された件数と割合年次Agency and tribunal records公表統計
グループ間の成果格差ratio of adverse outcome rates監査あたり独立監査推定
Systems suspended or withdrawn after review件数年次Government and court records公表統計
Ombudsman complaints about automated decisions件数年次Ombudsman reports公表統計
05手段と約束

How algorithmic public decisions is governed: instruments, mandates and commitments.

政策立案者、外交官、開発機関が扱う文書、委任、アクター、説明責任の仕組みを、それらを定める協定を引用して示します。構造は挙げられた枠組みに従います。示される状態や進捗は例示であり、記録ではありません。

政策手段のマトリクス

The kinds of instrument available on algorithmic public decisions, by level of government and cooperation.

手段の種類地方国別地域グローバル
規制ゾーニング、建築基準法律、標準、許認可調和された規則条約と協定
経済地方の賦課金、補助金予算項目、税、保険制度リスクプール、地域基金資金調達の仕組み
情報地域の警報開示、早期警報、統計データ共有の取り決め世界的な監視と報告
機関地域の委員会主導機関、調整評議会地域機関と事務局多国間の委任
協調的コミュニティの合意パートナーシップ協定覚書と共同プログラム協定と共同の約束
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
災害リスク削減のための仙台防災枠組 · UNDRRパリ協定 · UNFCCC持続可能な開発のための 2030 アジェンダと持続可能な開発目標 · 国際連合国際保健規則 · WHO
06出典

エビデンスの出所。

名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。

出典提供するものライセンス区分
英国アルゴリズム透明性記録標準の記録Published records of algorithmic tools used by public bodiesオープン・ガバメント・ライセンス
Amsterdam and Helsinki algorithm registers使用中のアルゴリズム システム に関する都市の登録簿Open data, terms per city
Canada Directive on Automated Decision-Making and Algorithmic Impact AssessmentsMandatory impact assessments for federal automated decisionsカナダ政府オープンライセンス(Open Government Licence, Canada)
オンブズマンおよび会計検査機関の報告書Investigations of automated decision systems in public services公的記録、条件は事務所ごと
Court judgments on automated public decisionsアルゴリズム・システムの適法性に関する判断Public records, terms per court
07決定

誰が決め、エビデンスが何に役立つか。

AIとデジタル・ガバナンス はエビデンスを準備します。以下の決定は、記載された当局がそれぞれの規則に基づいて行うものであり、プラットフォームが行うことはありません。

誰が決定するか質問このページが提供するエビデンス
Ministers and agency heads意思決定を自動化するかどうか、またどのような保護措置を講じるか影響評価、監査エビデンス、および比較可能な システム
データ保護当局Whether processing and automated decisions are lawfulAssessment records and complaints
Ombudsmen and audit officesシステムを調査するかどうか、何を勧告するかAppeals, complaints and outcome data
Courts and tribunalsWhether a decision or system breached rights or law当事者が提出した記録。このページは背景情報のみを提供します

このトピックが生み出す成果物

  • アルゴリズム登録簿と影響評価の比較ノート
  • 自動化された意思決定における実質的な人間によるレビューのガイド
  • 運用停止となった公的アルゴリズムからの教訓に関する対話ブリーフ
  • Questions for agencies before deploying an automated decision system
08中核となる問い

アルゴリズムによる公的意思決定について、専門家が問うこと。

  • What legal power authorises this use, and does the algorithm stay within it?
  • 影響を受ける人は、アルゴリズムが使われたことを知り、その仕組みを理解し、結果に異議を申し立てることができるでしょうか。
  • Does the system perform differently for different groups, and is that justified?
  • What happens when the system is wrong, and how quickly is the error found and corrected?
09メカニズム

How algorithmic decisions go wrong.

Algorithms trained on historical data can reproduce historical patterns of disadvantage. A proxy variable that seems neutral, such as postcode, may correlate with protected characteristics. Errors at scale differ from individual errors: a flawed rule applied to an entire caseload harms many people at once and in the same way, which can overwhelm complaint systems.

The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.

Why now: automated systems are used for eligibility, triage and fraud detection in public services, and courts and ombudsmen in several countries have examined cases where they went wrong. The platform is designed to compare review and redress arrangements and record what affected people can actually do.

10手法と限界

保護措置とその限界。

  1. 01

    アルゴリズムの公開登録簿

    Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.

  2. 02

    Explanation and notification

    アルゴリズムが使われたこと、およびその結果が生じた理由を人々に伝えること。限界:複雑なモデルの説明は部分的になり得る。

  3. 03

    公平性テスト

    Measuring performance across groups, using machine learning methods. Limits: different fairness measures can conflict, and choosing among them is a value judgement.

  4. 04

    Appeal and redress

    人による審査、不服申立て、救済への経路。限界:利用しやすい手続と十分な人員配置に左右される。

11手法

どのように研究され、手法が言えないことは何か。

12質問

質問と回答。

アルゴリズム影響評価とは何ですか。
A structured review, before and during deployment, of the risks an automated system poses to people and how they are mitigated. Canada requires one for federal automated decisions.
人による審査が有意義であるための条件は何か?
The reviewer has the time, competence, information and authority to depart from the system’s output, and does so in practice when warranted.
人には自動化された意思決定の対象とされない権利があるのか。
GDPR の下では、人々は自分に重大な影響を及ぼす、自動処理のみに基づく決定に関して権利を有しますが、例外と保護措置があります。他の法域では異なります。
Can a public decision be made entirely by an algorithm?
それは各法域の法律によります。多くの法制度では、人に重大な影響を与える完全自動化された決定を制限し、人の関与と異議申立ての権利を求めています。
Why can’t fairness be measured with one number?
Because there are several reasonable definitions of fairness, and mathematically they often cannot all be satisfied at once. Choosing among them is a policy decision.
Does the platform take up individual cases?
いいえ。個別の事案は、導入主体、オンブズマン、審判所、裁判所の所管である。
アルゴリズム登録簿は必須か。
Some jurisdictions and cities publish them voluntarily or under policy; requirements vary.
報告書貢献する

このページからエビデンスを提供する。

Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。

グローバル・リスク・フォーラム(Global Risks Forum)AIとデジタル・ガバナンス指数関数的テクノロジーエビデンス・ブリーフ
AIとデジタル・ガバナンス

ガバナンスの問いをフォーラムに持ち込む。

情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。