Algorithmic public decisions in seven parts.
Algorithmic public decisions: how the risk develops.
Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
誤差は気づかれないうちに拡大する
欠陥のあるルールやモデルは、それが関わるすべての事例に適用されます。結果や不服申立てのモニタリングがなければ、体系的な誤りが発見されるまでに、多くの人々が不当に拒否されたり不利益を受けたりするおそれがあります。
Bias enters through data and design
Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.
人間によるレビューが形式的な承認になる
Public servants asked to review automated outputs under time pressure tend to accept them. Meaningful review needs time, authority to overrule and information about how the output was produced.
不透明性は異議申し立てを妨げる
People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.
公的アルゴリズム登録簿。
このテーマを追跡するためにチームが使う画面:その指標、状態、決定。名前は例であり、値はイメージです。
公的アルゴリズム登録簿
Algorithmic public decisions · Algorithm register · Quarter 1
登録済みのシステム
| 給付不正のフラグ付け | 社会的主体性 | 高 | 欠損 | 一部 |
| 許可のトリアージ | 計画 | 限定的 | 完了 | はい |
| 就学の受け入れ | 教育 | 高 | 完了 | はい |
| チャットアシスタント | 税務署 | 最小限 | 完了 | n/a |
監督上の行動
- システム
- 給付不正のフラグ付け
- 必須
- 影響評価、不服申立ての経路
- 期限
- 64 days
- 権限
- 監督機関
自動化された意思決定に関する苦情
何を、どの程度うまく測定しているか。
各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません:プログラムが自らの権限のもとで値を提供します。
| 指標 | 単位 | 周期 | 出典の種類 | ラベル |
|---|---|---|---|---|
| Public algorithmic systems in a transparency register | 機関別の件数 | 更新時 | Algorithm registers | 申告済み |
| Algorithmic impact assessments published | 件数 | 年次 | 政府の刊行物 | 申告済み |
| 自動化された決定に対する不服申立て | 支持された件数と割合 | 年次 | Agency and tribunal records | 公表統計 |
| グループ間の成果格差 | ratio of adverse outcome rates | 監査あたり | 独立監査 | 推定 |
| Systems suspended or withdrawn after review | 件数 | 年次 | Government and court records | 公表統計 |
| Ombudsman complaints about automated decisions | 件数 | 年次 | Ombudsman reports | 公表統計 |
How algorithmic public decisions is governed: instruments, mandates and commitments.
政策立案者、外交官、開発機関が扱う文書、委任、アクター、説明責任の仕組みを、それらを定める協定を引用して示します。構造は挙げられた枠組みに従います。示される状態や進捗は例示であり、記録ではありません。
政策手段のマトリクス
The kinds of instrument available on algorithmic public decisions, by level of government and cooperation.
| 手段の種類 | 地方 | 国別 | 地域 | グローバル |
|---|---|---|---|---|
| 規制 | ゾーニング、建築基準 | 法律、標準、許認可 | 調和された規則 | 条約と協定 |
| 経済 | 地方の賦課金、補助金 | 予算項目、税、保険制度 | リスクプール、地域基金 | 資金調達の仕組み |
| 情報 | 地域の警報 | 開示、早期警報、統計 | データ共有の取り決め | 世界的な監視と報告 |
| 機関 | 地域の委員会 | 主導機関、調整評議会 | 地域機関と事務局 | 多国間の委任 |
| 協調的 | コミュニティの合意 | パートナーシップ協定 | 覚書と共同プログラム | 協定と共同の約束 |
エビデンスの出所。
名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。
| 出典 | 提供するもの | ライセンス区分 |
|---|---|---|
| 英国アルゴリズム透明性記録標準の記録 | Published records of algorithmic tools used by public bodies | オープン・ガバメント・ライセンス |
| Amsterdam and Helsinki algorithm registers | 使用中のアルゴリズム システム に関する都市の登録簿 | Open data, terms per city |
| Canada Directive on Automated Decision-Making and Algorithmic Impact Assessments | Mandatory impact assessments for federal automated decisions | カナダ政府オープンライセンス(Open Government Licence, Canada) |
| オンブズマンおよび会計検査機関の報告書 | Investigations of automated decision systems in public services | 公的記録、条件は事務所ごと |
| Court judgments on automated public decisions | アルゴリズム・システムの適法性に関する判断 | Public records, terms per court |
誰が決め、エビデンスが何に役立つか。
AIとデジタル・ガバナンス はエビデンスを準備します。以下の決定は、記載された当局がそれぞれの規則に基づいて行うものであり、プラットフォームが行うことはありません。
| 誰が決定するか | 質問 | このページが提供するエビデンス |
|---|---|---|
| Ministers and agency heads | 意思決定を自動化するかどうか、またどのような保護措置を講じるか | 影響評価、監査エビデンス、および比較可能な システム |
| データ保護当局 | Whether processing and automated decisions are lawful | Assessment records and complaints |
| Ombudsmen and audit offices | システムを調査するかどうか、何を勧告するか | Appeals, complaints and outcome data |
| Courts and tribunals | Whether a decision or system breached rights or law | 当事者が提出した記録。このページは背景情報のみを提供します |
このトピックが生み出す成果物
- アルゴリズム登録簿と影響評価の比較ノート
- 自動化された意思決定における実質的な人間によるレビューのガイド
- 運用停止となった公的アルゴリズムからの教訓に関する対話ブリーフ
- Questions for agencies before deploying an automated decision system
アルゴリズムによる公的意思決定について、専門家が問うこと。
- What legal power authorises this use, and does the algorithm stay within it?
- 影響を受ける人は、アルゴリズムが使われたことを知り、その仕組みを理解し、結果に異議を申し立てることができるでしょうか。
- Does the system perform differently for different groups, and is that justified?
- What happens when the system is wrong, and how quickly is the error found and corrected?
How algorithmic decisions go wrong.
Algorithms trained on historical data can reproduce historical patterns of disadvantage. A proxy variable that seems neutral, such as postcode, may correlate with protected characteristics. Errors at scale differ from individual errors: a flawed rule applied to an entire caseload harms many people at once and in the same way, which can overwhelm complaint systems.
The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.
Why now: automated systems are used for eligibility, triage and fraud detection in public services, and courts and ombudsmen in several countries have examined cases where they went wrong. The platform is designed to compare review and redress arrangements and record what affected people can actually do.
保護措置とその限界。
- 01
アルゴリズムの公開登録簿
Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.
- 02
Explanation and notification
アルゴリズムが使われたこと、およびその結果が生じた理由を人々に伝えること。限界:複雑なモデルの説明は部分的になり得る。
- 03
公平性テスト
Measuring performance across groups, using machine learning methods. Limits: different fairness measures can conflict, and choosing among them is a value judgement.
- 04
Appeal and redress
人による審査、不服申立て、救済への経路。限界:利用しやすい手続と十分な人員配置に左右される。
どのように研究され、手法が言えないことは何か。
質問と回答。
アルゴリズム影響評価とは何ですか。
人による審査が有意義であるための条件は何か?
人には自動化された意思決定の対象とされない権利があるのか。
Can a public decision be made entirely by an algorithm?
Why can’t fairness be measured with one number?
Does the platform take up individual cases?
アルゴリズム登録簿は必須か。
このページからエビデンスを提供する。
Reports はコンソーシアムの季刊刊行物です。このテーマについてあなたが知っていることは、次号でエビデンス、事例、または訂正となり得ます。あなたの名前を記し、あなた自身の著作物である場合は CC BY 4.0 で公表されます。
- メールゲートウェイ GW-GRFこのページから送信するエビデンス、訂正、事例、手法、レビュー、翻訳、プロファイルへの入力。このページのタグが付いて届くため、担当の編集者が受け取ります。
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 報告書グローバル・リスク・フォーラム(Global Risks Forum)貢献のすべての方法を見る貢献の種類、それぞれの審査方法、受け取るクレジット、ライセンス、決して受け付けないもの。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
ガバナンスの問いをフォーラムに持ち込む。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
法的文書。
法的文書 18 件をすべて表示
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。