Skip to content

GRF · AI와 디지털 거버넌스

알고리즘 공공 결정

정부는 알고리즘을 사용해 급여 신청을 평가하고, 부정 행위를 탐지하며, 점검 대상을 배정하고, 치안과 이민 분야의 리스크 점수를 산정하며, 판사와 담당자를 지원합니다. 이러한 결정은 대규모로 권리와 생계에 영향을 미치며, 오류는 누군가 알아차리기 전에 수천 건에서 반복됩니다. 이 페이지는 알고리즘 기반 공공 의사결정이 어떻게 잘못되는지, 안전장치가 어떻게 작동하는지, 이를 보여 주는 기록, 그리고 시스템의 사용 여부와 방식을 누가 결정하는지를 설명합니다.

02질문

Algorithmic public decisions: how the risk develops.

Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

메커니즘

오류는 조용히 확대됩니다

결함이 있는 규칙이나 모델은 그것이 적용되는 모든 사례에 적용됩니다. 결과와 이의 제기에 대한 모니터링이 없으면, 체계적 오류가 발견되기 전에 많은 사람이 부당하게 거부되거나 불이익을 받을 수 있습니다.

메커니즘

Bias enters through data and design

과거 데이터에는 과거의 결정과 집행 양상이 반영되어 있습니다. 우편번호나 국적 같은 대리 변수는 보호 대상 특성을 제외하더라도 불평등한 결과를 낳을 수 있습니다.

메커니즘

인간 검토가 형식적 승인으로 변질됩니다

Public servants asked to review automated outputs under time pressure tend to accept them. Meaningful review needs time, authority to overrule and information about how the output was produced.

메커니즘

불투명성은 이의 제기를 가로막습니다

People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.

03모니터링

공공 알고리즘 등록부.

팀이 이 주제를 따라가는 데 사용할 화면으로, 그 지표, 상태, 결정을 보여 줍니다. 이름은 예시이며 값은 설명용입니다.

공공 알고리즘 등록부

Algorithmic public decisions · Algorithm register · Quarter 1

평가를 거치지 않은 고위험 시스템 2개GRF · AI와 디지털 거버넌스

등록된 시스템

복지 부정 표시사회적 행위 주체성높음누락부분
인허가 분류계획제한적완료예
학교 배치교육높음완료예
채팅 도우미세무서최소완료n/a

감독 조치

시스템
복지 부정 표시
필수
영향 평가, 이의 신청 경로
마감
64 days
권한
감독 기구

자동화 결정에 관한 민원

Public algorithm register: the screen’s structure, terms and states for Algorithmic public decisions.Example names and illustrative values; a design, not a record or a live system.
04지표

측정되는 것과 그 정확도.

각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.

지표단위주기출처 유형라벨
Public algorithmic systems in a transparency registercount by agencyon updateAlgorithm registers신고됨
Algorithmic impact assessments published건수연간정부 간행물신고됨
Appeals against automated decisions인용된 건수 및 비율연간Agency and tribunal records공표 통계
집단 간 결과 격차ratio of adverse outcome rates감사당Independent audits추정
Systems suspended or withdrawn after review건수연간Government and court records공표 통계
Ombudsman complaints about automated decisions건수연간Ombudsman reports공표 통계
05수단과 약속

How algorithmic public decisions is governed: instruments, mandates and commitments.

정책 입안자, 외교관이나 개발 기관이 다루는 문서, 위임, 행위자와 책임 체계를 이를 정한 협정을 인용하며 제시합니다. 구조는 명시된 체계를 따릅니다. 표시되는 상태나 진척은 예시이며 기록이 아닙니다.

정책 수단 매트릭스

The kinds of instrument available on algorithmic public decisions, by level of government and cooperation.

수단 유형지방국가지역글로벌
규제구역 설정, 건축 규정법률, 표준, 인허가조화된 규칙협약과 조약
경제지방 부담금, 보조금예산 항목, 세금, 보험 제도리스크 풀, 지역 기금재원 조달 체계
정보지역 경보공시, 조기 경보, 통계데이터 공유 체계글로벌 모니터링과 보고
기관지역 위원회주관 기관, 조정 위원회지역 기구와 사무국다자 위임
협력적공동체 협정파트너십 협약양해각서와 공동 프로그램협정과 공동 약속
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
재난위험경감을 위한 센다이 프레임워크 · UNDRR파리협정 · UNFCCC2030 의제와 지속가능발전목표 · 유엔국제보건규칙 · WHO
06출처

근거의 출처.

이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.

출처제공하는 것라이선스 등급
영국 알고리즘 투명성 기록 표준 기록Published records of algorithmic tools used by public bodiesOpen Government Licence
Amsterdam and Helsinki algorithm registersCity registers of algorithmic systems in useOpen data, terms per city
Canada Directive on Automated Decision-Making and Algorithmic Impact AssessmentsMandatory impact assessments for federal automated decisionsOpen Government Licence, Canada
옴부즈맨 및 감사 기관 보고서Investigations of automated decision systems in public services공공 기록, 기관별 조건
Court judgments on automated public decisionsRulings on lawfulness of algorithmic systemsPublic records, terms per court
07결정

누가 결정하며 근거는 무엇에 쓰이는지.

AI와 디지털 거버넌스는 근거를 준비합니다. 아래의 결정은 명시된 당국이 자체 규칙에 따라 내리며, 결코 플랫폼이 내리지 않습니다.

결정 주체질문이 페이지가 제공하는 근거
Ministers and agency heads의사결정을 자동화할지 여부와 어떤 안전장치를 둘지Impact assessments, audit evidence and lessons from comparable systems
개인정보 보호 당국Whether processing and automated decisions are lawfulAssessment records and complaints
Ombudsmen and audit officesWhether to investigate a system and what to recommendAppeals, complaints and outcome data
Courts and tribunalsWhether a decision or system breached rights or law당사자가 제시한 기록. 이 페이지는 맥락만 제공합니다

이 주제가 생산하는 산출물

  • Comparative notes on algorithm registers and impact assessments
  • Guide to meaningful human review in automated decisions
  • 중단된 공공 알고리즘의 교훈에 관한 대화 브리프
  • Questions for agencies before deploying an automated decision system
08핵심 질문

What experts ask about algorithmic public decisions.

  • What legal power authorises this use, and does the algorithm stay within it?
  • 영향을 받는 사람은 알고리즘이 사용되었음을 알고, 그 방식을 이해하며, 결과에 이의를 제기할 수 있습니까?
  • Does the system perform differently for different groups, and is that justified?
  • What happens when the system is wrong, and how quickly is the error found and corrected?
09메커니즘

How algorithmic decisions go wrong.

Algorithms trained on historical data can reproduce historical patterns of disadvantage. A proxy variable that seems neutral, such as postcode, may correlate with protected characteristics. Errors at scale differ from individual errors: a flawed rule applied to an entire caseload harms many people at once and in the same way, which can overwhelm complaint systems.

The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.

Why now: automated systems are used for eligibility, triage and fraud detection in public services, and courts and ombudsmen in several countries have examined cases where they went wrong. The platform is designed to compare review and redress arrangements and record what affected people can actually do.

10방법과 한계

안전장치와 그 한계.

  1. 01

    알고리즘 공개 등록부

    Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.

  2. 02

    Explanation and notification

    Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.

  3. 03

    공정성 검증

    Measuring performance across groups, using machine learning methods. Limits: different fairness measures can conflict, and choosing among them is a value judgement.

  4. 04

    Appeal and redress

    사람에 의한 검토, 이의 제기 및 구제로 이어지는 경로. 한계: 접근 가능한 절차와 충분한 인력에 좌우됩니다.

11방법

연구되는 방식과 방법이 말할 수 없는 것.

  1. AI 평가 및 보증 공학제3자 감사 범위 · 공공 시스템의 공정성 시험 · 배치 후 모니터링이곳에서의 적용
  2. 정책, 제도, 의사결정 과학AI 규제 체계 비교 · 가치사슬 책임성 매핑 · 포럼과 권한 매핑이곳에서의 적용
  3. 인공지능과 머신러닝배치 시 모형이 실패하는 방식 · 모형 문서 읽기 · 에이전트 아키텍처 설명이곳에서의 적용
  4. 디지털 신원과 공공 디지털 시스템공공 서비스의 보증 수준 · 최소 공개 · 배제 분석이곳에서의 적용
12질문

질문과 답변.

알고리즘 영향평가란 무엇입니까?
자동화 시스템이 사람에게 초래하는 리스크와 그 완화 방안을 배포 전과 배포 중에 구조적으로 검토하는 절차. 캐나다는 연방 정부의 자동화된 의사결정에 이를 요구합니다.
What makes human review meaningful?
The reviewer has the time, competence, information and authority to depart from the system’s output, and does so in practice when warranted.
사람들은 자동화된 결정의 대상이 되지 않을 권리가 있습니까?
Under the GDPR, people have rights concerning decisions based solely on automated processing that significantly affect them, with exceptions and safeguards. Other jurisdictions differ.
Can a public decision be made entirely by an algorithm?
이는 각 관할권의 법에 따라 다릅니다. 많은 법체계가 사람에게 중대한 영향을 미치는 완전 자동화 결정을 제한하고, 사람의 개입과 이의 제기권을 요구합니다.
Why can’t fairness be measured with one number?
Because there are several reasonable definitions of fairness, and mathematically they often cannot all be satisfied at once. Choosing among them is a policy decision.
플랫폼은 개별 사례를 다룹니까?
아니요. 개별 사례는 이를 도입한 기관, 옴부즈맨, 재판소, 법원의 소관입니다.
Are algorithm registers required?
Some jurisdictions and cities publish them voluntarily or under policy; requirements vary.
보고서기여하기

이 페이지에서 증거를 기여하십시오.

Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.

글로벌 리스크 포럼(Global Risks Forum)AI와 디지털 거버넌스기하급수 기술근거 브리프
AI와 디지털 거버넌스

거버넌스 질문을 포럼에 가져오십시오.

정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.