Skip to content

GRF · AI와 디지털 거버넌스

AI 감독과 책임성

When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.

02질문

AI oversight and accountability: how the risk develops.

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

메커니즘

Responsibility diffuses along the chain

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

메커니즘

Records decide what can be reviewed

Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.

메커니즘

Authorities lack capacity

Market surveillance, data protection and sector regulators need technical staff, access to systems and powers to test them. Thin capacity turns rules into self-assessment.

메커니즘

Incidents go unreported

실패는 보고가 아니라 민원, 언론 보도, 소송을 통해 드러납니다. 의무적인 사고 보고와 공유 사고 데이터베이스가 있으면 여러 도입 사례에 걸친 패턴을 파악할 수 있습니다.

03모니터링

공공 알고리즘 등록부.

팀이 이 주제를 따라가는 데 사용할 화면으로, 그 지표, 상태, 결정을 보여 줍니다. 이름은 예시이며 값은 설명용입니다.

공공 알고리즘 등록부

AI 감독 및 책임성 · 알고리즘 등록부 · 2분기

평가를 거치지 않은 고위험 시스템 2개GRF · AI와 디지털 거버넌스

등록된 시스템

복지 부정 표시사회적 행위 주체성높음누락부분
인허가 분류계획제한적완료예
학교 배치교육높음완료예
채팅 도우미세무서최소완료n/a

감독 조치

시스템
복지 부정 표시
필수
영향 평가, 이의 신청 경로
마감
73 days
권한
감독 기구

자동화 결정에 관한 민원

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04지표

측정되는 것과 그 정확도.

각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.

지표단위주기출처 유형라벨
Designated AI supervisory or market surveillance authorityyes or no, with legal basis변경 시National legislation and notifications공표 통계
Technical staff in AI-relevant authoritiesfull-time equivalents연간당국 연례 보고서보고됨
Serious incidents reported under AI rules부문별 건수연간공공 기록공표 통계
Publicly recorded AI incidents피해 유형별 건수월별사고 데이터베이스보고됨
Enforcement actions concerning AI systemscount by authority and type연간규제 기관 집행 등록부공표 통계
ISO/IEC 42001 certificates issued건수연간인증 기관 기록보고됨
05정책 시나리오

문서 비교: 규칙, 유인과 정보.

세 가지 수단 계열을 설정한 적용 범위와 준수율 아래에서 기준선과 나란히 비교하며, 각각 고유한 지연과 도입 속도가 있습니다. 효과 크기는 근거로 대체해야 할 교육용 값입니다. 시나리오: 미래에 대한 명명된 가정이며 예측이 아닙니다.

통제 수단

결과의 기준선 추세
연 2.0%
해당 수단의 적용 범위
70%
규정 준수
75%
효과 크기(교육용 값 대비)
100%
향후 연수
20년

판독값

기간 말 최대 감소
규제
기준선 대비 감소분
21%
수치, 방법과 출처
연도기준선규제경제적 인센티브정보와 역량
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

방법

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

데이터

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
수단 비교: 규칙, 인센티브, 정보. 설명용 교육 모델로, 측정 데이터가 아니라 조절 장치로 설정한 값에 따라 작동합니다. 방법: Tools of government (Hood (1983), The Tools of Government, Macmillan); Carrots, sticks and sermons (Bemelmans-Videc, Rist and Vedung (1998), Transaction); Diffusion of innovations (Rogers (2003), Diffusion of Innovations, Free Press).
06출처

근거의 출처.

이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.

출처제공하는 것라이선스 등급
OECD.AI 정책 관측소National AI policies, governance bodies and the AI Incidents Monitor무료, OECD 조건
AI Incident DatabaseCrowd-sourced records of harms involving AI systems공개, 라이선스 확인 필요
European Data Protection Board and national authority decisionsDecisions on automated processing and AI-related complaintsPublic, EU and national reuse terms
Stanford AI Index ReportData on AI development, policy and incidentsFree to read, licence to check
규제 기관 연례 보고서Staffing, priorities and enforcement of authorities supervising AI공공 기록, 당국별 조건
07구현

위임에서 평가까지, 기둥별로.

문서가 위임에서 평가까지 거치는 단계와 각 단계를 운영하는 기둥, 그리고 당국에 남는 결정. 명시된 예시 값을 사용한 교육용 모델이며 예측이 아닙니다.

  1. 위임과 문제 설정 관할 당국(프로그램 밖)
    관할 당국이 자체 규칙에 따라 문제와 위임을 설정합니다. Howlett, Ramesh와 Perl(2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. 이해관계자와의 연습 유니버스
    방안을 이를 시행하고 감당할 이들과 함께 연습에서 시험합니다. OECD(2014), 원칙 3
  5. Standard or guidance drafted Nexus Standards
    What works is codified as a standard or guidance, open to comment. Nexus Standards process
  6. 당국의 결정 관할 당국(프로그램 밖)
    당국은 기록에 남은 근거를 바탕으로 프로그램 외부에서 결정합니다. Howlett, Ramesh와 Perl(2009)
  7. Capacity and training Risk Academy
    Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2
  8. 모니터링과 공개 보고 보고서
    지표는 출처, 한계와 정정과 함께 발행됩니다. OECD(2014), 원칙 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

방법

  1. Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
  2. 핵심 리스크 거버넌스 OECD(2014), Recommendation of the Council on the Governance of Critical Risks
  3. Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
위임에서 평가까지, 기둥별로: 기록된 단계와 각 단계의 기둥이며, 출처는 각 단계에 인용된 대로입니다.
08결정

누가 결정하며 근거는 무엇에 쓰이는지.

AI와 디지털 거버넌스는 근거를 준비합니다. 아래의 결정은 명시된 당국이 자체 규칙에 따라 내리며, 결코 플랫폼이 내리지 않습니다.

결정 주체질문이 페이지가 제공하는 근거
입법부Which obligations attach to developers, deployers and providers of general-purpose models비교 체제와 사고 사례의 근거
Market surveillance and sector regulatorsWhich systems to inspect and what powers to useIncident records, risk categories and enforcement practice
Boards of deploying organisationsWho owns AI risk and what assurance they requireGovernance practice and management system standards
법원Who is responsible for harm caused with an AI systemRecords and expert evidence presented by parties; the page serves context only

이 주제가 생산하는 산출물

  • 특정 용도에 대한 AI 가치 사슬 전반의 책임 소재 지도
  • Comparative notes on AI supervisory authorities and their powers
  • Guide to AI incident reporting regimes and databases
  • Questions for boards and regulators on AI oversight
09수단과 약속

AI 감독과 책임성의 거버넌스 방식: 수단, 권한, 공약.

정책 입안자, 외교관이나 개발 기관이 다루는 문서, 위임, 행위자와 책임 체계를 이를 정한 협정을 인용하며 제시합니다. 구조는 명시된 체계를 따릅니다. 표시되는 상태나 진척은 예시이며 기록이 아닙니다.

책임 주기

AI 감독 및 책임에 관한 약속이 약속 단계부터 정정에 이르기까지 어떻게 이행 점검되는지.

  1. 확정정부위임과 법적 근거를 갖춘 약속.
  2. 계획주관 기관책임자와 이정표를 갖춘 국가 계획.
  3. 자원재무부기록된 예산 항목 또는 재원.
  4. 이행기관과 지방정부계획 대비 이행.
  5. 보고서통계청합의된 정의에 따라 보고되는 지표.
  6. 검토입법부, 감사 기관, 시민사회결과와 격차에 대한 독립 검토.
  7. 정정정부사유와 함께 공표되는 계획 변경 사항.
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
재난위험경감을 위한 센다이 프레임워크 · UNDRR파리협정 · UNFCCC2030 의제와 지속가능발전목표 · 유엔국제보건규칙 · WHO
10핵심 질문

What institutions ask about oversight.

  • Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
  • Has the system been validated for this specific use and population, by someone independent of its developers?
  • 산출물을 검토하는 사람들이 이 시스템에 진정으로 이견을 제시할 수 있습니까, 아니면 단지 시스템이 제안하는 것을 승인할 뿐입니까?
  • 시스템을 사용하기 시작한 후 성능은 어떻게 모니터링되며, 어떤 경우에 중단됩니까?
11메커니즘

Why accountability erodes.

Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.

Automation bias

Rubber-stamp review

People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.

Diffusion

여러 손길

Developers, vendors, integrators and users each own part of the system and none owns the outcome.

드리프트

Changing performance

세상이 변하면 모델은 성능이 저하되며, 모니터링이 없으면 그 저하를 알아차리지 못합니다.

12방법과 한계

Instruments of oversight.

  1. 01

    Impact assessments

    Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.

  2. 02

    독립 검증

    Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.

  3. 03

    의미 있는 인적 검토

    Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.

  4. 04

    감사 추적 및 모니터링

    입력, 출력 및 결정에 대한 로그로, 성능을 시간에 따라 추적합니다. 한계: 누군가 검토할 때에만 유용합니다.

13방법

연구되는 방식과 방법이 말할 수 없는 것.

  1. AI 평가 및 보증 공학제3자 감사 범위 · 공공 시스템의 공정성 시험 · 배치 후 모니터링이곳에서의 적용
  2. 정책, 제도, 의사결정 과학AI 규제 체계 비교 · 가치사슬 책임성 매핑 · 포럼과 권한 매핑이곳에서의 적용
  3. 인공지능과 머신러닝배치 시 모형이 실패하는 방식 · 모형 문서 읽기 · 에이전트 아키텍처 설명이곳에서의 적용
14질문

질문과 답변.

What is the difference between an AI provider and a deployer?
In the EU AI Act, a provider develops an AI system or model and places it on the market; a deployer uses it under its authority. Each carries different obligations.
Why does logging matter for AI oversight?
Logs and documentation let auditors, regulators and courts reconstruct how a system behaved. Without them, accountability depends on what the operator chooses to disclose.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Is having a human in the loop enough?
Not by itself. Review is meaningful only if the reviewer has the authority, time, information and competence to disagree with the system and does so when warranted.
누가 AI 시스템을 검증해야 하는가?
Someone independent of those who developed or sold it, with access to relevant data and the expertise to test it for the intended use.
Does the platform audit AI systems?
No. It compares governance practices and does not test or certify any system.
What should trigger suspending a system?
Institutions set their own triggers, typically including evidence of error rates above an agreed level, unexplained shifts in outputs or credible complaints of harm.
보고서기여하기

이 페이지에서 증거를 기여하십시오.

Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.

글로벌 리스크 포럼(Global Risks Forum)AI와 디지털 거버넌스기하급수 기술근거 브리프
AI와 디지털 거버넌스

거버넌스 질문을 포럼에 가져오십시오.

정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.