GRF · AI와 디지털 거버넌스
AI 감독과 책임성
When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.
AI oversight and accountability in seven parts.
AI oversight and accountability: how the risk develops.
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Responsibility diffuses along the chain
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
Records decide what can be reviewed
Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.
Authorities lack capacity
Market surveillance, data protection and sector regulators need technical staff, access to systems and powers to test them. Thin capacity turns rules into self-assessment.
Incidents go unreported
실패는 보고가 아니라 민원, 언론 보도, 소송을 통해 드러납니다. 의무적인 사고 보고와 공유 사고 데이터베이스가 있으면 여러 도입 사례에 걸친 패턴을 파악할 수 있습니다.
공공 알고리즘 등록부.
팀이 이 주제를 따라가는 데 사용할 화면으로, 그 지표, 상태, 결정을 보여 줍니다. 이름은 예시이며 값은 설명용입니다.
공공 알고리즘 등록부
AI 감독 및 책임성 · 알고리즘 등록부 · 2분기
등록된 시스템
| 복지 부정 표시 | 사회적 행위 주체성 | 높음 | 누락 | 부분 |
| 인허가 분류 | 계획 | 제한적 | 완료 | 예 |
| 학교 배치 | 교육 | 높음 | 완료 | 예 |
| 채팅 도우미 | 세무서 | 최소 | 완료 | n/a |
감독 조치
- 시스템
- 복지 부정 표시
- 필수
- 영향 평가, 이의 신청 경로
- 마감
- 73 days
- 권한
- 감독 기구
자동화 결정에 관한 민원
측정되는 것과 그 정확도.
각 지표에는 단위, 주기, 그 뒤의 출처 종류, 값에 붙을 근거 표시가 있습니다. 값은 표시하지 않습니다. 값은 프로그램이 자체 권한으로 제공합니다.
| 지표 | 단위 | 주기 | 출처 유형 | 라벨 |
|---|---|---|---|---|
| Designated AI supervisory or market surveillance authority | yes or no, with legal basis | 변경 시 | National legislation and notifications | 공표 통계 |
| Technical staff in AI-relevant authorities | full-time equivalents | 연간 | 당국 연례 보고서 | 보고됨 |
| Serious incidents reported under AI rules | 부문별 건수 | 연간 | 공공 기록 | 공표 통계 |
| Publicly recorded AI incidents | 피해 유형별 건수 | 월별 | 사고 데이터베이스 | 보고됨 |
| Enforcement actions concerning AI systems | count by authority and type | 연간 | 규제 기관 집행 등록부 | 공표 통계 |
| ISO/IEC 42001 certificates issued | 건수 | 연간 | 인증 기관 기록 | 보고됨 |
문서 비교: 규칙, 유인과 정보.
세 가지 수단 계열을 설정한 적용 범위와 준수율 아래에서 기준선과 나란히 비교하며, 각각 고유한 지연과 도입 속도가 있습니다. 효과 크기는 근거로 대체해야 할 교육용 값입니다. 시나리오: 미래에 대한 명명된 가정이며 예측이 아닙니다.
통제 수단
- 결과의 기준선 추세
- 연 2.0%
- 해당 수단의 적용 범위
- 70%
- 규정 준수
- 75%
- 효과 크기(교육용 값 대비)
- 100%
- 향후 연수
- 20년
판독값
- 기간 말 최대 감소
- 규제
- 기준선 대비 감소분
- 21%
수치, 방법과 출처
| 연도 | 기준선 | 규제 | 경제적 인센티브 | 정보와 역량 |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
방법
- Tools of government Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
- Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
- Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
데이터
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Borders Natural Earth
- Cities Natural Earth
여섯 기둥 전반에 걸쳐, Nexus Consortium 주도
- 실험 연구소
- 내장됨 Foundry의 AI와 디지털 거버넌스
- 시험 장소 Universe의 AI와 디지털 거버넌스
- 성문화된 곳 Standards의 디지털, 사이버, AI
- 게재처 Reports의 AI와 디지털 거버넌스
- 강의 과목 Academy의 기술·디지털 시스템 학부
근거의 출처.
이름이 명시된 공개 데이터셋과 기관 기록으로, 각각 라이선스 등급이 있습니다. 협약에 따른 출처는 그 조건에 따라서만 사용하며 결코 재게시하지 않습니다.
| 출처 | 제공하는 것 | 라이선스 등급 |
|---|---|---|
| OECD.AI 정책 관측소 | National AI policies, governance bodies and the AI Incidents Monitor | 무료, OECD 조건 |
| AI Incident Database | Crowd-sourced records of harms involving AI systems | 공개, 라이선스 확인 필요 |
| European Data Protection Board and national authority decisions | Decisions on automated processing and AI-related complaints | Public, EU and national reuse terms |
| Stanford AI Index Report | Data on AI development, policy and incidents | Free to read, licence to check |
| 규제 기관 연례 보고서 | Staffing, priorities and enforcement of authorities supervising AI | 공공 기록, 당국별 조건 |
위임에서 평가까지, 기둥별로.
문서가 위임에서 평가까지 거치는 단계와 각 단계를 운영하는 기둥, 그리고 당국에 남는 결정. 명시된 예시 값을 사용한 교육용 모델이며 예측이 아닙니다.
- 위임과 문제 설정 관할 당국(프로그램 밖)
관할 당국이 자체 규칙에 따라 문제와 위임을 설정합니다. Howlett, Ramesh와 Perl(2009) - Evidence and system model Foundry
The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2 - Options appraised with scenarios Foundry
Instruments are compared under scenarios, with uncertainty shown. Hood (1983) - 이해관계자와의 연습 유니버스
방안을 이를 시행하고 감당할 이들과 함께 연습에서 시험합니다. OECD(2014), 원칙 3 - Standard or guidance drafted Nexus Standards
What works is codified as a standard or guidance, open to comment. Nexus Standards process - 당국의 결정 관할 당국(프로그램 밖)
당국은 기록에 남은 근거를 바탕으로 프로그램 외부에서 결정합니다. Howlett, Ramesh와 Perl(2009) - Capacity and training Risk Academy
Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2 - 모니터링과 공개 보고 보고서
지표는 출처, 한계와 정정과 함께 발행됩니다. OECD(2014), 원칙 5 - Evaluation and revision Nexus Standards
Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)
방법
- Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- 핵심 리스크 거버넌스 OECD(2014), Recommendation of the Council on the Governance of Critical Risks
- Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
여섯 기둥 전반에 걸쳐, Nexus Consortium 주도
- 실험 연구소
- 내장됨 Foundry의 AI와 디지털 거버넌스
- 시험 장소 Universe의 AI와 디지털 거버넌스
- 성문화된 곳 Standards의 디지털, 사이버, AI
- 게재처 Reports의 AI와 디지털 거버넌스
- 강의 과목 Academy의 기술·디지털 시스템 학부
누가 결정하며 근거는 무엇에 쓰이는지.
AI와 디지털 거버넌스는 근거를 준비합니다. 아래의 결정은 명시된 당국이 자체 규칙에 따라 내리며, 결코 플랫폼이 내리지 않습니다.
| 결정 주체 | 질문 | 이 페이지가 제공하는 근거 |
|---|---|---|
| 입법부 | Which obligations attach to developers, deployers and providers of general-purpose models | 비교 체제와 사고 사례의 근거 |
| Market surveillance and sector regulators | Which systems to inspect and what powers to use | Incident records, risk categories and enforcement practice |
| Boards of deploying organisations | Who owns AI risk and what assurance they require | Governance practice and management system standards |
| 법원 | Who is responsible for harm caused with an AI system | Records and expert evidence presented by parties; the page serves context only |
이 주제가 생산하는 산출물
- 특정 용도에 대한 AI 가치 사슬 전반의 책임 소재 지도
- Comparative notes on AI supervisory authorities and their powers
- Guide to AI incident reporting regimes and databases
- Questions for boards and regulators on AI oversight
AI 감독과 책임성의 거버넌스 방식: 수단, 권한, 공약.
정책 입안자, 외교관이나 개발 기관이 다루는 문서, 위임, 행위자와 책임 체계를 이를 정한 협정을 인용하며 제시합니다. 구조는 명시된 체계를 따릅니다. 표시되는 상태나 진척은 예시이며 기록이 아닙니다.
책임 주기
AI 감독 및 책임에 관한 약속이 약속 단계부터 정정에 이르기까지 어떻게 이행 점검되는지.
- 확정정부위임과 법적 근거를 갖춘 약속.
- 계획주관 기관책임자와 이정표를 갖춘 국가 계획.
- 자원재무부기록된 예산 항목 또는 재원.
- 이행기관과 지방정부계획 대비 이행.
- 보고서통계청합의된 정의에 따라 보고되는 지표.
- 검토입법부, 감사 기관, 시민사회결과와 격차에 대한 독립 검토.
- 정정정부사유와 함께 공표되는 계획 변경 사항.
What institutions ask about oversight.
- Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
- Has the system been validated for this specific use and population, by someone independent of its developers?
- 산출물을 검토하는 사람들이 이 시스템에 진정으로 이견을 제시할 수 있습니까, 아니면 단지 시스템이 제안하는 것을 승인할 뿐입니까?
- 시스템을 사용하기 시작한 후 성능은 어떻게 모니터링되며, 어떤 경우에 중단됩니까?
Why accountability erodes.
Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.
Rubber-stamp review
People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.
여러 손길
Developers, vendors, integrators and users each own part of the system and none owns the outcome.
Changing performance
세상이 변하면 모델은 성능이 저하되며, 모니터링이 없으면 그 저하를 알아차리지 못합니다.
Instruments of oversight.
- 01
Impact assessments
Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.
- 02
독립 검증
Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.
- 03
의미 있는 인적 검토
Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.
- 04
감사 추적 및 모니터링
입력, 출력 및 결정에 대한 로그로, 성능을 시간에 따라 추적합니다. 한계: 누군가 검토할 때에만 유용합니다.
질문과 답변.
What is the difference between an AI provider and a deployer?
Why does logging matter for AI oversight?
Does ISO/IEC 42001 certify that an AI system is safe?
Is having a human in the loop enough?
누가 AI 시스템을 검증해야 하는가?
Does the platform audit AI systems?
What should trigger suspending a system?
이 페이지에서 증거를 기여하십시오.
Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.
- 이메일게이트웨이 GW-GRF이 페이지에서 보내기증거, 정정, 사례, 방법, 검토, 번역 또는 프로필 입력 자료. 이 페이지의 태그가 붙어 도착하므로, 이를 담당하는 편집자가 받게 됩니다.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- 보고서글로벌 리스크 포럼(Global Risks Forum)모든 기여 방법 보기기여 유형, 각각의 검토 방식, 받게 되는 크레디트, 라이선스, 그리고 절대 받지 않는 것.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
거버넌스 질문을 포럼에 가져오십시오.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
법률 문서.
법률 문서 18건 모두 보기
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.