Third-party audit scope
Audit engagements are compared for access, independence and what they test, so buyers and regulators know what an audit opinion covers.
GRF · AI와 디지털 거버넌스
AI와 디지털 거버넌스를 위한 AI 평가 및 보증 공학
AI assurance is the set of practices that build justified confidence in an AI system: evaluation, audit, red-teaming, monitoring and conformity assessment. In digital governance it decides what evidence regulators, buyers and courts can rely on, and who is independent enough to produce it.
01등록
주요 사실.
방법 기록STEM 방법
- 방법AI 평가 및 보증 공학
- 관리자인공지능과 자율 시스템
- 적용 분야AI와 디지털 거버넌스
- 데이터입력 4개
- 점검검증 단계 3개
- 정본 페이지STEM 공유지
02신청서
What AI evaluation and assurance engineering does here.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI 시스템. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence, digital public infrastructure and cyber and digital resilience, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on STEM 공유 자원.
Fairness testing in public systems
Outcome rates across groups are compared and proxy effects tested, with the fairness criterion chosen by the decision maker stated.
Post-deployment monitoring
Monitoring plans track drift, complaints and incidents after deployment, with thresholds that trigger review or withdrawal.
03정책 시나리오
문서 비교: 규칙, 유인과 정보.
세 가지 수단 계열을 설정한 적용 범위와 준수율 아래에서 기준선과 나란히 비교하며, 각각 고유한 지연과 도입 속도가 있습니다. 효과 크기는 근거로 대체해야 할 교육용 값입니다. 시나리오: 미래에 대한 명명된 가정이며 예측이 아닙니다.
통제 수단
- 결과의 기준선 추세
- 연 2.0%
- 해당 수단의 적용 범위
- 70%
- 규정 준수
- 75%
- 효과 크기(교육용 값 대비)
- 100%
- 향후 연수
- 20년
판독값
- 기간 말 최대 감소
- 규제
- 기준선 대비 감소분
- 21%
수치, 방법과 출처
| 연도 | 기준선 | 규제 | 경제적 인센티브 | 정보와 역량 |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
방법
- 정부의 정책 수단 Hood (1983), The Tools of Government, Macmillan
- 당근, 채찍, 설교 Bemelmans-Videc, Rist and Vedung (1998), Transaction
- 혁신의 확산 Rogers (2003), Diffusion of Innovations, Free Press
- 불확실성 팬 차트(매개변수 몬테카를로) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- 단일 요인 민감도(토네이도) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
데이터
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- 국경 Natural Earth
- 도시 Natural Earth
여섯 기둥 전반에 걸쳐, Nexus Consortium 주도
- 실험 연구소
- 내장됨 Foundry의 AI와 디지털 거버넌스
- 시험 장소 Universe의 AI와 디지털 거버넌스
- 성문화된 곳 Standards의 디지털, 사이버, AI
- 게재처 Reports의 AI와 디지털 거버넌스
- 강의 과목 Academy의 기술·디지털 시스템 학부
04데이터
방법이 사용하는 입력.
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in 출처 등록부.
| 데이터 | 역할 | 라벨 |
|---|---|---|
| Audit and evaluation reports | Assurance evidence | 보고됨 |
| Outcome and appeal data | Real-world performance | 관측 |
| Conformity assessment records | Regulatory compliance | 신고됨 |
| Incident reports | Failures in use | 보고됨 |
05구현
위임에서 평가까지, 기둥별로.
문서가 위임에서 평가까지 거치는 단계와 각 단계를 운영하는 기둥, 그리고 당국에 남는 결정. 명시된 예시 값을 사용한 교육용 모델이며 예측이 아닙니다.
- 위임과 문제 설정 관할 당국(프로그램 밖)
관할 당국이 자체 규칙에 따라 문제와 위임을 설정합니다. Howlett, Ramesh와 Perl(2009) - 근거와 시스템 모델 Foundry
시스템을 그 피드백, 데이터, 명시된 한계와 함께 모델링합니다. OECD (2014), 원칙 2 - 시나리오로 대안 평가 Foundry
수단을 시나리오별로 비교하고 불확실성을 표시합니다. Hood (1983) - 이해관계자와의 연습 유니버스
방안을 이를 시행하고 감당할 이들과 함께 연습에서 시험합니다. OECD(2014), 원칙 3 - 표준 또는 지침 초안 작성 Nexus Standards
효과가 있는 것은 표준이나 지침으로 성문화되어 의견 수렴에 공개됩니다. Nexus Standards 절차 - 당국의 결정 관할 당국(프로그램 밖)
당국은 기록에 남은 근거를 바탕으로 프로그램 외부에서 결정합니다. Howlett, Ramesh와 Perl(2009) - 역량과 교육 Risk Academy
이행하는 이들이 결정된 문서와 그 데이터에 대해 교육을 받습니다. 센다이 프레임워크(2015), 우선순위 2 - 모니터링과 공개 보고 보고서
지표는 출처, 한계와 정정과 함께 발행됩니다. OECD(2014), 원칙 5 - 평가와 수정 Nexus Standards
결과가 표준과 모델로 돌아가며 순환이 닫힙니다. Howlett, Ramesh와 Perl(2009)
방법
- 정책 주기 Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- 핵심 리스크 거버넌스 OECD(2014), Recommendation of the Council on the Governance of Critical Risks
- 유향 그래프의 계층적 그리기 Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
여섯 기둥 전반에 걸쳐, Nexus Consortium 주도
- 실험 연구소
- 내장됨 Foundry의 AI와 디지털 거버넌스
- 시험 장소 Universe의 AI와 디지털 거버넌스
- 성문화된 곳 Standards의 디지털, 사이버, AI
- 게재처 Reports의 AI와 디지털 거버넌스
- 강의 과목 Academy의 기술·디지털 시스템 학부
06검증
결과가 점검되는 방식.
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| 점검 | 수행 방식 |
|---|---|
| 독립성 | The assessor’s relationship to the developer and deployer is stated |
| 이용 | The level of access to model, data and documentation is recorded |
| Scope stated | What the assurance covers and excludes is stated beside its conclusion |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
07수단과 약속
수단, 권한, 약속.
정책 입안자, 외교관이나 개발 기관이 다루는 문서, 위임, 행위자와 책임 체계를 이를 정한 협정을 인용하며 제시합니다. 구조는 명시된 체계를 따릅니다. 표시되는 상태나 진척은 예시이며 기록이 아닙니다.
정책 수단 매트릭스
The kinds of instrument available on AI evaluation and assurance engineering for AI and digital governance, by level of government and cooperation.
| 수단 유형 | 지방 | 국가 | 지역 | 글로벌 |
|---|---|---|---|---|
| 규제 | 구역 설정, 건축 규정 | 법률, 표준, 인허가 | 조화된 규칙 | 협약과 조약 |
| 경제 | 지방 부담금, 보조금 | 예산 항목, 세금, 보험 제도 | 리스크 풀, 지역 기금 | 재원 조달 체계 |
| 정보 | 지역 경보 | 공시, 조기 경보, 통계 | 데이터 공유 체계 | 글로벌 모니터링과 보고 |
| 기관 | 지역 위원회 | 주관 기관, 조정 위원회 | 지역 기구와 사무국 | 다자 위임 |
| 협력적 | 공동체 협정 | 파트너십 협약 | 양해각서와 공동 프로그램 | 협정과 공동 약속 |
재난위험경감을 위한 센다이 프레임워크 · UNDRR파리협정 · UNFCCC2030 의제와 지속가능발전목표 · 유엔국제보건규칙 · WHO
08연결
이 방법에 의존하는 주제.
09스튜어드십
방법을 유지하는 주체.
인공지능과 자율 시스템 stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
10연결됨
이 페이지가 컨소시엄 전체에서 어디로 이어지는지.
11질문
질문과 답변.
What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
결과는 어떻게 점검됩니까?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
이 페이지의 값은 실제입니까?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
이 방법은 다른 어디에 적용됩니까?
사회를 움직이는 정본 방법 페이지 는 이를 적용하는 모든 플랫폼을 나열합니다.
보고서기여하기
이 페이지에서 증거를 기여하십시오.
보고서 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
글로벌 리스크 포럼(Global Risks Forum)AI와 디지털 거버넌스기하급수 기술근거 브리프
- 이메일게이트웨이 GW-GRF이 페이지에서 보내기증거, 정정, 사례, 방법, 검토, 번역 또는 프로필 입력 자료. 이 페이지의 태그가 붙어 도착하므로, 이를 담당하는 편집자가 받게 됩니다.
- Zenodo개방형 예치기탁하고 커뮤니티에 제출하기ORCID iD로 Zenodo에 직접 기록을 게시한 뒤, 그곳의 Reports 커뮤니티에 제출하십시오. 큐레이터가 검토하며, DOI는 귀하의 것으로 남습니다.
- 보고서글로벌 리스크 포럼(Global Risks Forum)모든 기여 방법 보기기여 유형, 각각의 검토 방식, 받게 되는 크레디트, 라이선스, 그리고 절대 받지 않는 것.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
AI와 디지털 거버넌스
거버넌스 질문을 포럼에 가져오십시오.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
법률
법률 문서.
법률 문서 18건 모두 보기
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.