How models fail in deployment
Distribution shift, spurious correlations and feedback loops are explained with public case records, so oversight bodies know what to ask about a system’s behaviour after deployment.
GRF · AI와 디지털 거버넌스
AI와 디지털 거버넌스를 위한 인공지능과 머신러닝
Artificial intelligence and machine learning are the 시스템 this field governs. On this platform the methods are explained so that oversight bodies, legislators and the public understand what models do, how they fail and what evidence about them can be trusted.
01목차
Artificial intelligence and machine learning for AI and digital governance in five parts.
02신청서
인공지능과 머신러닝이 이곳에서 하는 일.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence, digital public infrastructure and cyber and digital resilience, machine learning can scale detection and forecasting across interconnected 시스템. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on STEM 공유 자원.
Reading model documentation
Model cards, data sheets and system cards are read for what they disclose and omit about training data, evaluation and limits.
Agent architectures explained
How agents chain model calls, tools and memory is described, so that permission and liability questions can be placed at the right point.
03모니터링
모형 학습.
팀이 이 방법을 따라가는 데 사용할 화면으로, 그 지표, 상태, 결정을 보여 줍니다. 이름은 예시이며 값은 설명용입니다.
모형 학습
AI and digital governance · Artificial intelligence · Run R-6213
한 단면에서의 드리프트GRF · AI와 디지털 거버넌스
단면별 평가
| 전체 | 0.85 | 0.04 | 4407 | 통과 |
| 지역 A | 0.78 | 0.04 | 1829 | 검토 |
| 지역 B | 0.65 | 0.07 | 444 | 검토 |
| 희소 범주 | 0.74 | 0.14 | 124 | 기준 미달 |
방법 카드
- 방법
- 인공지능과 머신러닝
- 분할
- 시간 기반, 누출 없음
- 특징
- 55
- 라벨
- 모델 추정
모집단 안정성
| 데이터 | 역할 | 라벨 |
|---|---|---|
| Model and system cards | Disclosed capabilities and limits | 신고됨 |
| Benchmark results | Comparative capability | 보고됨 |
| Incident records | Observed failures | 보고됨 |
| Research literature | 방법과 근거 | 보고됨 |
05정책 시나리오
문서 비교: 규칙, 유인과 정보.
세 가지 수단 계열을 설정한 적용 범위와 준수율 아래에서 기준선과 나란히 비교하며, 각각 고유한 지연과 도입 속도가 있습니다. 효과 크기는 근거로 대체해야 할 교육용 값입니다. 시나리오: 미래에 대한 명명된 가정이며 예측이 아닙니다.
통제 수단
- 결과의 기준선 추세
- 연 2.0%
- 해당 수단의 적용 범위
- 70%
- 규정 준수
- 75%
- 효과 크기(교육용 값 대비)
- 100%
- 향후 연수
- 20년
판독값
- 기간 말 최대 감소
- 규제
- 기준선 대비 감소분
- 21%
수치, 방법과 출처
| 연도 | 기준선 | 규제 | 경제적 인센티브 | 정보와 역량 |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
방법
- 정부의 정책 수단 Hood (1983), The Tools of Government, Macmillan
- 당근, 채찍, 설교 Bemelmans-Videc, Rist and Vedung (1998), Transaction
- 혁신의 확산 Rogers (2003), Diffusion of Innovations, Free Press
- 불확실성 팬 차트(매개변수 몬테카를로) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- 단일 요인 민감도(토네이도) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
데이터
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- 국경 Natural Earth
- 도시 Natural Earth
여섯 기둥 전반에 걸쳐, Nexus Consortium 주도
- 실험 연구소
- 내장됨 Foundry의 AI와 디지털 거버넌스
- 시험 장소 Universe의 AI와 디지털 거버넌스
- 성문화된 곳 Standards의 디지털, 사이버, AI
- 게재처 Reports의 AI와 디지털 거버넌스
- 강의 과목 Academy의 기술·디지털 시스템 학부
06검증
결과가 점검되는 방식.
모형은 공간, 시간, 집단 구조를 고려한 보류 데이터로 평가됩니다. 정확도와 함께 강건성, 보정, 공정성을 시험합니다.
| 점검 | 수행 방식 |
|---|---|
| Claims against evidence | Capability claims are checked against published evaluations |
| Context of benchmarks | Benchmark results are read with their task and data limits stated |
| Deployment conditions | Behaviour is described for the conditions in which the system is used |
배치 조건이 학습 데이터와 다르면 성능이 떨어집니다. 모형은 편향을 내재할 수 있으며 희귀 사건에서 명확한 경고 없이 실패할 수 있습니다.
07구현
위임에서 평가까지, 기둥별로.
문서가 위임에서 평가까지 거치는 단계와 각 단계를 운영하는 기둥, 그리고 당국에 남는 결정. 명시된 예시 값을 사용한 교육용 모델이며 예측이 아닙니다.
- 위임과 문제 설정 관할 당국(프로그램 밖)
관할 당국이 자체 규칙에 따라 문제와 위임을 설정합니다. Howlett, Ramesh와 Perl(2009) - 근거와 시스템 모델 Foundry
시스템을 그 피드백, 데이터, 명시된 한계와 함께 모델링합니다. OECD (2014), 원칙 2 - 시나리오로 대안 평가 Foundry
수단을 시나리오별로 비교하고 불확실성을 표시합니다. Hood (1983) - 이해관계자와의 연습 유니버스
방안을 이를 시행하고 감당할 이들과 함께 연습에서 시험합니다. OECD(2014), 원칙 3 - 표준 또는 지침 초안 작성 Nexus Standards
효과가 있는 것은 표준이나 지침으로 성문화되어 의견 수렴에 공개됩니다. Nexus Standards 절차 - 당국의 결정 관할 당국(프로그램 밖)
당국은 기록에 남은 근거를 바탕으로 프로그램 외부에서 결정합니다. Howlett, Ramesh와 Perl(2009) - 역량과 교육 Risk Academy
이행하는 이들이 결정된 문서와 그 데이터에 대해 교육을 받습니다. 센다이 프레임워크(2015), 우선순위 2 - 모니터링과 공개 보고 보고서
지표는 출처, 한계와 정정과 함께 발행됩니다. OECD(2014), 원칙 5 - 평가와 수정 Nexus Standards
결과가 표준과 모델로 돌아가며 순환이 닫힙니다. Howlett, Ramesh와 Perl(2009)
방법
- 정책 주기 Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- 핵심 리스크 거버넌스 OECD(2014), Recommendation of the Council on the Governance of Critical Risks
- 유향 그래프의 계층적 그리기 Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
여섯 기둥 전반에 걸쳐, Nexus Consortium 주도
- 실험 연구소
- 내장됨 Foundry의 AI와 디지털 거버넌스
- 시험 장소 Universe의 AI와 디지털 거버넌스
- 성문화된 곳 Standards의 디지털, 사이버, AI
- 게재처 Reports의 AI와 디지털 거버넌스
- 강의 과목 Academy의 기술·디지털 시스템 학부
08연결
이 방법에 의존하는 주제.
09수단과 약속
수단, 권한, 약속.
정책 입안자, 외교관이나 개발 기관이 다루는 문서, 위임, 행위자와 책임 체계를 이를 정한 협정을 인용하며 제시합니다. 구조는 명시된 체계를 따릅니다. 표시되는 상태나 진척은 예시이며 기록이 아닙니다.
정책 수단 매트릭스
The kinds of instrument available on Artificial intelligence and machine learning for AI and digital governance, by level of government and cooperation.
| 수단 유형 | 지방 | 국가 | 지역 | 글로벌 |
|---|---|---|---|---|
| 규제 | 구역 설정, 건축 규정 | 법률, 표준, 인허가 | 조화된 규칙 | 협약과 조약 |
| 경제 | 지방 부담금, 보조금 | 예산 항목, 세금, 보험 제도 | 리스크 풀, 지역 기금 | 재원 조달 체계 |
| 정보 | 지역 경보 | 공시, 조기 경보, 통계 | 데이터 공유 체계 | 글로벌 모니터링과 보고 |
| 기관 | 지역 위원회 | 주관 기관, 조정 위원회 | 지역 기구와 사무국 | 다자 위임 |
| 협력적 | 공동체 협정 | 파트너십 협약 | 양해각서와 공동 프로그램 | 협정과 공동 약속 |
재난위험경감을 위한 센다이 프레임워크 · UNDRR파리협정 · UNFCCC2030 의제와 지속가능발전목표 · 유엔국제보건규칙 · WHO
11연결됨
이 페이지가 컨소시엄 전체에서 어디로 이어지는지.
12질문
질문과 답변.
이 분야에서 인공지능과 머신러닝의 한계는 무엇입니까?
배치 조건이 학습 데이터와 다르면 성능이 떨어집니다. 모형은 편향을 내재할 수 있으며 희귀 사건에서 명확한 경고 없이 실패할 수 있습니다.
결과는 어떻게 점검됩니까?
모형은 공간, 시간, 집단 구조를 고려한 보류 데이터로 평가됩니다. 정확도와 함께 강건성, 보정, 공정성을 시험합니다.
이 페이지의 값은 실제입니까?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
이 방법은 다른 어디에 적용됩니까?
사회를 움직이는 정본 방법 페이지 는 이를 적용하는 모든 플랫폼을 나열합니다.
보고서기여하기
이 페이지에서 증거를 기여하십시오.
보고서 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
글로벌 리스크 포럼(Global Risks Forum)AI와 디지털 거버넌스기하급수 기술근거 브리프
- 이메일게이트웨이 GW-GRF이 페이지에서 보내기증거, 정정, 사례, 방법, 검토, 번역 또는 프로필 입력 자료. 이 페이지의 태그가 붙어 도착하므로, 이를 담당하는 편집자가 받게 됩니다.
- Zenodo개방형 예치기탁하고 커뮤니티에 제출하기ORCID iD로 Zenodo에 직접 기록을 게시한 뒤, 그곳의 Reports 커뮤니티에 제출하십시오. 큐레이터가 검토하며, DOI는 귀하의 것으로 남습니다.
- 보고서글로벌 리스크 포럼(Global Risks Forum)모든 기여 방법 보기기여 유형, 각각의 검토 방식, 받게 되는 크레디트, 라이선스, 그리고 절대 받지 않는 것.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
AI와 디지털 거버넌스
거버넌스 질문을 포럼에 가져오십시오.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
법률
법률 문서.
법률 문서 18건 모두 보기
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.