How models fail in deployment
Distribution shift, spurious correlations and feedback loops are explained with public case records, so oversight bodies know what to ask about a system’s behaviour after deployment.
GRF · زیرەکی دەستکرد و حوکمڕانیی دیجیتاڵ
Artificial intelligence and machine learning for AI and digital governance
Artificial intelligence and machine learning are the سیستەمە this field governs. On this platform the methods are explained so that oversight bodies, legislators and the public understand what models do, how they fail and what evidence about them can be trusted.
01ناوەڕۆک
Artificial intelligence and machine learning for AI and digital governance in five parts.
02بەکارهێنان
What artificial intelligence and machine learning does here.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence, digital public infrastructure and cyber and digital resilience, machine learning can scale detection and forecasting across interconnected سیستەمە. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on the STEM Commons.
Reading model documentation
Model cards, data sheets and system cards are read for what they disclose and omit about training data, evaluation and limits.
Agent architectures explained
How agents chain model calls, tools and memory is described, so that permission and liability questions can be placed at the right point.
03چاودێری
Model training.
The screen a team would use to follow this method: its measures, states and decisions. Names are examples and values are illustrative.
Model training
AI and digital governance · Artificial intelligence · Run R-6213
Drift on one sliceGRF · زیرەکی دەستکرد و حوکمڕانیی دیجیتاڵ
Evaluation by slice
| هەموو | 0.85 | 0.04 | 4407 | تێپەڕین |
| Region A | 0.78 | 0.04 | 1829 | پێداچوونەوە |
| Region B | 0.65 | 0.07 | 444 | پێداچوونەوە |
| Rare class | 0.74 | 0.14 | 124 | Below bar |
Method card
- ڕێگا
- زیرەکی دەستکرد و فێربوونی ماشێن
- Split
- time-based, no leakage
- Features
- 55
- ناونیشان
- مۆدێلکراو
Population stability
04داتا
What the method consumes.
Datasets and records used by artificial intelligence and machine learning on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| داتا | ڕۆڵ | ناونیشان |
|---|---|---|
| Model and system cards | Disclosed capabilities and limits | DECLARED |
| Benchmark results | Comparative capability | REPORTED |
| Incident records | Observed failures | REPORTED |
| Research literature | ڕێگا و بەڵگە | REPORTED |
05سیناریۆ سیاسییەکان
بەراوردکردنی ئامرازەکان: یاسا، هاندەر و زانیاری.
سێ خێزانی ئامراز پێکەوە بەرامبەر بە هێڵی بنەڕەت، هەریەکەیان بە دواکەوتن و خێرایی پەسەندکردنی خۆیەوە، لەژێر ئەو ڕووپۆشکردن و پابەندبوونەی تۆ دیاری دەکەیت؛ قەبارەی کاریگەرییەکان بەهای فێرکارین کە دەبێت بە بەڵگە بگۆڕدرێن. سیناریۆ: گریمانەی ناودار دەربارەی داهاتوو، نەک پێشبینی.
کۆنترۆڵەکان
- ڕەوتی بنەڕەتیی دەرئەنجامەکە
- 2.0% لە ساڵێکدا
- ڕووپۆشی ئامرازەکە
- 70%
- پابەندبوون بە یاسا
- 75%
- قەبارەی کاریگەری، بەرامبەر بە بەهای فێرکاری
- 100%
- ساڵەکانی داهاتوو
- 20 ساڵ
خوێندنەوەکان
- گەورەترین کەمبوونەوە لە ئاسۆدا
- ڕێکخستن
- کەمبوونەوەی بەرامبەر بە هێڵی بنەڕەت
- 21%
ژمارە، ڕێگا و سەرچاوەکان
| ساڵ | بنەڕەت | ڕێکخستن | هاندەری ئابووری | زانیاری و توانا |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
ڕێگاکان
- ئامرازەکانی حکومەت Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
- بڵاوبوونەوەی داهێنانەکان Rogers (2003), Diffusion of Innovations, Free Press
- پەنجەی نادڵنیایی (مۆنتی کارلۆی پارامیتەر) Spiegelhalter, Pearson و Short (2011)، Visualising uncertainty about the future، Science 333
- هەستیاریی یەک-یەک (تۆرناد) Saltelli و ئەوانی دیکە (2008)، Global Sensitivity Analysis: The Primer، Wiley
داتا
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- سنوورەکان Natural Earth
- شارەکان Natural Earth
لە ناو شەش کۆڵەکەکەدا، بە سەرپەرشتیی Nexus Consortium
- تاقیکردنەوەکان Labs
- تێدا دروستکراوە زیرەکی دەستکرد و حوکمڕانیی دیجیتاڵ لە Foundry
- تاقیکراوەتەوە لە زیرەکی دەستکرد و حوکمڕانیی دیجیتاڵ لە Universe
- کۆدکراوە لە دیجیتاڵ، سایبەر و AI لە Standards
- بڵاوکراوەتەوە لە زیرەکی دەستکرد و حوکمڕانیی دیجیتاڵ لە Reports
- فێرکراو لە کۆلێژی تەکنەلۆجیا و سیستەمە دیجیتاڵییەکان لە Academy
06پشتڕاستکردنەوە
How results are checked.
Models are evaluated on held-out data that respects spatial, temporal and group structure. Robustness, calibration and fairness are tested alongside accuracy.
| بپشکنە | How it is done |
|---|---|
| Claims against evidence | Capability claims are checked against published evaluations |
| Context of benchmarks | Benchmark results are read with their task and data limits stated |
| Deployment conditions | Behaviour is described for the conditions in which the system is used |
Performance degrades when deployment conditions differ from training data. Models can encode biases and fail without clear warning on rare events.
07جێبەجێکردن
لە ڕاسپاردەوە تا هەڵسەنگاندن، بە پێی کۆڵەکە.
ئەو هەنگاوانەی ئامرازێک لە ڕاسپاردەوە تا هەڵسەنگاندن دەیگرێتەبەر، هەریەکەیان لەگەڵ ئەو کۆڵەکەیەی بەڕێوەی دەبات، و ئەو بڕیارانەی لای دەسەڵات دەمێننەوە. مۆدێلێکی فێرکارییە بە بەهای نموونەیی دیاریکراو، نەک پێشبینی.
- ڕاسپاردە و داڕشتنی کێشە دەسەڵاتی تایبەتمەند (دەرەوەی پڕۆگرام)
دەسەڵاتێکی بەرپرس کێشەکە و ڕاسپاردەکە بە یاساکانی خۆی دادەڕێژێت. Howlett, Ramesh and Perl (2009) - بەڵگە و مۆدێلی سیستەم Foundry
سیستەمەکە لەگەڵ فیدباک، داتا و سنوورە ناوبراوەکانی مۆدێل دەکرێت. OECD (2014), principle 2 - هەڵبژاردەکان بە سیناریۆ هەڵدەسەنگێنرێن Foundry
ئامرازەکان لەژێر سیناریۆکاندا بەراورد دەکرێن، نادڵنیایی نیشان دەدرێت. Hood (1983) - ڕاهێنان لەگەڵ لایەنە پەیوەندیدارەکان Universe
هەڵبژاردەکان لە ڕاهێنانێکدا تاقی دەکرێنەوە لەگەڵ ئەوانەی جێبەجێیان دەکەن و بارگرانییان دەگرنە ئەستۆ. OECD (2014), principle 3 - ستاندارد یان ڕێنمایی داڕێژراوە Nexus Standards
ئەوەی کار دەکات وەک ستاندارد یان ڕێنمایی کۆد دەکرێت، کراوە بۆ سەرنج. Nexus Standards process - بڕیاری دەسەڵات دەسەڵاتی تایبەتمەند (دەرەوەی پڕۆگرام)
دەسەڵات لە دەرەوەی پڕۆگرام بڕیار دەدات، بە بەڵگەی لەسەر تۆمار. Howlett, Ramesh and Perl (2009) - توانا و ڕاهێنان Risk Academy
ئەوانەی جێبەجێی دەکەن لەسەر ئامرازە بڕیاردراوەکە و داتاکەی ڕادەهێنرێن. Sendai Framework (2015), priority 2 - چاودێری و ڕاپۆرتی گشتی Reports
نیشاندەرەکان لەگەڵ سەرچاوە، سنوور و ڕاستکردنەوەکان بڵاو دەکرێنەوە. OECD (2014), principle 5 - هەڵسەنگاندن و پێداچوونەوە Nexus Standards
ئەنجامەکان دەگەڕێنەوە بۆ ستانداردەکە و مۆدێلەکە: خولەکە دادەخرێت. Howlett, Ramesh and Perl (2009)
ڕێگاکان
- خولی سیاسەت Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- حوکمڕانیی مەترسییە هەستیارەکان OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
لە ناو شەش کۆڵەکەکەدا، بە سەرپەرشتیی Nexus Consortium
- تاقیکردنەوەکان Labs
- تێدا دروستکراوە زیرەکی دەستکرد و حوکمڕانیی دیجیتاڵ لە Foundry
- تاقیکراوەتەوە لە زیرەکی دەستکرد و حوکمڕانیی دیجیتاڵ لە Universe
- کۆدکراوە لە دیجیتاڵ، سایبەر و AI لە Standards
- بڵاوکراوەتەوە لە زیرەکی دەستکرد و حوکمڕانیی دیجیتاڵ لە Reports
- فێرکراو لە کۆلێژی تەکنەلۆجیا و سیستەمە دیجیتاڵییەکان لە Academy
09ئامراز و پابەندبوونەکان
Instruments, mandates and commitments.
ئامراز، ڕاسپاردە، لایەنە کارا و ڕێکخستنەکانی بەرپرسیارێتی کە سیاسەتمەدارێک، دیپلوماتێک یان دامەزراوەیەکی گەشەپێدان لەگەڵیان کار دەکات، بە ناوهێنانی ئەو ڕێکەوتنانەی دایاندەنێن. پێکهاتەکان چوارچێوە ناوبراوەکان دەگرنەبەر. هەر دۆخ یان پێشکەوتنێک کێشراوە نموونەییە، نەک تۆمار.
ماتریکسی ئامرازە سیاسییەکان
The kinds of instrument available on Artificial intelligence and machine learning for AI and digital governance, by level of government and cooperation.
| جۆری ئامراز | خۆجێیی | نیشتمانی | هەرێمی | جیهانی |
|---|---|---|---|---|
| ڕێکخستنی | دابەشکردنی ناوچەکان، یاساکانی بیناسازی | یاسا، ستاندارد، مۆڵەتپێدان | یاسا هاوتاکراوەکان | ڕێکەوتننامە و پەیماننامەکان |
| ئابووری | سەرانەی خۆجێیی، پشکی یارمەتی | هێڵی بودجە، باج، پلانی بیمە | کۆگای مەترسی، سندوقە هەرێمییەکان | میکانیزمەکانی دابینکردنی دارایی |
| زانیاری | ئاگادارکردنەوە خۆجێییەکان | ئاشکراکردن، ئاگادارکردنەوەی پێشوەخت، ئامار | ڕێکخستنەکانی هاوبەشکردنی داتا | چاودێری و ڕاپۆرتکردنی جیهانی |
| دامەزراوەیی | لیژنە ناوخۆییەکان | دامەزراوە سەرکردەکان، ئەنجومەنەکانی هەماهەنگی | لەشە هەرێمییەکان و سکرتاریەتەکان | ڕاسپاردە فرەلایەنەکان |
| هاوکاری | ڕێککەوتنە کۆمەڵگەییەکان | پەیماننامەکانی هاوبەشی | یادداشت و پڕۆگرامی هاوبەش | ڕێکەوتن و پابەندبوونی هاوبەش |
چوارچێوەی سێندای بۆ کەمکردنەوەی مەترسیی کارەسات · UNDRRڕێکەوتننامەی پاریس · UNFCCCئەجێندای 2030 و ئامانجەکانی گەشەپێدانی بەردەوام · نەتەوە یەکگرتووەکانڕێساکانی تەندروستیی نێودەوڵەتی · WHO
10Stewardship
Who maintains the method.
زیرەکی دەستکرد و سیستەمە خۆسەرەکان stewards artificial intelligence and machine learning for the Consortium and reviews how it is applied across platforms.
11پەیوەست
ئەو شوێنانەی ئەم لاپەڕەیە لە ناو کۆنسۆرتیۆم بۆیان دەبات.
12پرسیارەکان
پرسیار و وەڵام.
What are the limits of artificial intelligence and machine learning in this field?
Performance degrades when deployment conditions differ from training data. Models can encode biases and fail without clear warning on rare events.
How are results checked?
Models are evaluated on held-out data that respects spatial, temporal and group structure. Robustness, calibration and fairness are tested alongside accuracy.
Are the values on this page real?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Where else is this method applied?
ئەو canonical method page lists every platform that applies it.
Reportsبەشداربە
لەم لاپەڕەیەوە بەڵگە پێشکەش بکە.
Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks Forumزیرەکی دەستکرد و حوکمڕانی دیجیتاڵیتەکنەلۆجیای ئێکسپۆنێنشیاڵکورتەی بەڵگە
- ئیمەیڵدەروازەی GW-GRFلەم لاپەڕەیەوە بینێرەبەڵگە، ڕاستکردنەوە، بابەت، ڕێگا، پێداچوونەوە، وەرگێڕان یان تێکردنی پڕۆفایل. بە نیشانەی ئەم لاپەڕەیە دەگات، بۆ ئەوەی دەستکاریکەری خاوەنەکەی وەریبگرێت.
- Zenodoتەکیەی کراوەدایبنێ و بیدە بە کۆمەڵگاتۆماری خۆت لە Zenodo بە ORCID iD ی خۆت بڵاو بکەرەوە، پاشان لەوێ بیدە بە کۆمەڵگای Reports. سەرپەرشتیارەکان پێداچوونەوەی بۆ دەکەن؛ DOI هەر هی تۆیە.
- ReportsGlobal Risks Forumهەموو ڕێگاکانی بەشداری ببینەجۆرەکانی بەشداری، هەریەکە چۆن پێداچوونەوەی بۆ دەکرێت، چ ناوبردنێک وەردەگریت، مۆڵەتەکە و ئەوەی هەرگیز وەرناگیرێت.
هەرگیز داتای کەسی، وردەکاریی هەستیاری ژێرخان یان هیچ شتێک مەنێرە کە مافی بڵاوکردنەوەت نییە. بەشدارییەک پێش بەکارهێنان پێداچوونەوەی بۆ دەکرێت؛ ناردنی ماف نابەخشێت بە نووسەرایەتی یان بەڕێوەبردنی ڕاگەیاندن، و پاڵپشتی دارایی هەرگیز دۆزینەوەیەک ناکڕێت.
زیرەکی دەستکرد و حوکمڕانی دیجیتاڵی
پرسیارێکی حوکمڕانی بهێنە بۆ فۆرومەکە.
زانیاری و پرسیار ئەمڕۆ کراوەن. پرسیارێک ژمارەی ئاماژەی پێدەدرێت و هەنگاوی دواتر دیاری دەکات؛ داواکاری، پارەدان، تەرخانکردنی کۆمپیوتەر و تۆمارکردن تەنیا کاتێک دەکرێنەوە کە تیم، مەرج و توانای پێداچوونەوەیان هەبێت.
یاسایی
بەڵگەنامە یاساییەکان.
پیشاندانی هەموو 18 بەڵگەنامە یاساییەکە
نەخشە، داتا و وێنەکانی ئەم ماڵپەڕە بۆ ناوەڕۆک و زانیاریی گشتی پیشان دراون. ئامۆژگاری، پێشبینی یان ئاگادارکردنەوە نین؛ سنوورەکانی زانیارییەکە لە ڕەتکردنەوەی بەرپرسیارێتی و ئاگاداریی داتادا دەستنیشان کراون.