How models fail in deployment
Distribution shift, spurious correlations and feedback loops are explained with public case records, so oversight bodies know what to ask about a system’s behaviour after deployment.
GRF · Rêveberiya AI û dîjîtal
Artificial intelligence and machine learning for AI and digital governance
Artificial intelligence and machine learning are the pergalên this field governs. On this platform the methods are explained so that oversight bodies, legislators and the public understand what models do, how they fail and what evidence about them can be trusted.
01Naverok
Artificial intelligence and machine learning for AI and digital governance in five parts.
02Serlêdan
What artificial intelligence and machine learning does here.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence, digital public infrastructure and cyber and digital resilience, machine learning can scale detection and forecasting across interconnected pergalên. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on the STEM Commons.
Reading model documentation
Model cards, data sheets and system cards are read for what they disclose and omit about training data, evaluation and limits.
Agent architectures explained
How agents chain model calls, tools and memory is described, so that permission and liability questions can be placed at the right point.
03Çavdêrî bike
Model training.
The screen a team would use to follow this method: its measures, states and decisions. Names are examples and values are illustrative.
Model training
AI and digital governance · Artificial intelligence · Run R-6213
Drift on one sliceGRF · Rêveberiya AI û dîjîtal
Evaluation by slice
| Hemû | 0.85 | 0.04 | 4407 | Derbas |
| Region A | 0.78 | 0.04 | 1829 | Nirxandin |
| Region B | 0.65 | 0.07 | 444 | Nirxandin |
| Rare class | 0.74 | 0.14 | 124 | Below bar |
Method card
- Rêbaz
- Zîrekiya çêkirî û fêrbûna makîneyê
- Split
- time-based, no leakage
- Features
- 55
- Nîşan
- MODELKIRÎ
Population stability
04Dane
What the method consumes.
Datasets and records used by artificial intelligence and machine learning on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| Dane | Rol | Nîşan |
|---|---|---|
| Model and system cards | Disclosed capabilities and limits | DECLARED |
| Benchmark results | Comparative capability | REPORTED |
| Incident records | Observed failures | REPORTED |
| Research literature | Rêbaz û delîl | REPORTED |
05Senaryoyên siyasetê
Amûran bidin ber hev: rêgez, teşwîq û agahî.
Sê malbatên amûran li kêleka hev li hember xeta bingehîn, her yek bi derengmayîn û leza pejirandina xwe, di bin pêwîstî û lihevhatina ku hûn diyar dikin; mezinahiya bandorê nirxên hînkirinê ne û divê bi delîlan bên guhertin. Senaryo: texmînên bi nav ên li ser pêşerojê, ne pêşbînî.
Kontrol
- Meyla bingehîn a encamê
- 2,0% di salê de
- Navgîniya amûrê
- 70%
- Lihevhatin
- 75%
- Mezinahiya bandorê, li hember nirxa hînkirinê
- 100%
- Salên pêş
- 20 sal
Xwendin
- Kêmbûna herî mezin li ufûqê
- Rêzikname
- Kêmbûna wê li hember xeta bingehîn
- 21%
Jimar, rêbaz û çavkanî
| Sal | Xeta bingehîn | Rêzikname | Teşwîqa aborî | Agahî û kapasîte |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Rêbaz
- Amûrên hikûmetê Hood (1983), The Tools of Government, Macmillan
- Gêzer, çomax û xutbe Bemelmans-Videc, Rist û Vedung (1998), Transaction
- Belavbûna nûjeniyan Rogers (2003), Diffusion of Innovations, Free Press
- Pankeya nediyarîyê (Monte Carlo ya parametreyan) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- Hesasiyeta yek-yek (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dane
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Sînor Natural Earth
- Bajar Natural Earth
Li seranserê şeş stûnan, bi pêşengiya Nexus Consortium
- Ceribandin Labs
- Hatiye avakirin di Rêveberiya AI û dîjîtal di Foundry de
- Tê ceribandin li Rêveberiya AI û dîjîtal di Universe de
- Hatiye kodkirin di Dîjîtal, Sîber û AI di Standards de
- Hatiye weşandin di Rêveberiya AI û dîjîtal di Reports de
- Tê de tê dayîn Fakulteya Teknolojî û pergalên dîjîtal di Academy de
06Erêkirin
How results are checked.
Models are evaluated on held-out data that respects spatial, temporal and group structure. Robustness, calibration and fairness are tested alongside accuracy.
| Kontrol bikin | How it is done |
|---|---|
| Claims against evidence | Capability claims are checked against published evaluations |
| Context of benchmarks | Benchmark results are read with their task and data limits stated |
| Deployment conditions | Behaviour is described for the conditions in which the system is used |
Performance degrades when deployment conditions differ from training data. Models can encode biases and fail without clear warning on rare events.
07Bicihanîn
Ji mandatê heta nirxandinê, li gorî stûnan.
Gavên ku amûrek ji mandatê heta nirxandinê diavêje, her yek bi stûna ku wê dimeşîne û biryarên ku li cem desthilatê dimînin. Modela hînkirinê bi nirxên nimûneyî yên diyarkirî, ne pêşbînî.
- Mandat û çarçovekirina pirsgirêkê Rayedara jêhatî (li derveyî bernameyê)
Desthilatek jêhatî pirsgirêk û mandatê di bin rêgezên xwe de çarçove dike. Howlett, Ramesh û Perl (2009) - Delîl û modela pergalê Foundry
Pergal bi bersivdanên xwe, daneyan û sînorên diyarkirî tê modelkirin. OECD (2014), prensîba 2 - Vebijark bi senaryoyan hatine nirxandin Foundry
Amûr di bin senaryoyan de têne berhevdan, bi nediyarî nîşan didin. Hood (1983) - Pratîk bi alîgiran re Universe
Vebijark di pratîkekê de bi yên ku wê bicih bînin û bar bikişînin têne ceribandin. OECD (2014), prensîba 3 - Standard an rêbername hatiye nivîsandin Nexus Standards
Ya ku dixebite wekî standard an rêbernameyeke vekirî ji bo şîroveyê tê kodkirin. Pêvajoya Nexus Standards - Biryara desthilatê Rayedara jêhatî (li derveyî bernameyê)
Desthilat li derveyî bernameyê bi delîlên li ser tomarê biryar dide. Howlett, Ramesh û Perl (2009) - Kapasîte û perwerde Risk Academy
Yên ku bicih tînin li ser amûra biryardayî û daneyên wê têne perwerdekirin. Çarçoveya Sendaiyê (2015), pêşengiya 2 - Çavdêrî û raporta giştî rêzeya Pergalên Stratejîk
Nîşander bi çavkanî, sînor û rastkirinan têne weşandin. OECD (2014), prensîba 5 - Nirxandin û nûxwendin Nexus Standards
Encam vedigerin standard û modelê: çerx digire. Howlett, Ramesh û Perl (2009)
Rêbaz
- Çerxa siyasetê Howlett, Ramesh û Perl (2009), Studying Public Policy, Oxford University Press
- Rêveberiya xeterên krîtîk OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- Xêzkirina qatî ya grafên arasteyî Sugiyama, Tagawa û Toda (1981), IEEE SMC 11
Li seranserê şeş stûnan, bi pêşengiya Nexus Consortium
- Ceribandin Labs
- Hatiye avakirin di Rêveberiya AI û dîjîtal di Foundry de
- Tê ceribandin li Rêveberiya AI û dîjîtal di Universe de
- Hatiye kodkirin di Dîjîtal, Sîber û AI di Standards de
- Hatiye weşandin di Rêveberiya AI û dîjîtal di Reports de
- Tê de tê dayîn Fakulteya Teknolojî û pergalên dîjîtal di Academy de
08Connections
Topics that rely on this method.
09Amûr û berpirsiyarî
Instruments, mandates and commitments.
Amûr, mandat, aktor û rêkxistinên berpirsiyariyê yên ku siyasetmedar, dîplomat an ajansek pêşveçûnê pê re dixebite, bi navkirina lihevkirinên ku wan datînin. Avahî li gorî çarçoveyên hatine nav kirin in. Her rewş an pêşketina hatî kişandin nimûneyî ye, ne tomar e.
Matrîsa amûrên siyasetê
The kinds of instrument available on Artificial intelligence and machine learning for AI and digital governance, by level of government and cooperation.
| Cureya amûrê | Herêmî | Neteweyî | Herêmî | Gerdûnî |
|---|---|---|---|---|
| Rêziknameyî | Dabeşkirina herêman, qaîdeyên avahiyê | Qanûn, standard, lîsans | Rêgezên lihevkirî | Peymanname û lihevkirin |
| Aborî | Bacên herêmî, alîkarî | Xalên budceyê, bac, sîstemên bîmeyê | Hewzên xeterê, fonên herêmî | Mekanîzmayên fînansekirinê |
| Agahî | Hişyariyên herêmî | Eşkerekirin, hişyariya zû, îstatîstîk | Rêkxistinên parvekirina daneyan | Çavdêrî û raporkirina gerdûnî |
| Saziyî | Komîteyên herêmî | Ajansên pêşengî, encumenên hevrêziyê | Saziyên herêmî û sekreteryayan | Mandatên pirealî |
| Hevkar | Lihevkirinên civakî | Peymanên hevkariyê | Memorandûm û bernameyên hevpar | Lihevkirin û berpirsiyariyên hevpar |
Çarçoveya Sendaiyê ji bo Kêmkirina Xetera Karesatan · UNDRRPeymana Parîsê · UNFCCCAjandaya 2030 û Armancên Pêşveçûnê yên Domdar · Neteweyên YekbûyîRêzikên Tenduristiyê yên Navneteweyî · WHO
10Stewardship
Who maintains the method.
Zîrekiya çêkirî û pergalên xweser stewards artificial intelligence and machine learning for the Consortium and reviews how it is applied across platforms.
11Girêdayî
Ev rûpel li ser Konsorsiyûmê te ber bi kû ve dibe.
12Pirs
Pirs û bersiv.
What are the limits of artificial intelligence and machine learning in this field?
Performance degrades when deployment conditions differ from training data. Models can encode biases and fail without clear warning on rare events.
How are results checked?
Models are evaluated on held-out data that respects spatial, temporal and group structure. Robustness, calibration and fairness are tested alongside accuracy.
Are the values on this page real?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Where else is this method applied?
Çavdêrxaneya canonical method page lists every platform that applies it.
rêzeya Pergalên StratejîkTevkarî bike
Ji vê rûpelê delîl bidin.
rêzeya Pergalên Stratejîk is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumRêveberî: AI û ya dîjîtalTeknolojiya eksponensiyelKurteya delîlan
- E-nameDergeh GW-GRFJi vê rûpelê bişîninDelîl, rastkirin, doz, rêbaz, nirxandin, wergerandin an têketina profîlê. Bi nîşana vê rûpelê digihîje, ji ber vê yekê edîtorê xwediyê wê wê bistîne.
- ZenodoDepoya vekirîWê razînin û ji civakê re bişîninTomara xwe li Zenodo bi ORCID iD ya xwe biweşînin, paşê wê li wir ji civaka Reports re bişînin. Kurator wê vedikolin; DOI ya we dimîne.
- rêzeya Pergalên StratejîkGlobal Risks ForumHemû rêyên beşdariyê bibîneCureyên beşdariyê, her yek çawa tê nirxandin, tu çi navlêkirinê distînî, lîsans û tiştê ku qet nayê qebûlkirin.
Tu carî daneyên şexsî, hûrgiliyên binesaza hesas an tiştekî ku mafê we yê parvekirinê tune ne neşînin. Beşdarî berî bikaranînê tê nirxandin; şandina wê nivîskarî an mafên edîtorî nade û sponsorî tu carî encamekê nakire.
Rêveberî: AI û ya dîjîtal
Pirsek ya rêveberiyê bînin Forumê.
Agahî û pirs îro vekirî ne. Pirsek referansekê distîne û gava piştî wê dide nasîn; serlêdan, drav, veqetandina hesabkirinê û tomarkirin tenê dema ku tîm, mercên wê û kapasîteya vekolînê hebin vedibin.
Hiqûqî
Belgeyên hiqûqî.
Hemû 18 belgeyên qanûnî nîşan bide
Nexşe, dane û jimarên vê malperê ji bo çarçoveyê û agahiyên giştî têne nîşandan. Ew ne şîret, ne pêşbînî û ne hişyarî ne; sînorên agahiyê di Daxuyaniyên Berpirsiyariyê û Daxuyaniyên Daneyê de hatine diyarkirin.