How models fail in deployment
Distribution shift, spurious correlations and feedback loops are explained with public case records, so oversight bodies know what to ask about a system’s behaviour after deployment.
GRF · Governance dell'IA e del digitale
Intelligenza artificiale e apprendimento automatico per la governance dell'IA e del digitale
Artificial intelligence and machine learning are the sistemi this field governs. On this platform the methods are explained so that oversight bodies, legislators and the public understand what models do, how they fail and what evidence about them can be trusted.
01Indice dei contenuti
Artificial intelligence and machine learning for AI and digital governance in five parts.
02Domanda di adesione
Cosa fanno qui l'intelligenza artificiale e l'apprendimento automatico.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence, digital public infrastructure and cyber and digital resilience, machine learning can scale detection and forecasting across interconnected sistemi. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on i beni comuni STEM.
Reading model documentation
Model cards, data sheets and system cards are read for what they disclose and omit about training data, evaluation and limits.
Agent architectures explained
How agents chain model calls, tools and memory is described, so that permission and liability questions can be placed at the right point.
03Monitoraggio
Addestramento del modello.
La schermata che un gruppo utilizzerebbe per seguire questo metodo: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.
Addestramento del modello
AI and digital governance · Artificial intelligence · Run R-6213
Deriva su un sottoinsiemeGRF · Governance dell'IA e del digitale
Valutazione per sottoinsieme
| Tutti | 0.85 | 0.04 | 4407 | Superato |
| Regione A | 0.78 | 0.04 | 1829 | Valutazione |
| Regione B | 0.65 | 0.07 | 444 | Valutazione |
| Classe rara | 0.74 | 0.14 | 124 | Sotto la soglia |
Scheda del metodo
- Metodo
- Intelligenza artificiale e apprendimento automatico
- Suddivisione
- basato sul tempo, senza contaminazione
- Caratteristiche
- 55
- Etichetta
- MODELLATO
Stabilità della popolazione
04Dati
Cosa utilizza il metodo.
Set di dati e registri utilizzati dall'intelligenza artificiale e dall'apprendimento automatico su questa piattaforma, con il ruolo di ciascuno e l'etichetta dei suoi valori. Le fonti sono elencate nel registro delle fonti.
| Dati | Ruolo | Etichetta |
|---|---|---|
| Model and system cards | Disclosed capabilities and limits | DICHIARATO |
| Benchmark results | Comparative capability | RIPORTATO |
| Incident records | Observed failures | RIPORTATO |
| Research literature | Metodi ed evidenze | RIPORTATO |
05Scenari di policy
Confrontare gli strumenti: regole, incentivi e informazione.
Tre famiglie di strumenti a confronto con lo scenario di riferimento, ciascuna con il proprio ritardo e la propria velocità di adozione, con la copertura e la conformità da voi impostate; le dimensioni degli effetti sono valori didattici da sostituire con evidenze. Scenario: ipotesi dichiarate sul futuro, non una previsione.
Comandi
- Andamento di base dell'esito
- 2,0% all'anno
- Copertura dello strumento
- 70%
- Conformità
- 75%
- Dimensione dell'effetto, rispetto al valore didattico
- 100%
- Anni a venire
- 20 anni
Letture
- Maggiore riduzione all'orizzonte
- Regolamentazione
- La sua riduzione rispetto al valore di riferimento
- 21%
Numeri, metodi e fonti
| Anno | Base di riferimento | Regolamentazione | Incentivo economico | Informazione e capacità |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Metodi
- Gli strumenti del governo Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist e Vedung (1998), Transaction
- Diffusione delle innovazioni Rogers (2003), Diffusion of Innovations, Free Press
- Ventaglio di incertezza (Monte Carlo sui parametri) Spiegelhalter, Pearson e Short (2011), Visualising uncertainty about the future, Science 333
- Sensibilità un fattore alla volta (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dati
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Confini Natural Earth
- Città Natural Earth
Nei sei pilastri, sotto la guida di Nexus Consortium
- Esperimenti Laboratori
- Costruito in Governance dell'IA e del digitale in Foundry
- Testato a Governance dell'IA e del digitale in Universe
- Codificato in Digitale, cibernetico e IA in Standards
- Pubblicato in Governance dell'IA e del digitale in Reports
- Insegnato in Facoltà di Tecnologia e sistemi digitali in Academy
06Validazione
Come vengono verificati i risultati.
I modelli sono valutati su dati esclusi dalla stima che rispettano la struttura spaziale, temporale e di gruppo. Robustezza, calibrazione ed equità sono testate insieme all'accuratezza.
| Verifica | Come si fa |
|---|---|
| Claims against evidence | Capability claims are checked against published evaluations |
| Context of benchmarks | Benchmark results are read with their task and data limits stated |
| Deployment conditions | Behaviour is described for the conditions in which the system is used |
Le prestazioni peggiorano quando le condizioni di impiego differiscono dai dati di addestramento. I modelli possono incorporare distorsioni e fallire senza un chiaro preavviso sugli eventi rari.
07Implementazione
Dal mandato alla valutazione, per pilastro.
I passaggi che uno strumento compie dal mandato alla valutazione, ciascuno con il pilastro che lo gestisce, e le decisioni che restano all'autorità. Modello didattico con valori illustrativi dichiarati, non una previsione.
- Mandato e inquadramento del problema Autorità competente (al di fuori del programma)
Un'autorità competente inquadra il problema e il mandato secondo le proprie regole. Howlett, Ramesh e Perl (2009) - Evidenze e modello del sistema Foundry
Il sistema è modellato con i suoi meccanismi di retroazione, i dati e i limiti dichiarati. OCSE (2014), principio 2 - Opzioni valutate con scenari Foundry
Gli strumenti sono confrontati in diversi scenari, con l'incertezza esplicitata. Hood (1983) - Esercitazione con i portatori di interesse Universo
Le opzioni sono messe alla prova in un'esercitazione con chi dovrebbe attuarle e sopportarne le conseguenze. OECD (2014), principio 3 - Norma o linee guida redatte Nexus Standards
Ciò che funziona viene codificato come norma o linee guida, aperte ai commenti. Processo di Nexus Standards - Decisione dell'autorità Autorità competente (al di fuori del programma)
L'autorità decide, al di fuori del programma, sulla base delle evidenze agli atti. Howlett, Ramesh e Perl (2009) - Capacità e formazione Risk Academy
Chi attua riceve formazione sullo strumento deciso e sui suoi dati. Quadro di riferimento di Sendai per la riduzione del rischio di disastri (2015), priorità 2 - Monitoraggio e rapporto pubblico Rapporti
Gli indicatori sono pubblicati con fonti, limiti e correzioni. OECD (2014), principio 5 - Valutazione e revisione Nexus Standards
I risultati tornano alla norma e al modello: il ciclo si chiude. Howlett, Ramesh e Perl (2009)
Metodi
- Ciclo delle politiche Howlett, Ramesh e Perl (2009), Studying Public Policy, Oxford University Press
- Governance dei rischi critici OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- Layered drawing of directed graphs Sugiyama, Tagawa e Toda (1981), IEEE SMC 11
Nei sei pilastri, sotto la guida di Nexus Consortium
- Esperimenti Laboratori
- Costruito in Governance dell'IA e del digitale in Foundry
- Testato a Governance dell'IA e del digitale in Universe
- Codificato in Digitale, cibernetico e IA in Standards
- Pubblicato in Governance dell'IA e del digitale in Reports
- Insegnato in Facoltà di Tecnologia e sistemi digitali in Academy
08Collegamenti
Argomenti che si basano su questo metodo.
09Strumenti e impegni
Strumenti, mandati e impegni.
Gli strumenti, i mandati, gli attori e gli assetti di responsabilità con cui lavorano decisori politici, diplomatici e agenzie di sviluppo, con la citazione degli accordi che li stabiliscono. Le strutture seguono i quadri indicati. Qualsiasi stato o avanzamento raffigurato è illustrativo, non un registro.
Matrice degli strumenti di policy
The kinds of instrument available on Artificial intelligence and machine learning for AI and digital governance, by level of government and cooperation.
| Tipo di strumento | Locale | Nazionale | Regionale | Globale |
|---|---|---|---|---|
| Normativo | Zonizzazione, codici edilizi | Leggi, norme, autorizzazioni | Regole armonizzate | Convenzioni e trattati |
| Economico | Prelievi locali, sovvenzioni | Voci di bilancio, imposte, sistemi assicurativi | Pool di rischio, fondi regionali | Meccanismi di finanziamento |
| Informazione | Allerte locali | Divulgazione, allerta precoce, statistiche | Accordi di condivisione dei dati | Monitoraggio e rendicontazione globali |
| Istituzionale | Comitati locali | Agenzie capofila, consigli di coordinamento | Organismi regionali e segretariati | Mandati multilaterali |
| Cooperativo | Accordi comunitari | Patti di partenariato | Memorandum e programmi congiunti | Accordi e impegni congiunti |
Quadro di riferimento di Sendai per la riduzione del rischio di disastri · UNDRRAccordo di Parigi · UNFCCCAgenda 2030 e Obiettivi di sviluppo sostenibile · Nazioni UniteRegolamento sanitario internazionale · OMS
10Custodia
Chi mantiene il metodo.
Intelligenza artificiale e sistemi autonomi è custode dell'intelligenza artificiale e dell'apprendimento automatico per il Consortium ed esamina come vengono applicati tra le piattaforme.
11Connesso
Dove porta questa pagina nel Consorzio.
12Domande
Domande e risposte.
Quali sono i limiti dell'intelligenza artificiale e dell'apprendimento automatico in questo campo?
Le prestazioni peggiorano quando le condizioni di impiego differiscono dai dati di addestramento. I modelli possono incorporare distorsioni e fallire senza un chiaro preavviso sugli eventi rari.
Come vengono verificati i risultati?
I modelli sono valutati su dati esclusi dalla stima che rispettano la struttura spaziale, temporale e di gruppo. Robustezza, calibrazione ed equità sono testate insieme all'accuratezza.
I valori di questa pagina sono reali?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Dove altro viene applicato questo metodo?
L'Observatory pagina canonica del metodo elenca ogni piattaforma che lo applica.
RapportiContribuisci
Contribuisci con evidenze da questa pagina.
Rapporti is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumGovernance dell'IA e del digitaleTecnologia esponenzialeNota sulle evidenze
- E-mailGateway GW-GRFInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoDeposito apertoDepositalo e invialo alla comunitàPubblica il tuo registro su Zenodo con il tuo ORCID iD, poi invialo alla comunità Reports. I curatori lo esaminano; il DOI resta tuo.
- RapportiGlobal Risks ForumVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Governance dell'IA e del digitale
Portate una questione di governance al Forum.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Note legali
Documenti legali.
Mostra tutti i 18 documenti legali
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.