GRF · Governance dell'IA e del digitale
Supervisione e responsabilità dell'IA
When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.
Supervisione e responsabilità dell'IA in sette parti.
- 01The questionAI oversight and accountability: how the risk develops
- 02IndicatoriCosa viene misurato e con quale accuratezza
- 03FontiDa dove provengono le evidenze
- 04DecisioniChi decide, e a cosa servono le evidenze
- 05Core questionsWhat institutions ask about oversight
- 06MechanismsWhy accountability erodes
- 07Metodi e limitiStrumenti di supervisione
AI oversight and accountability: how the risk develops.
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
La responsabilità si disperde lungo la catena
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
Le registrazioni determinano ciò che può essere riesaminato
Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.
Authorities lack capacity
Le autorità di vigilanza del mercato, di protezione dei dati e i regolatori di settore hanno bisogno di personale tecnico, di accesso ai sistemi e di poteri per sottoporli a prova. Una capacità insufficiente trasforma le regole in autovalutazione.
Incidenti non segnalati
I malfunzionamenti emergono attraverso reclami, giornalismo e contenziosi, piuttosto che attraverso la rendicontazione. La segnalazione obbligatoria degli incidenti e le banche dati condivise sugli incidenti consentono di individuare schemi ricorrenti tra le diverse implementazioni.
Registro pubblico degli algoritmi.
La schermata che un gruppo utilizzerebbe per seguire questo tema: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.
Registro pubblico degli algoritmi
Supervisione e responsabilità dell'IA · Registro degli algoritmi · Trimestre 2
Sistemi registrati
| Segnalazione di frodi sulle prestazioni | Capacità d'azione sociale | Alto | Mancante | Parziale |
| Triage dei permessi | Pianificazione | Limitato | Fatto | Sì |
| Assegnazione dei posti scolastici | Istruzione | Alto | Fatto | Sì |
| Assistente chat | Ufficio delle imposte | Minimo | Fatto | n/a |
Azione di vigilanza
- Sistema
- Segnalazione di frodi sulle prestazioni
- Obbligatorio
- valutazione d'impatto, via di ricorso
- Scadenza
- 73 days
- Autorità
- Organismo di vigilanza
Reclami sulle decisioni automatizzate
Cosa viene misurato e con quale accuratezza.
Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.
| Indicatore | Unità | Cadenza | Tipo di fonte | Etichetta |
|---|---|---|---|---|
| Designated AI supervisory or market surveillance authority | sì o no, con base giuridica | al cambiamento | Legislazione nazionale e notifiche | Statistiche pubblicate |
| Personale tecnico nelle autorità rilevanti per l'IA | full-time equivalents | annuale | Relazioni annuali delle autorità | RIPORTATO |
| Incidenti gravi segnalati ai sensi delle norme sull'IA | conteggio per settore | annuale | Registri pubblici | Statistiche pubblicate |
| Publicly recorded AI incidents | conteggio per tipo di danno | mensile | Banche dati degli incidenti | RIPORTATO |
| Azioni di applicazione relative ai sistemi | count by authority and type | annuale | Registri delle sanzioni delle autorità di regolamentazione | Statistiche pubblicate |
| ISO/IEC 42001 certificates issued | conteggio | annuale | Registrazioni degli organismi di certificazione | RIPORTATO |
Confrontare gli strumenti: regole, incentivi e informazione.
Tre famiglie di strumenti a confronto con lo scenario di riferimento, ciascuna con il proprio ritardo e la propria velocità di adozione, con la copertura e la conformità da voi impostate; le dimensioni degli effetti sono valori didattici da sostituire con evidenze. Scenario: ipotesi dichiarate sul futuro, non una previsione.
Comandi
- Andamento di base dell'esito
- 2,0% all'anno
- Copertura dello strumento
- 70%
- Conformità
- 75%
- Dimensione dell'effetto, rispetto al valore didattico
- 100%
- Anni a venire
- 20 anni
Letture
- Maggiore riduzione all'orizzonte
- Regolamentazione
- La sua riduzione rispetto al valore di riferimento
- 21%
Numeri, metodi e fonti
| Anno | Base di riferimento | Regolamentazione | Incentivo economico | Informazione e capacità |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Metodi
- Tools of government Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
- Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
- Ventaglio di incertezza (Monte Carlo sui parametri) Spiegelhalter, Pearson e Short (2011), Visualising uncertainty about the future, Science 333
- One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dati
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Borders Natural Earth
- Cities Natural Earth
Nei sei pilastri, sotto la guida di Nexus Consortium
- Esperimenti Laboratori
- Costruito in Governance dell'IA e del digitale in Foundry
- Testato a Governance dell'IA e del digitale in Universe
- Codificato in Digitale, cibernetico e IA in Standards
- Pubblicato in Governance dell'IA e del digitale in Reports
- Insegnato in Facoltà di Tecnologia e sistemi digitali in Academy
Da dove provengono le evidenze.
Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.
| Fonte | Cosa fornisce | Classe di licenza |
|---|---|---|
| Osservatorio OECD.AI sulle politiche | National AI policies, governance bodies and the AI Incidents Monitor | Gratuito, condizioni OCSE |
| AI Incident Database | Crowd-sourced records of harms involving AI systems | Aperto, licenza da verificare |
| European Data Protection Board and national authority decisions | Decisioni sul trattamento automatizzato e sui reclami relativi all'IA | Condizioni di riutilizzo pubbliche, dell'UE e nazionali |
| Stanford AI Index Report | Dati su sviluppo, politiche e incidenti dell'IA | Free to read, licence to check |
| Relazioni annuali delle autorità di regolamentazione | Staffing, priorities and enforcement of authorities supervising AI | Registri pubblici, condizioni stabilite da ciascuna autorità |
Dal mandato alla valutazione, per pilastro.
I passaggi che uno strumento compie dal mandato alla valutazione, ciascuno con il pilastro che lo gestisce, e le decisioni che restano all'autorità. Modello didattico con valori illustrativi dichiarati, non una previsione.
- Mandato e inquadramento del problema Autorità competente (al di fuori del programma)
Un'autorità competente inquadra il problema e il mandato secondo le proprie regole. Howlett, Ramesh e Perl (2009) - Evidence and system model Foundry
The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2 - Options appraised with scenarios Foundry
Instruments are compared under scenarios, with uncertainty shown. Hood (1983) - Esercitazione con i portatori di interesse Universo
Le opzioni sono messe alla prova in un'esercitazione con chi dovrebbe attuarle e sopportarne le conseguenze. OECD (2014), principio 3 - Standard or guidance drafted Nexus Standards
What works is codified as a standard or guidance, open to comment. Nexus Standards process - Decisione dell'autorità Autorità competente (al di fuori del programma)
L'autorità decide, al di fuori del programma, sulla base delle evidenze agli atti. Howlett, Ramesh e Perl (2009) - Capacity and training Risk Academy
Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2 - Monitoraggio e rapporto pubblico Rapporti
Gli indicatori sono pubblicati con fonti, limiti e correzioni. OECD (2014), principio 5 - Evaluation and revision Nexus Standards
Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)
Metodi
- Ciclo delle politiche Howlett, Ramesh e Perl (2009), Studying Public Policy, Oxford University Press
- Governance of critical risks OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
Nei sei pilastri, sotto la guida di Nexus Consortium
- Esperimenti Laboratori
- Costruito in Governance dell'IA e del digitale in Foundry
- Testato a Governance dell'IA e del digitale in Universe
- Codificato in Digitale, cibernetico e IA in Standards
- Pubblicato in Governance dell'IA e del digitale in Reports
- Insegnato in Facoltà di Tecnologia e sistemi digitali in Academy
Chi decide, e a cosa servono le evidenze.
Governance dell'IA e del digitale prepara le evidenze. Le decisioni seguenti sono prese dalle autorità indicate, secondo le proprie regole, e mai dalla piattaforma.
| Chi decide | La domanda | Evidenze fornite da questa pagina |
|---|---|---|
| Parlamenti | Quali obblighi gravano su sviluppatori, utilizzatori e fornitori di modelli per finalità generali | Regimi comparati ed evidenze tratte dagli incidenti |
| Market surveillance and sector regulators | Quali sistemi ispezionare e quali poteri utilizzare | Incident records, risk categories and enforcement practice |
| Consigli di amministrazione delle organizzazioni che adottano | Who owns AI risk and what assurance they require | Pratiche di governance e standard dei sistemi di gestione |
| Tribunali | Who is responsible for harm caused with an AI system | Records and expert evidence presented by parties; the page serves context only |
Output prodotti da questo argomento
- Mappe della responsabilità lungo la catena del valore dell'IA per un determinato uso
- Note comparative sulle autorità di vigilanza in materia di IA e sui loro poteri
- Guida ai regimi e alle banche dati di segnalazione degli incidenti legati all'IA
- Questions for boards and regulators on AI oversight
Come sono governate la supervisione e la responsabilità in materia di IA: strumenti, mandati e impegni.
Gli strumenti, i mandati, gli attori e gli assetti di responsabilità con cui lavorano decisori politici, diplomatici e agenzie di sviluppo, con la citazione degli accordi che li stabiliscono. Le strutture seguono i quadri indicati. Qualsiasi stato o avanzamento raffigurato è illustrativo, non un registro.
Ciclo di responsabilità
Come si chiede conto degli impegni sulla supervisione e sulla responsabilità in materia di IA, dall'impegno alla correzione.
- ImpegnarsiGovernoUn impegno con un mandato e una base giuridica.
- PianificareAgenzia capofilaUn piano nazionale con responsabili e tappe.
- RisorsaMinistero delle finanzeUna voce di bilancio o un finanziamento registrato.
- AttuareAgenzie ed enti localiAttuazione rispetto al piano.
- RapportoIstituto di statisticaIndicatori comunicati secondo definizioni concordate.
- ValutazioneParlamento, revisione contabile, società civileRevisione indipendente dei risultati e delle lacune.
- CorreggereGovernoModifiche al piano, pubblicate con le motivazioni.
Che cosa chiedono le istituzioni sulla supervisione.
- Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
- Has the system been validated for this specific use and population, by someone independent of its developers?
- Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
- Come sarà monitorata la prestazione una volta che il sistema è in uso e che cosa ne determina la sospensione?
Why accountability erodes.
La responsabilità tende a dissolversi gradualmente. Ogni attore in una lunga catena di sviluppatori, integratori, operatori e gestori può ragionevolmente indicarne un altro come responsabile, finché nessuno lo è più. Perché ora: gli obblighi di supervisione umana vengono inseriti nelle leggi, tra cui il Regolamento sull'IA dell'Unione europea (2024), e gli enti pubblici devono dimostrare chi è in grado di comprendere e annullare un risultato automatizzato. La piattaforma è concepita per riunire tali enti e per esercitare la supervisione in Universo con uno scenario in cui un sistema sbaglia con sicurezza.
Rubber-stamp review
Le persone tendono ad affidarsi ai risultati automatici, soprattutto sotto pressione temporale, per cui la revisione umana può ridursi a una formalità.
Molte mani
Developers, vendors, integrators and users each own part of the system and none owns the outcome.
Prestazioni in evoluzione
Models degrade as the world changes, and without monitoring the degradation goes unnoticed.
Strumenti di supervisione.
- 01
Impact assessments
Analisi strutturata dei rischi per i diritti e per i risultati prima dell'impiego. Limiti: può ridursi a un adempimento formale se non è collegata alle decisioni.
- 02
Convalida indipendente
Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.
- 03
Meaningful human review
Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.
- 04
Tracce di audit e monitoraggio
Registri di input, output e decisioni, con prestazioni monitorate nel tempo. Limiti: utili solo se qualcuno li esamina.
Come viene studiato, e cosa i metodi non possono dire.
- 01Ingegneria della valutazione e dell'assicurazione dell'IAAmbito dell'audit di terze parti · Test di equità nei sistemi pubblici · Monitoraggio successivo all'impiegoApplicato qui
- 02Scienze delle politiche, delle istituzioni e delle decisioniConfronto tra regimi di IA · Mappatura della responsabilità lungo la catena del valore · Mappatura dei forum e dei mandatiApplicato qui
- 03Intelligenza artificiale e apprendimento automaticoCome falliscono i modelli in fase di impiego · Leggere la documentazione dei modelli · Architetture degli agenti spiegateApplicato qui
Domande e risposte.
What is the difference between an AI provider and a deployer?
Why does logging matter for AI oversight?
Does ISO/IEC 42001 certify that an AI system is safe?
Is having a human in the loop enough?
Chi dovrebbe validare un sistema di IA?
Does the platform audit AI systems?
Che cosa dovrebbe far sospendere un sistema?
Contribuisci con evidenze da questa pagina.
Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.
- EmailGateway GW-GRFSend it from this pageEvidence, a correction, a case, a method, a review, a translation or profile input. It arrives tagged with this page, so the editor who owns it receives it.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Portate una questione di governance al Forum.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Mostra tutti i 18 documenti legali
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.