Skip to content

GRF · Governance dell'IA e del digitale

Supervisione e responsabilità dell'IA

When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.

02La domanda

AI oversight and accountability: how the risk develops.

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Meccanismo

La responsabilità si disperde lungo la catena

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

Meccanismo

Le registrazioni determinano ciò che può essere riesaminato

Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.

Meccanismo

Authorities lack capacity

Le autorità di vigilanza del mercato, di protezione dei dati e i regolatori di settore hanno bisogno di personale tecnico, di accesso ai sistemi e di poteri per sottoporli a prova. Una capacità insufficiente trasforma le regole in autovalutazione.

Meccanismo

Incidenti non segnalati

I malfunzionamenti emergono attraverso reclami, giornalismo e contenziosi, piuttosto che attraverso la rendicontazione. La segnalazione obbligatoria degli incidenti e le banche dati condivise sugli incidenti consentono di individuare schemi ricorrenti tra le diverse implementazioni.

03Monitoraggio

Registro pubblico degli algoritmi.

La schermata che un gruppo utilizzerebbe per seguire questo tema: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.

Registro pubblico degli algoritmi

Supervisione e responsabilità dell'IA · Registro degli algoritmi · Trimestre 2

Due sistemi ad alto rischio senza valutazioneGRF · Governance dell'IA e del digitale

Sistemi registrati

Segnalazione di frodi sulle prestazioniCapacità d'azione socialeAltoMancanteParziale
Triage dei permessiPianificazioneLimitatoFattoSì
Assegnazione dei posti scolasticiIstruzioneAltoFattoSì
Assistente chatUfficio delle imposteMinimoFatton/a

Azione di vigilanza

Sistema
Segnalazione di frodi sulle prestazioni
Obbligatorio
valutazione d'impatto, via di ricorso
Scadenza
73 days
Autorità
Organismo di vigilanza

Reclami sulle decisioni automatizzate

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04Indicatori

Cosa viene misurato e con quale accuratezza.

Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.

IndicatoreUnitàCadenzaTipo di fonteEtichetta
Designated AI supervisory or market surveillance authoritysì o no, con base giuridicaal cambiamentoLegislazione nazionale e notificheStatistiche pubblicate
Personale tecnico nelle autorità rilevanti per l'IAfull-time equivalentsannualeRelazioni annuali delle autoritàRIPORTATO
Incidenti gravi segnalati ai sensi delle norme sull'IAconteggio per settoreannualeRegistri pubbliciStatistiche pubblicate
Publicly recorded AI incidentsconteggio per tipo di dannomensileBanche dati degli incidentiRIPORTATO
Azioni di applicazione relative ai sistemicount by authority and typeannualeRegistri delle sanzioni delle autorità di regolamentazioneStatistiche pubblicate
ISO/IEC 42001 certificates issuedconteggioannualeRegistrazioni degli organismi di certificazioneRIPORTATO
05Scenari di policy

Confrontare gli strumenti: regole, incentivi e informazione.

Tre famiglie di strumenti a confronto con lo scenario di riferimento, ciascuna con il proprio ritardo e la propria velocità di adozione, con la copertura e la conformità da voi impostate; le dimensioni degli effetti sono valori didattici da sostituire con evidenze. Scenario: ipotesi dichiarate sul futuro, non una previsione.

Comandi

Andamento di base dell'esito
2,0% all'anno
Copertura dello strumento
70%
Conformità
75%
Dimensione dell'effetto, rispetto al valore didattico
100%
Anni a venire
20 anni

Letture

Maggiore riduzione all'orizzonte
Regolamentazione
La sua riduzione rispetto al valore di riferimento
21%
Numeri, metodi e fonti
AnnoBase di riferimentoRegolamentazioneIncentivo economicoInformazione e capacità
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

Metodi

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Ventaglio di incertezza (Monte Carlo sui parametri) Spiegelhalter, Pearson e Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

Dati

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
Confrontare gli strumenti: regole, incentivi e informazione. Modello didattico illustrativo: funziona con i valori impostati dai controlli, non con dati misurati. Metodi: Tools of government (Hood (1983), The Tools of Government, Macmillan); Carrots, sticks and sermons (Bemelmans-Videc, Rist e Vedung (1998), Transaction); Diffusion of innovations (Rogers (2003), Diffusion of Innovations, Free Press).
06Fonti

Da dove provengono le evidenze.

Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.

FonteCosa fornisceClasse di licenza
Osservatorio OECD.AI sulle politicheNational AI policies, governance bodies and the AI Incidents MonitorGratuito, condizioni OCSE
AI Incident DatabaseCrowd-sourced records of harms involving AI systemsAperto, licenza da verificare
European Data Protection Board and national authority decisionsDecisioni sul trattamento automatizzato e sui reclami relativi all'IACondizioni di riutilizzo pubbliche, dell'UE e nazionali
Stanford AI Index ReportDati su sviluppo, politiche e incidenti dell'IAFree to read, licence to check
Relazioni annuali delle autorità di regolamentazioneStaffing, priorities and enforcement of authorities supervising AIRegistri pubblici, condizioni stabilite da ciascuna autorità
07Implementazione

Dal mandato alla valutazione, per pilastro.

I passaggi che uno strumento compie dal mandato alla valutazione, ciascuno con il pilastro che lo gestisce, e le decisioni che restano all'autorità. Modello didattico con valori illustrativi dichiarati, non una previsione.

  1. Mandato e inquadramento del problema Autorità competente (al di fuori del programma)
    Un'autorità competente inquadra il problema e il mandato secondo le proprie regole. Howlett, Ramesh e Perl (2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. Esercitazione con i portatori di interesse Universo
    Le opzioni sono messe alla prova in un'esercitazione con chi dovrebbe attuarle e sopportarne le conseguenze. OECD (2014), principio 3
  5. Standard or guidance drafted Nexus Standards
    What works is codified as a standard or guidance, open to comment. Nexus Standards process
  6. Decisione dell'autorità Autorità competente (al di fuori del programma)
    L'autorità decide, al di fuori del programma, sulla base delle evidenze agli atti. Howlett, Ramesh e Perl (2009)
  7. Capacity and training Risk Academy
    Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2
  8. Monitoraggio e rapporto pubblico Rapporti
    Gli indicatori sono pubblicati con fonti, limiti e correzioni. OECD (2014), principio 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

Metodi

  1. Ciclo delle politiche Howlett, Ramesh e Perl (2009), Studying Public Policy, Oxford University Press
  2. Governance of critical risks OECD (2014), Recommendation of the Council on the Governance of Critical Risks
  3. Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
Dal mandato alla valutazione, per pilastro: i passaggi come registrati, ciascuno con il proprio pilastro; fonti come citate in ogni passaggio.
08Decisioni

Chi decide, e a cosa servono le evidenze.

Governance dell'IA e del digitale prepara le evidenze. Le decisioni seguenti sono prese dalle autorità indicate, secondo le proprie regole, e mai dalla piattaforma.

Chi decideLa domandaEvidenze fornite da questa pagina
ParlamentiQuali obblighi gravano su sviluppatori, utilizzatori e fornitori di modelli per finalità generaliRegimi comparati ed evidenze tratte dagli incidenti
Market surveillance and sector regulatorsQuali sistemi ispezionare e quali poteri utilizzareIncident records, risk categories and enforcement practice
Consigli di amministrazione delle organizzazioni che adottanoWho owns AI risk and what assurance they requirePratiche di governance e standard dei sistemi di gestione
TribunaliWho is responsible for harm caused with an AI systemRecords and expert evidence presented by parties; the page serves context only

Output prodotti da questo argomento

  • Mappe della responsabilità lungo la catena del valore dell'IA per un determinato uso
  • Note comparative sulle autorità di vigilanza in materia di IA e sui loro poteri
  • Guida ai regimi e alle banche dati di segnalazione degli incidenti legati all'IA
  • Questions for boards and regulators on AI oversight
09Strumenti e impegni

Come sono governate la supervisione e la responsabilità in materia di IA: strumenti, mandati e impegni.

Gli strumenti, i mandati, gli attori e gli assetti di responsabilità con cui lavorano decisori politici, diplomatici e agenzie di sviluppo, con la citazione degli accordi che li stabiliscono. Le strutture seguono i quadri indicati. Qualsiasi stato o avanzamento raffigurato è illustrativo, non un registro.

Ciclo di responsabilità

Come si chiede conto degli impegni sulla supervisione e sulla responsabilità in materia di IA, dall'impegno alla correzione.

  1. ImpegnarsiGovernoUn impegno con un mandato e una base giuridica.
  2. PianificareAgenzia capofilaUn piano nazionale con responsabili e tappe.
  3. RisorsaMinistero delle finanzeUna voce di bilancio o un finanziamento registrato.
  4. AttuareAgenzie ed enti localiAttuazione rispetto al piano.
  5. RapportoIstituto di statisticaIndicatori comunicati secondo definizioni concordate.
  6. ValutazioneParlamento, revisione contabile, società civileRevisione indipendente dei risultati e delle lacune.
  7. CorreggereGovernoModifiche al piano, pubblicate con le motivazioni.
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
Quadro di riferimento di Sendai per la riduzione del rischio di disastri · UNDRRAccordo di Parigi · UNFCCCAgenda 2030 e Obiettivi di sviluppo sostenibile · Nazioni UniteRegolamento sanitario internazionale · OMS
10Questioni centrali

Che cosa chiedono le istituzioni sulla supervisione.

  • Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
  • Has the system been validated for this specific use and population, by someone independent of its developers?
  • Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
  • Come sarà monitorata la prestazione una volta che il sistema è in uso e che cosa ne determina la sospensione?
11Meccanismi

Why accountability erodes.

La responsabilità tende a dissolversi gradualmente. Ogni attore in una lunga catena di sviluppatori, integratori, operatori e gestori può ragionevolmente indicarne un altro come responsabile, finché nessuno lo è più. Perché ora: gli obblighi di supervisione umana vengono inseriti nelle leggi, tra cui il Regolamento sull'IA dell'Unione europea (2024), e gli enti pubblici devono dimostrare chi è in grado di comprendere e annullare un risultato automatizzato. La piattaforma è concepita per riunire tali enti e per esercitare la supervisione in Universo con uno scenario in cui un sistema sbaglia con sicurezza.

Automation bias

Rubber-stamp review

Le persone tendono ad affidarsi ai risultati automatici, soprattutto sotto pressione temporale, per cui la revisione umana può ridursi a una formalità.

Diffusion

Molte mani

Developers, vendors, integrators and users each own part of the system and none owns the outcome.

Deriva

Prestazioni in evoluzione

Models degrade as the world changes, and without monitoring the degradation goes unnoticed.

12Metodi e limiti

Strumenti di supervisione.

  1. 01

    Impact assessments

    Analisi strutturata dei rischi per i diritti e per i risultati prima dell'impiego. Limiti: può ridursi a un adempimento formale se non è collegata alle decisioni.

  2. 02

    Convalida indipendente

    Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.

  3. 03

    Meaningful human review

    Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.

  4. 04

    Tracce di audit e monitoraggio

    Registri di input, output e decisioni, con prestazioni monitorate nel tempo. Limiti: utili solo se qualcuno li esamina.

13Metodi

Come viene studiato, e cosa i metodi non possono dire.

14Domande

Domande e risposte.

What is the difference between an AI provider and a deployer?
Nell'AI Act dell'UE, un fornitore sviluppa un sistema o modello di IA e lo immette sul mercato; un deployer lo utilizza sotto la propria autorità. Ciascuno ha obblighi diversi.
Why does logging matter for AI oversight?
Logs and documentation let auditors, regulators and courts reconstruct how a system behaved. Without them, accountability depends on what the operator chooses to disclose.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Is having a human in the loop enough?
Non da sola. La revisione è significativa solo se il revisore ha l'autorità, il tempo, le informazioni e la competenza per dissentire dal sistema e lo fa quando è giustificato.
Chi dovrebbe validare un sistema di IA?
Una persona indipendente da chi lo ha sviluppato o venduto, con accesso ai dati pertinenti e la competenza per verificarlo per l'uso previsto.
Does the platform audit AI systems?
No. Confronta le pratiche di governance e non testa né certifica alcun sistema.
Che cosa dovrebbe far sospendere un sistema?
Le istituzioni stabiliscono le proprie soglie di attivazione, che in genere comprendono evidenze di tassi di errore superiori a un livello concordato, variazioni inspiegate nei risultati o segnalazioni credibili di danno.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Governance dell'IA e del digitale

Portate una questione di governance al Forum.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.