Skip to content

GRF · Governance dell'IA e del digitale

Decisioni pubbliche algoritmiche

I governi usano algoritmi per valutare le domande di prestazioni, individuare le frodi, assegnare le ispezioni, stabilire punteggi di rischio nell'attività di polizia e nella migrazione, e sostenere giudici e operatori. Queste decisioni incidono su diritti e mezzi di sussistenza su larga scala, e gli errori si ripetono in migliaia di casi prima che qualcuno li veda. Questa pagina illustra come le decisioni pubbliche algoritmiche vanno storte e come funzionano le garanzie, i registri che le documentano e chi decide se e come un sistema viene usato.

02La domanda

Algorithmic public decisions: how the risk develops.

Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Meccanismo

Gli errori si amplificano in silenzio

Una regola o un modello errato si applica a ogni caso che ne è interessato. Senza il monitoraggio degli esiti e dei ricorsi, un errore sistematico può negare o penalizzare ingiustamente molte persone prima di essere individuato.

Meccanismo

Le distorsioni entrano attraverso i dati e la progettazione

Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.

Meccanismo

Human review becomes rubber-stamping

I funzionari pubblici chiamati a rivedere risultati automatizzati sotto pressione temporale tendono ad accettarli. Una revisione significativa richiede tempo, autorità di ribaltare l'esito e informazioni su come il risultato è stato prodotto.

Meccanismo

L'opacità ostacola la contestazione

People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.

03Monitoraggio

Registro pubblico degli algoritmi.

La schermata che un gruppo utilizzerebbe per seguire questo tema: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.

Registro pubblico degli algoritmi

Algorithmic public decisions · Algorithm register · Quarter 1

Due sistemi ad alto rischio senza valutazioneGRF · Governance dell'IA e del digitale

Sistemi registrati

Segnalazione di frodi sulle prestazioniCapacità d'azione socialeAltoMancanteParziale
Triage dei permessiPianificazioneLimitatoFattoSì
Assegnazione dei posti scolasticiIstruzioneAltoFattoSì
Assistente chatUfficio delle imposteMinimoFatton/a

Azione di vigilanza

Sistema
Segnalazione di frodi sulle prestazioni
Obbligatorio
valutazione d'impatto, via di ricorso
Scadenza
64 days
Autorità
Organismo di vigilanza

Reclami sulle decisioni automatizzate

Public algorithm register: the screen’s structure, terms and states for Algorithmic public decisions.Example names and illustrative values; a design, not a record or a live system.
04Indicatori

Cosa viene misurato e con quale accuratezza.

Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.

IndicatoreUnitàCadenzaTipo di fonteEtichetta
Public algorithmic systems in a transparency registerconteggio per agenziaon updateAlgorithm registersDICHIARATO
Algorithmic impact assessments publishedconteggioannualePubblicazioni governativeDICHIARATO
Ricorsi contro le decisioni automatizzatenumero e quota confermatiannualeAgency and tribunal recordsStatistiche pubblicate
Disparità di esito tra i gruppiratio of adverse outcome ratesper auditAudit indipendentiSTIMATO
Systems suspended or withdrawn after reviewconteggioannualeRegistri governativi e giudiziariStatistiche pubblicate
Ombudsman complaints about automated decisionsconteggioannualeRelazioni del difensore civicoStatistiche pubblicate
05Strumenti e impegni

How algorithmic public decisions is governed: instruments, mandates and commitments.

Gli strumenti, i mandati, gli attori e gli assetti di responsabilità con cui lavorano decisori politici, diplomatici e agenzie di sviluppo, con la citazione degli accordi che li stabiliscono. Le strutture seguono i quadri indicati. Qualsiasi stato o avanzamento raffigurato è illustrativo, non un registro.

Matrice degli strumenti di policy

The kinds of instrument available on algorithmic public decisions, by level of government and cooperation.

Tipo di strumentoLocaleNazionaleRegionaleGlobale
NormativoZonizzazione, codici ediliziLeggi, norme, autorizzazioniRegole armonizzateConvenzioni e trattati
EconomicoPrelievi locali, sovvenzioniVoci di bilancio, imposte, sistemi assicurativiPool di rischio, fondi regionaliMeccanismi di finanziamento
InformazioneAllerte localiDivulgazione, allerta precoce, statisticheAccordi di condivisione dei datiMonitoraggio e rendicontazione globali
IstituzionaleComitati localiAgenzie capofila, consigli di coordinamentoOrganismi regionali e segretariatiMandati multilaterali
CooperativoAccordi comunitariPatti di partenariatoMemorandum e programmi congiuntiAccordi e impegni congiunti
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Quadro di riferimento di Sendai per la riduzione del rischio di disastri · UNDRRAccordo di Parigi · UNFCCCAgenda 2030 e Obiettivi di sviluppo sostenibile · Nazioni UniteRegolamento sanitario internazionale · OMS
06Fonti

Da dove provengono le evidenze.

Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.

FonteCosa fornisceClasse di licenza
UK Algorithmic Transparency Recording Standard recordsRegistri pubblicati degli strumenti algoritmici utilizzati dagli enti pubbliciOpen Government Licence
Amsterdam and Helsinki algorithm registersCity registers of algorithmic systems in useDati aperti, condizioni per città
Direttiva canadese sul processo decisionale automatizzato e valutazioni dell'impatto algoritmicoMandatory impact assessments for federal automated decisionsOpen Government Licence, Canada
Relazioni del difensore civico e degli uffici di controlloInvestigations of automated decision systems in public servicesRegistri pubblici, condizioni stabilite da ciascun ufficio
Court judgments on automated public decisionsSentenze sulla liceità dei sistemi algoritmiciPublic records, terms per court
07Decisioni

Chi decide, e a cosa servono le evidenze.

Governance dell'IA e del digitale prepara le evidenze. Le decisioni seguenti sono prese dalle autorità indicate, secondo le proprie regole, e mai dalla piattaforma.

Chi decideLa domandaEvidenze fornite da questa pagina
Ministri e responsabili di agenzieSe automatizzare una decisione e con quali garanzieValutazioni d'impatto, evidenze di audit e lezioni tratte da sistemi
Autorità per la protezione dei datiSe il trattamento e le decisioni automatizzate sono lecitiRegistri di valutazione e reclami
Difensori civici e uffici di controlloWhether to investigate a system and what to recommendRicorsi, reclami e dati sugli esiti
Courts and tribunalsSe una decisione o un sistema abbia violato diritti o norme di leggeRegistri presentati dalle parti; la pagina fornisce solo il contesto

Output prodotti da questo argomento

  • Note comparative sui registri degli algoritmi e sulle valutazioni d'impatto
  • Guida a una revisione umana significativa nelle decisioni automatizzate
  • Note di dialogo sulle lezioni tratte dagli algoritmi pubblici sospesi
  • Domande per le agenzie prima di impiegare un sistema decisionale automatizzato
08Questioni centrali

Che cosa chiedono gli esperti sulle decisioni pubbliche algoritmiche.

  • What legal power authorises this use, and does the algorithm stay within it?
  • Una persona interessata può scoprire che è stato usato un algoritmo, capire come e contestarne il risultato?
  • Il sistema funziona in modo diverso per gruppi diversi, e ciò è giustificato?
  • What happens when the system is wrong, and how quickly is the error found and corrected?
09Meccanismi

Come le decisioni algoritmiche vanno male.

Gli algoritmi addestrati su dati storici possono riprodurre schemi storici di svantaggio. Una variabile proxy apparentemente neutra, come il codice postale, può essere correlata a caratteristiche protette. Gli errori su larga scala differiscono dagli errori individuali: una regola difettosa applicata a un intero carico di pratiche danneggia molte persone contemporaneamente e allo stesso modo, il che può sopraffare i sistemi.

The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.

Why now: automated systems are used for eligibility, triage and fraud detection in public services, and courts and ombudsmen in several countries have examined cases where they went wrong. The platform is designed to compare review and redress arrangements and record what affected people can actually do.

10Metodi e limiti

Safeguards and their limits.

  1. 01

    Registri pubblici degli algoritmi

    Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.

  2. 02

    Explanation and notification

    Informare le persone di quando è stato usato un algoritmo e del perché abbia prodotto un risultato. Limiti: le spiegazioni di modelli complessi possono essere parziali.

  3. 03

    Fairness testing

    Measuring performance across groups, using machine learning methods. Limits: different fairness measures can conflict, and choosing among them is a value judgement.

  4. 04

    Ricorso e riparazione

    Percorsi verso il riesame umano, il ricorso e il rimedio. Limiti: dipendono da processi accessibili e da personale adeguato.

12Domande

Domande e risposte.

Che cos'è una valutazione dell'impatto algoritmico?
Una revisione strutturata, prima e durante l'implementazione, dei rischi che un sistema automatizzato pone alle persone e di come vengono mitigati. Il Canada ne richiede una per le decisioni automatizzate federali.
What makes human review meaningful?
The reviewer has the time, competence, information and authority to depart from the system’s output, and does so in practice when warranted.
Le persone hanno il diritto di non essere sottoposte a decisioni automatizzate?
Under the GDPR, people have rights concerning decisions based solely on automated processing that significantly affect them, with exceptions and safeguards. Other jurisdictions differ.
Una decisione pubblica può essere presa interamente da un algoritmo?
Dipende dalla legge di ciascuna giurisdizione. Molti ordinamenti limitano le decisioni completamente automatizzate con effetti significativi sulle persone e richiedono l'intervento umano e un diritto di contestazione.
Why can’t fairness be measured with one number?
Because there are several reasonable definitions of fairness, and mathematically they often cannot all be satisfied at once. Choosing among them is a policy decision.
Does the platform take up individual cases?
No. I singoli casi spettano all'organismo che li gestisce, ai difensori civici, ai tribunali e alle corti.
I registri degli algoritmi sono obbligatori?
Alcune giurisdizioni e città li pubblicano volontariamente o in base a una politica; i requisiti variano.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Governance dell'IA e del digitale

Portate una questione di governance al Forum.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.