GRF · Governance dell'IA e del digitale
Decisioni pubbliche algoritmiche
I governi usano algoritmi per valutare le domande di prestazioni, individuare le frodi, assegnare le ispezioni, stabilire punteggi di rischio nell'attività di polizia e nella migrazione, e sostenere giudici e operatori. Queste decisioni incidono su diritti e mezzi di sussistenza su larga scala, e gli errori si ripetono in migliaia di casi prima che qualcuno li veda. Questa pagina illustra come le decisioni pubbliche algoritmiche vanno storte e come funzionano le garanzie, i registri che le documentano e chi decide se e come un sistema viene usato.
Algorithmic public decisions in seven parts.
- 01The questionAlgorithmic public decisions: how the risk develops
- 02IndicatoriCosa viene misurato e con quale accuratezza
- 03FontiDa dove provengono le evidenze
- 04DecisioniChi decide, e a cosa servono le evidenze
- 05Core questionsWhat experts ask about algorithmic public decisions
- 06MeccanismiCome le decisioni algoritmiche vanno storte
- 07Metodi e limitiSalvaguardie e loro limiti
Algorithmic public decisions: how the risk develops.
Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Gli errori si amplificano in silenzio
Una regola o un modello errato si applica a ogni caso che ne è interessato. Senza il monitoraggio degli esiti e dei ricorsi, un errore sistematico può negare o penalizzare ingiustamente molte persone prima di essere individuato.
Le distorsioni entrano attraverso i dati e la progettazione
Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.
Human review becomes rubber-stamping
I funzionari pubblici chiamati a rivedere risultati automatizzati sotto pressione temporale tendono ad accettarli. Una revisione significativa richiede tempo, autorità di ribaltare l'esito e informazioni su come il risultato è stato prodotto.
L'opacità ostacola la contestazione
People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.
Registro pubblico degli algoritmi.
La schermata che un gruppo utilizzerebbe per seguire questo tema: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.
Registro pubblico degli algoritmi
Algorithmic public decisions · Algorithm register · Quarter 1
Sistemi registrati
| Segnalazione di frodi sulle prestazioni | Capacità d'azione sociale | Alto | Mancante | Parziale |
| Triage dei permessi | Pianificazione | Limitato | Fatto | Sì |
| Assegnazione dei posti scolastici | Istruzione | Alto | Fatto | Sì |
| Assistente chat | Ufficio delle imposte | Minimo | Fatto | n/a |
Azione di vigilanza
- Sistema
- Segnalazione di frodi sulle prestazioni
- Obbligatorio
- valutazione d'impatto, via di ricorso
- Scadenza
- 64 days
- Autorità
- Organismo di vigilanza
Reclami sulle decisioni automatizzate
Cosa viene misurato e con quale accuratezza.
Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.
| Indicatore | Unità | Cadenza | Tipo di fonte | Etichetta |
|---|---|---|---|---|
| Public algorithmic systems in a transparency register | conteggio per agenzia | on update | Algorithm registers | DICHIARATO |
| Algorithmic impact assessments published | conteggio | annuale | Pubblicazioni governative | DICHIARATO |
| Ricorsi contro le decisioni automatizzate | numero e quota confermati | annuale | Agency and tribunal records | Statistiche pubblicate |
| Disparità di esito tra i gruppi | ratio of adverse outcome rates | per audit | Audit indipendenti | STIMATO |
| Systems suspended or withdrawn after review | conteggio | annuale | Registri governativi e giudiziari | Statistiche pubblicate |
| Ombudsman complaints about automated decisions | conteggio | annuale | Relazioni del difensore civico | Statistiche pubblicate |
How algorithmic public decisions is governed: instruments, mandates and commitments.
Gli strumenti, i mandati, gli attori e gli assetti di responsabilità con cui lavorano decisori politici, diplomatici e agenzie di sviluppo, con la citazione degli accordi che li stabiliscono. Le strutture seguono i quadri indicati. Qualsiasi stato o avanzamento raffigurato è illustrativo, non un registro.
Matrice degli strumenti di policy
The kinds of instrument available on algorithmic public decisions, by level of government and cooperation.
| Tipo di strumento | Locale | Nazionale | Regionale | Globale |
|---|---|---|---|---|
| Normativo | Zonizzazione, codici edilizi | Leggi, norme, autorizzazioni | Regole armonizzate | Convenzioni e trattati |
| Economico | Prelievi locali, sovvenzioni | Voci di bilancio, imposte, sistemi assicurativi | Pool di rischio, fondi regionali | Meccanismi di finanziamento |
| Informazione | Allerte locali | Divulgazione, allerta precoce, statistiche | Accordi di condivisione dei dati | Monitoraggio e rendicontazione globali |
| Istituzionale | Comitati locali | Agenzie capofila, consigli di coordinamento | Organismi regionali e segretariati | Mandati multilaterali |
| Cooperativo | Accordi comunitari | Patti di partenariato | Memorandum e programmi congiunti | Accordi e impegni congiunti |
Da dove provengono le evidenze.
Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.
| Fonte | Cosa fornisce | Classe di licenza |
|---|---|---|
| UK Algorithmic Transparency Recording Standard records | Registri pubblicati degli strumenti algoritmici utilizzati dagli enti pubblici | Open Government Licence |
| Amsterdam and Helsinki algorithm registers | City registers of algorithmic systems in use | Dati aperti, condizioni per città |
| Direttiva canadese sul processo decisionale automatizzato e valutazioni dell'impatto algoritmico | Mandatory impact assessments for federal automated decisions | Open Government Licence, Canada |
| Relazioni del difensore civico e degli uffici di controllo | Investigations of automated decision systems in public services | Registri pubblici, condizioni stabilite da ciascun ufficio |
| Court judgments on automated public decisions | Sentenze sulla liceità dei sistemi algoritmici | Public records, terms per court |
Chi decide, e a cosa servono le evidenze.
Governance dell'IA e del digitale prepara le evidenze. Le decisioni seguenti sono prese dalle autorità indicate, secondo le proprie regole, e mai dalla piattaforma.
| Chi decide | La domanda | Evidenze fornite da questa pagina |
|---|---|---|
| Ministri e responsabili di agenzie | Se automatizzare una decisione e con quali garanzie | Valutazioni d'impatto, evidenze di audit e lezioni tratte da sistemi |
| Autorità per la protezione dei dati | Se il trattamento e le decisioni automatizzate sono leciti | Registri di valutazione e reclami |
| Difensori civici e uffici di controllo | Whether to investigate a system and what to recommend | Ricorsi, reclami e dati sugli esiti |
| Courts and tribunals | Se una decisione o un sistema abbia violato diritti o norme di legge | Registri presentati dalle parti; la pagina fornisce solo il contesto |
Output prodotti da questo argomento
- Note comparative sui registri degli algoritmi e sulle valutazioni d'impatto
- Guida a una revisione umana significativa nelle decisioni automatizzate
- Note di dialogo sulle lezioni tratte dagli algoritmi pubblici sospesi
- Domande per le agenzie prima di impiegare un sistema decisionale automatizzato
Che cosa chiedono gli esperti sulle decisioni pubbliche algoritmiche.
- What legal power authorises this use, and does the algorithm stay within it?
- Una persona interessata può scoprire che è stato usato un algoritmo, capire come e contestarne il risultato?
- Il sistema funziona in modo diverso per gruppi diversi, e ciò è giustificato?
- What happens when the system is wrong, and how quickly is the error found and corrected?
Come le decisioni algoritmiche vanno male.
Gli algoritmi addestrati su dati storici possono riprodurre schemi storici di svantaggio. Una variabile proxy apparentemente neutra, come il codice postale, può essere correlata a caratteristiche protette. Gli errori su larga scala differiscono dagli errori individuali: una regola difettosa applicata a un intero carico di pratiche danneggia molte persone contemporaneamente e allo stesso modo, il che può sopraffare i sistemi.
The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.
Why now: automated systems are used for eligibility, triage and fraud detection in public services, and courts and ombudsmen in several countries have examined cases where they went wrong. The platform is designed to compare review and redress arrangements and record what affected people can actually do.
Safeguards and their limits.
- 01
Registri pubblici degli algoritmi
Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.
- 02
Explanation and notification
Informare le persone di quando è stato usato un algoritmo e del perché abbia prodotto un risultato. Limiti: le spiegazioni di modelli complessi possono essere parziali.
- 03
Fairness testing
Measuring performance across groups, using machine learning methods. Limits: different fairness measures can conflict, and choosing among them is a value judgement.
- 04
Ricorso e riparazione
Percorsi verso il riesame umano, il ricorso e il rimedio. Limiti: dipendono da processi accessibili e da personale adeguato.
Come viene studiato, e cosa i metodi non possono dire.
- 01Ingegneria della valutazione e dell'assicurazione dell'IAAmbito dell'audit di terze parti · Test di equità nei sistemi pubblici · Monitoraggio successivo all'impiegoApplicato qui
- 02Scienze delle politiche, delle istituzioni e delle decisioniConfronto tra regimi di IA · Mappatura della responsabilità lungo la catena del valore · Mappatura dei forum e dei mandatiApplicato qui
- 03Intelligenza artificiale e apprendimento automaticoCome falliscono i modelli in fase di impiego · Leggere la documentazione dei modelli · Architetture degli agenti spiegateApplicato qui
- 04Identità digitale e sistemi digitali pubbliciLivelli di garanzia per i servizi pubblici · Divulgazione minima · Analisi dell'esclusioneApplicato qui
Domande e risposte.
Che cos'è una valutazione dell'impatto algoritmico?
What makes human review meaningful?
Le persone hanno il diritto di non essere sottoposte a decisioni automatizzate?
Una decisione pubblica può essere presa interamente da un algoritmo?
Why can’t fairness be measured with one number?
Does the platform take up individual cases?
I registri degli algoritmi sono obbligatori?
Contribuisci con evidenze da questa pagina.
Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.
- EmailGateway GW-GRFSend it from this pageEvidence, a correction, a case, a method, a review, a translation or profile input. It arrives tagged with this page, so the editor who owns it receives it.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Portate una questione di governance al Forum.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Mostra tutti i 18 documenti legali
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.