Skip to content

GRF · Governance dell'IA e del digitale

Agenti autonomi e responsabilità

Gli agenti di IA ora pianificano e compiono azioni su software, pagamenti e sistemi fisici con un intervento umano limitato. Quando un agente causa un danno, le norme sulla responsabilità vigenti devono stabilire chi paga: lo sviluppatore, chi lo mette in uso, l'utente o il gestore della piattaforma su cui ha agito. Questa pagina illustra come l'autonomia mette sotto pressione responsabilità e supervisione, i registri che lo mostrano e chi decide come attribuire la responsabilità.

01Registrare

Autonomous agents and liability on the record.

02La domanda

Autonomous agents and liability: how the risk develops.

Confini dell'azione e responsabilità. Il dossier che segue illustra come si sviluppa il rischio, che cosa si misura, da dove provengono i dati, come sono modellizzati e chi decide.

Meccanismo

Actions outrun intent

Un agente che persegue un obiettivo può compiere passi che il suo utente non aveva previsto né autorizzato. La responsabilità per colpa fatica ad applicarsi quando nessuna persona voleva o poteva ragionevolmente prevedere l'azione dannosa.

Meccanismo

Many hands, unclear fault

Il modello, il framework degli agenti, i fornitori di strumenti, l'impresa che lo impiega e l'utente contribuiscono tutti. Dimostrare quale difetto abbia causato il danno è oneroso per i ricorrenti privi di accesso ai registri.

Meccanismo

Permissions define exposure

What an agent can access, spend or change sets the size of possible harm. Limits, confirmations and kill switches are governance choices made at deployment.

Meccanismo

Law adapts slowly

La responsabilità del produttore, il diritto contrattuale e quello della responsabilità extracontrattuale vengono reinterpretati per software e IA. Finché tribunali e legislatori non risolvono le questioni, l'incertezza stessa condiziona l'impiego.

03Monitoraggio

Registro pubblico degli algoritmi.

La schermata che un gruppo utilizzerebbe per seguire questo tema: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.

Registro pubblico degli algoritmi

Autonomous agents and liability · Algorithm register · Quarter 2

Due sistemi ad alto rischio senza valutazioneGRF · Governance dell'IA e del digitale

Sistemi registrati

Segnalazione di frodi sulle prestazioniCapacità d'azione socialeAltoMancanteParziale
Triage dei permessiPianificazioneLimitatoFattoSì
Assegnazione dei posti scolasticiIstruzioneAltoFattoSì
Assistente chatUfficio delle imposteMinimoFatton/a

Azione di vigilanza

Sistema
Segnalazione di frodi sulle prestazioni
Obbligatorio
valutazione d'impatto, via di ricorso
Scadenza
77 days
Autorità
Organismo di vigilanza

Reclami sulle decisioni automatizzate

Public algorithm register: the screen’s structure, terms and states for Autonomous agents and liability.Example names and illustrative values; a design, not a record or a live system.
04Indicatori

Cosa viene misurato e con quale accuratezza.

Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.

IndicatoreUnitàCadenzaTipo di fonteEtichetta
Giurisdizioni che trattano il software come prodotto ai fini della responsabilitàconteggioal cambiamentoLegislazioneStatistiche pubblicate
Decisioni giudiziarie su danni causati dall'IAconteggio per tipoannualeBanche dati di giurisprudenzaStatistiche pubblicate
Incidenti di agenti segnalaticonteggio per tipo di dannomensileBanche dati degli incidentiRIPORTATO
Implementazioni con limiti di autorizzazione documentatiquota delle implementazioni rilevateperiodicoSurveys and auditsDICHIARATO
Insurance products covering AI liabilitynumero di offerteannualeRapporti di mercatoRIPORTATO
Orientamenti normativi sull'IA agenticanumero di documentiannualeRegulator publicationsStatistiche pubblicate
05Strumenti e impegni

How autonomous agents and liability is governed: instruments, mandates and commitments.

Gli strumenti, i mandati, gli attori e gli assetti di responsabilità con cui lavorano decisori politici, diplomatici e agenzie di sviluppo, con la citazione degli accordi che li stabiliscono. Le strutture seguono i quadri indicati. Qualsiasi stato o avanzamento raffigurato è illustrativo, non un registro.

Matrice degli strumenti di policy

The kinds of instrument available on autonomous agents and liability, by level of government and cooperation.

Tipo di strumentoLocaleNazionaleRegionaleGlobale
NormativoZonizzazione, codici ediliziLeggi, norme, autorizzazioniRegole armonizzateConvenzioni e trattati
EconomicoPrelievi locali, sovvenzioniVoci di bilancio, imposte, sistemi assicurativiPool di rischio, fondi regionaliMeccanismi di finanziamento
InformazioneAllerte localiDivulgazione, allerta precoce, statisticheAccordi di condivisione dei datiMonitoraggio e rendicontazione globali
IstituzionaleComitati localiAgenzie capofila, consigli di coordinamentoOrganismi regionali e segretariatiMandati multilaterali
CooperativoAccordi comunitariPatti di partenariatoMemorandum e programmi congiuntiAccordi e impegni congiunti
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Quadro di riferimento di Sendai per la riduzione del rischio di disastri · UNDRRAccordo di Parigi · UNFCCCAgenda 2030 e Obiettivi di sviluppo sostenibile · Nazioni UniteRegolamento sanitario internazionale · OMS
06Fonti

Da dove provengono le evidenze.

Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.

FonteCosa fornisceClasse di licenza
Direttiva UE riveduta sulla responsabilità per danno da prodotti difettosiLiability rules including software and AI systems as productsPubblico, condizioni di riutilizzo dell'UE
Rapporti delle commissioni per la riforma del diritto e dei parlamenti sulla responsabilità per l'IAAnalysis of liability options for AI and automated systemsRegistri pubblici, condizioni stabilite da ciascun organismo
OECD AI Incidents MonitorIncidenti registrati che coinvolgono sistemi di IAGratuito, condizioni OCSE
Automated and Electric Vehicles Act e Automated Vehicles Act del Regno UnitoAttribuzione della responsabilità per i veicoli automatizzatiOpen Government Licence
Court judgment databasesDecisioni sui danni che coinvolgono sistemi automatizzatiPublic records, terms per court
07Decisioni

Chi decide, e a cosa servono le evidenze.

Governance dell'IA e del digitale prepara le evidenze. Le decisioni seguenti sono prese dalle autorità indicate, secondo le proprie regole, e mai dalla piattaforma.

Chi decideLa domandaEvidenze fornite da questa pagina
Legislatures and law commissionsHow liability rules apply to autonomous systemsRegimi comparati ed evidenze dai casi
Organizzazioni che effettuano il dispiegamentoChe cosa può fare un agente e quali controlli si applicanoPratiche di controllo ed evidenze sugli incidenti
AssicuratoriSe e come coprire la responsabilità legata all'IAAndamento degli incidenti e sviluppi giuridici
TribunaliChi è responsabile del danno in un caso specificoRegistri presentati dalle parti; la pagina fornisce solo il contesto

Output prodotti da questo argomento

  • Comparative notes on liability rules for software and AI
  • Guida ai limiti di autorizzazione e ai controlli per l'implementazione di agenti
  • Documenti di dialogo sull'attribuzione delle responsabilità nelle catene di IA con più parti
  • Domande per i legislatori sulla responsabilità degli agenti
08Questioni centrali

What experts ask about autonomous agents.

  • Quali azioni può compiere questo agente e come vengono applicati tecnicamente tali limiti?
  • Quando un agente causa un danno, chi ne risponde: lo sviluppatore, chi lo impiega o l'utente?
  • How can an agent’s actions be traced, reviewed and reversed?
  • How should agents interact with other agents, and who governs those interactions?
09Meccanismi

Why agents raise new governance questions.

La maggior parte dei quadri di governance è stata concepita per sistemi che consigliano una persona, la quale poi agisce. Gli agenti eliminano questa distanza, e con essa uno dei principali punti in cui venivano individuati gli errori. Perché adesso: gli agenti di IA che agiscono per conto di persone e organizzazioni sollevano questioni di responsabilità che le norme esistenti non avevano previsto, e i legislatori le stanno ancora affrontando. La piattaforma è concepita per confrontare gli approcci emergenti e per registrare le questioni aperte per i decisori, senza fornire consulenza legale.

Autonomy

Azione senza revisione

Agents can act faster and more often than people can review, so errors can multiply before anyone notices.

Interaction

Agents meeting agents

Interactions between automated systems can produce outcomes no one designed, as seen in automated trading.

Liability

Unclear responsibility

Le norme vigenti sulla responsabilità presuppongono che abbia agito una persona o un'impresa; gli agenti rendono più complesso stabilire chi sia.

10Metodi e limiti

Strumenti per delimitare gli agenti.

  1. 01

    Controlli di autorizzazione e di ambito

    Limiti tecnici a ciò a cui gli agenti possono accedere e a ciò che possono fare, studiati nell'ambito dell' Ingegneria della valutazione e dell'assicurazione dell'IA. Limiti: gli agenti possono trovare vie impreviste per aggirare i controlli.

  2. 02

    Logging and reversibility

    Recording actions and designing them to be undoable where possible. Limits: some actions cannot be reversed.

  3. 03

    Soglie di approvazione umana

    Richiedere l'approvazione umana oltre livelli di rischio definiti. Limiti: può rallentare le operazioni e favorire l'affaticamento da approvazione.

  4. 04

    Liability analysis

    Comparing how legal systems allocate responsibility. Limits: law is still developing.

12Domande

Domande e risposte.

Che cos'è un agente di IA?
Un sistema di IA che persegue obiettivi pianificando e compiendo azioni, come richiamare strumenti, navigare in rete, scrivere codice o effettuare pagamenti, con una limitata guida umana passo per passo.
Chi è responsabile quando un agente di IA causa un danno?
Dipende dalla giurisdizione e dai fatti. Possono applicarsi la responsabilità per danno da prodotto, il diritto contrattuale, la negligenza e le norme di settore a sviluppatori, operatori che mettono in uso i sistemi o utenti; molte questioni non sono ancora definite.
What controls limit agent harm?
Autorizzazioni limitate, limiti di spesa, conferma umana per le azioni rilevanti, registrazione, monitoraggio e capacità di arrestare l'agente.
Can an AI agent be legally responsible?
Under current law in most jurisdictions, no. Responsibility rests with people and organisations. How it is divided among them is still being worked out.
Come si possono mantenere entro limiti le azioni degli agenti?
Attraverso limiti tecnici di autorizzazione, monitoraggio, approvazione umana per le azioni ad alto rischio e la possibilità di interrompere e annullare le azioni.
La piattaforma mette alla prova gli agenti?
No. La valutazione tecnica si svolge presso GCRI; la piattaforma confronta la governance.
Why do agent interactions matter?
Because when many automated systems react to each other, small errors can amplify quickly, as sudden market moves driven by automated trading have shown.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Governance dell'IA e del digitale

Portate una questione di governance al Forum.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.