Third-party audit scope
Audit engagements are compared for access, independence and what they test, so buyers and regulators know what an audit opinion covers.
GRF · Governance dell'IA e del digitale
Valutazione e ingegneria di assurance dell'IA per la governance dell'IA e del digitale
AI assurance is the set of practices that build justified confidence in an AI system: evaluation, audit, red-teaming, monitoring and conformity assessment. In digital governance it decides what evidence regulators, buyers and courts can rely on, and who is independent enough to produce it.
01Registrare
Dati principali.
Registro del metodoMetodo STEM
- MetodoIngegneria della valutazione e dell'assicurazione dell'IA
- Applicato inGovernance dell'IA e del digitale
- Dati4 input
- Verifiche3 fasi di validazione
- Pagina canonicaBeni comuni STEM
02Domanda di adesione
What AI evaluation and assurance engineering does here.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI sistemi. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence, digital public infrastructure and cyber and digital resilience, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on i beni comuni STEM.
Fairness testing in public systems
Outcome rates across groups are compared and proxy effects tested, with the fairness criterion chosen by the decision maker stated.
Post-deployment monitoring
Monitoring plans track drift, complaints and incidents after deployment, with thresholds that trigger review or withdrawal.
03Scenari di policy
Confrontare gli strumenti: regole, incentivi e informazione.
Tre famiglie di strumenti a confronto con lo scenario di riferimento, ciascuna con il proprio ritardo e la propria velocità di adozione, con la copertura e la conformità da voi impostate; le dimensioni degli effetti sono valori didattici da sostituire con evidenze. Scenario: ipotesi dichiarate sul futuro, non una previsione.
Comandi
- Andamento di base dell'esito
- 2,0% all'anno
- Copertura dello strumento
- 70%
- Conformità
- 75%
- Dimensione dell'effetto, rispetto al valore didattico
- 100%
- Anni a venire
- 20 anni
Letture
- Maggiore riduzione all'orizzonte
- Regolamentazione
- La sua riduzione rispetto al valore di riferimento
- 21%
Numeri, metodi e fonti
| Anno | Base di riferimento | Regolamentazione | Incentivo economico | Informazione e capacità |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Metodi
- Gli strumenti del governo Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist e Vedung (1998), Transaction
- Diffusione delle innovazioni Rogers (2003), Diffusion of Innovations, Free Press
- Ventaglio di incertezza (Monte Carlo sui parametri) Spiegelhalter, Pearson e Short (2011), Visualising uncertainty about the future, Science 333
- Sensibilità un fattore alla volta (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dati
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Confini Natural Earth
- Città Natural Earth
Nei sei pilastri, sotto la guida di Nexus Consortium
- Esperimenti Laboratori
- Costruito in Governance dell'IA e del digitale in Foundry
- Testato a Governance dell'IA e del digitale in Universe
- Codificato in Digitale, cibernetico e IA in Standards
- Pubblicato in Governance dell'IA e del digitale in Reports
- Insegnato in Facoltà di Tecnologia e sistemi digitali in Academy
04Dati
Cosa utilizza il metodo.
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in registro delle fonti.
| Dati | Ruolo | Etichetta |
|---|---|---|
| Audit and evaluation reports | Assurance evidence | RIPORTATO |
| Outcome and appeal data | Real-world performance | OSSERVATO |
| Conformity assessment records | Regulatory compliance | DICHIARATO |
| Incident reports | Failures in use | RIPORTATO |
05Implementazione
Dal mandato alla valutazione, per pilastro.
I passaggi che uno strumento compie dal mandato alla valutazione, ciascuno con il pilastro che lo gestisce, e le decisioni che restano all'autorità. Modello didattico con valori illustrativi dichiarati, non una previsione.
- Mandato e inquadramento del problema Autorità competente (al di fuori del programma)
Un'autorità competente inquadra il problema e il mandato secondo le proprie regole. Howlett, Ramesh e Perl (2009) - Evidenze e modello del sistema Foundry
Il sistema è modellato con i suoi meccanismi di retroazione, i dati e i limiti dichiarati. OCSE (2014), principio 2 - Opzioni valutate con scenari Foundry
Gli strumenti sono confrontati in diversi scenari, con l'incertezza esplicitata. Hood (1983) - Esercitazione con i portatori di interesse Universo
Le opzioni sono messe alla prova in un'esercitazione con chi dovrebbe attuarle e sopportarne le conseguenze. OECD (2014), principio 3 - Norma o linee guida redatte Nexus Standards
Ciò che funziona viene codificato come norma o linee guida, aperte ai commenti. Processo di Nexus Standards - Decisione dell'autorità Autorità competente (al di fuori del programma)
L'autorità decide, al di fuori del programma, sulla base delle evidenze agli atti. Howlett, Ramesh e Perl (2009) - Capacità e formazione Risk Academy
Chi attua riceve formazione sullo strumento deciso e sui suoi dati. Quadro di riferimento di Sendai per la riduzione del rischio di disastri (2015), priorità 2 - Monitoraggio e rapporto pubblico Rapporti
Gli indicatori sono pubblicati con fonti, limiti e correzioni. OECD (2014), principio 5 - Valutazione e revisione Nexus Standards
I risultati tornano alla norma e al modello: il ciclo si chiude. Howlett, Ramesh e Perl (2009)
Metodi
- Ciclo delle politiche Howlett, Ramesh e Perl (2009), Studying Public Policy, Oxford University Press
- Governance dei rischi critici OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- Layered drawing of directed graphs Sugiyama, Tagawa e Toda (1981), IEEE SMC 11
Nei sei pilastri, sotto la guida di Nexus Consortium
- Esperimenti Laboratori
- Costruito in Governance dell'IA e del digitale in Foundry
- Testato a Governance dell'IA e del digitale in Universe
- Codificato in Digitale, cibernetico e IA in Standards
- Pubblicato in Governance dell'IA e del digitale in Reports
- Insegnato in Facoltà di Tecnologia e sistemi digitali in Academy
06Validazione
Come vengono verificati i risultati.
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| Verifica | Come si fa |
|---|---|
| Indipendenza | The assessor’s relationship to the developer and deployer is stated |
| Accesso | The level of access to model, data and documentation is recorded |
| Scope stated | What the assurance covers and excludes is stated beside its conclusion |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
07Strumenti e impegni
Strumenti, mandati e impegni.
Gli strumenti, i mandati, gli attori e gli assetti di responsabilità con cui lavorano decisori politici, diplomatici e agenzie di sviluppo, con la citazione degli accordi che li stabiliscono. Le strutture seguono i quadri indicati. Qualsiasi stato o avanzamento raffigurato è illustrativo, non un registro.
Matrice degli strumenti di policy
The kinds of instrument available on AI evaluation and assurance engineering for AI and digital governance, by level of government and cooperation.
| Tipo di strumento | Locale | Nazionale | Regionale | Globale |
|---|---|---|---|---|
| Normativo | Zonizzazione, codici edilizi | Leggi, norme, autorizzazioni | Regole armonizzate | Convenzioni e trattati |
| Economico | Prelievi locali, sovvenzioni | Voci di bilancio, imposte, sistemi assicurativi | Pool di rischio, fondi regionali | Meccanismi di finanziamento |
| Informazione | Allerte locali | Divulgazione, allerta precoce, statistiche | Accordi di condivisione dei dati | Monitoraggio e rendicontazione globali |
| Istituzionale | Comitati locali | Agenzie capofila, consigli di coordinamento | Organismi regionali e segretariati | Mandati multilaterali |
| Cooperativo | Accordi comunitari | Patti di partenariato | Memorandum e programmi congiunti | Accordi e impegni congiunti |
Quadro di riferimento di Sendai per la riduzione del rischio di disastri · UNDRRAccordo di Parigi · UNFCCCAgenda 2030 e Obiettivi di sviluppo sostenibile · Nazioni UniteRegolamento sanitario internazionale · OMS
08Collegamenti
Argomenti che si basano su questo metodo.
09Custodia
Chi mantiene il metodo.
Intelligenza artificiale e sistemi autonomi stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
10Connesso
Dove porta questa pagina nel Consorzio.
11Domande
Domande e risposte.
What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Come vengono verificati i risultati?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
I valori di questa pagina sono reali?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Dove altro viene applicato questo metodo?
L'Observatory pagina canonica del metodo elenca ogni piattaforma che lo applica.
RapportiContribuisci
Contribuisci con evidenze da questa pagina.
Rapporti is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumGovernance dell'IA e del digitaleTecnologia esponenzialeNota sulle evidenze
- E-mailGateway GW-GRFInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoDeposito apertoDepositalo e invialo alla comunitàPubblica il tuo registro su Zenodo con il tuo ORCID iD, poi invialo alla comunità Reports. I curatori lo esaminano; il DOI resta tuo.
- RapportiGlobal Risks ForumVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Governance dell'IA e del digitale
Portate una questione di governance al Forum.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Note legali
Documenti legali.
Mostra tutti i 18 documenti legali
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.