Third-party audit scope
Audit engagements are compared for access, independence and what they test, so buyers and regulators know what an audit opinion covers.
GRF · Gobernanza de la IA y lo digital
Evaluación e ingeniería de aseguramiento de la IA para la gobernanza de la IA y lo digital
AI assurance is the set of practices that build justified confidence in an AI system: evaluation, audit, red-teaming, monitoring and conformity assessment. In digital governance it decides what evidence regulators, buyers and courts can rely on, and who is independent enough to produce it.
01Registro
Datos clave.
Registro del métodoMétodo CTIM
- MétodoIngeniería de evaluación y garantía de la IA
- Se aplica enGobernanza de la IA y lo digital
- Datos4 datos de entrada
- Comprobaciones3 pasos de validación
- Página canónicaProcomún CTIM
02Solicitud
What AI evaluation and assurance engineering does here.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI sistemas. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence, digital public infrastructure and cyber and digital resilience, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on el bien común CTIM.
Fairness testing in public systems
Outcome rates across groups are compared and proxy effects tested, with the fairness criterion chosen by the decision maker stated.
Post-deployment monitoring
Monitoring plans track drift, complaints and incidents after deployment, with thresholds that trigger review or withdrawal.
03Escenarios de política
Comparar instrumentos: normas, incentivos e información.
Tres familias de instrumentos comparadas con la línea de base, cada una con su propio desfase y su propia velocidad de adopción, según la cobertura y el cumplimiento que usted fije; los tamaños de efecto son valores didácticos que deben sustituirse por evidencia. Escenario: supuestos explícitos sobre el futuro, no un pronóstico.
Controles
- Tendencia de base del resultado
- El 2,0 % anual
- Cobertura del instrumento
- 70%
- Cumplimiento
- 75%
- Tamaño del efecto, frente al valor didáctico
- 100%
- Años por delante
- 20 años
Lecturas
- Mayor reducción en el horizonte
- Regulación
- Su reducción respecto de la línea de base
- 21%
Cifras, métodos y fuentes
| Año | Referencia | Regulación | Incentivo económico | Información y capacidades |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Métodos
- Las herramientas del gobierno Hood (1983), The Tools of Government, Macmillan
- Zanahorias, palos y sermones Bemelmans-Videc, Rist y Vedung (1998), Transaction
- Difusión de innovaciones Rogers (2003), Diffusion of Innovations, Free Press
- Abanico de incertidumbre (Monte Carlo de parámetros) Spiegelhalter, Pearson y Short (2011), Visualising uncertainty about the future, Science 333
- Sensibilidad de un factor a la vez (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Datos
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Fronteras Natural Earth
- Ciudades Natural Earth
En los seis pilares, bajo la dirección de Nexus Consortium
- Experimentos Laboratorios
- Integrado en Gobernanza de la IA y lo digital en Foundry
- Probado en Gobernanza de la IA y lo digital en Universe
- Codificado en Riesgo digital, cibernético y de la IA en Standards
- Publicado en Gobernanza de la IA y lo digital en Reports
- Se imparte en Facultad de Tecnología y Sistemas Digitales en Academy
04Datos
Lo que consume el método.
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in el registro de fuentes.
| Datos | Función | Etiqueta |
|---|---|---|
| Audit and evaluation reports | Assurance evidence | NOTIFICADO |
| Outcome and appeal data | Real-world performance | OBSERVADO |
| Conformity assessment records | Regulatory compliance | DECLARADO |
| Incident reports | Failures in use | NOTIFICADO |
05Implementación
Del mandato a la evaluación, por pilar.
Los pasos que sigue un instrumento desde el mandato hasta la evaluación, con el pilar que lo ejecuta y las decisiones que siguen en manos de la autoridad. Modelo didáctico con valores ilustrativos declarados, no una predicción.
- Mandato y planteamiento del problema Autoridad competente (fuera del programa)
Una autoridad competente plantea el problema y el mandato conforme a sus propias normas. Howlett, Ramesh y Perl (2009) - Evidencia y modelo del sistema Foundry
El sistema se modela con sus retroalimentaciones, datos y límites declarados. OCDE (2014), principio 2 - Opciones evaluadas con escenarios Foundry
Los instrumentos se comparan en distintos escenarios, mostrando la incertidumbre. Hood (1983) - Ejercicio con las partes interesadas Universo
Las opciones se ponen a prueba en un ejercicio con quienes las implementarían y las soportarían. OCDE (2014), principio 3 - Norma u orientación redactada Nexus Standards
Lo que funciona se codifica como norma u orientación, abierta a comentarios. Proceso de Nexus Standards - Decisión de la autoridad Autoridad competente (fuera del programa)
La autoridad decide, fuera del programa, con la evidencia que consta en acta. Howlett, Ramesh y Perl (2009) - Capacidades y formación Risk Academy
Quienes implementan reciben formación sobre el instrumento decidido y sus datos. Marco de Sendai para la Reducción del Riesgo de Desastres (2015), prioridad 2 - Seguimiento e informe público Informes
Los indicadores se publican con sus fuentes, límites y correcciones. OCDE (2014), principio 5 - Evaluación y revisión Nexus Standards
Los resultados vuelven a la norma y al modelo: el ciclo se cierra. Howlett, Ramesh y Perl (2009)
Métodos
- Ciclo de políticas Howlett, Ramesh y Perl (2009), Studying Public Policy, Oxford University Press
- Gobernanza de los riesgos críticos OCDE (2014), Recomendación del Consejo sobre la Gobernanza de los Riesgos Críticos
- Dibujo por capas de grafos dirigidos Sugiyama, Tagawa y Toda (1981), IEEE SMC 11
En los seis pilares, bajo la dirección de Nexus Consortium
- Experimentos Laboratorios
- Integrado en Gobernanza de la IA y lo digital en Foundry
- Probado en Gobernanza de la IA y lo digital en Universe
- Codificado en Riesgo digital, cibernético y de la IA en Standards
- Publicado en Gobernanza de la IA y lo digital en Reports
- Se imparte en Facultad de Tecnología y Sistemas Digitales en Academy
06Validación
Cómo se verifican los resultados.
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| Verificación | Cómo se hace |
|---|---|
| Independencia | The assessor’s relationship to the developer and deployer is stated |
| Acceso | The level of access to model, data and documentation is recorded |
| Scope stated | What the assurance covers and excludes is stated beside its conclusion |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
07Instrumentos y compromisos
Instrumentos, mandatos y compromisos.
Los instrumentos, mandatos, actores y mecanismos de rendición de cuentas con los que trabaja un responsable de políticas, un diplomático o un organismo de desarrollo, con cita de los acuerdos que los establecen. Las estructuras siguen los marcos nombrados. Cualquier estado o avance representado es ilustrativo, no un registro.
Matriz de instrumentos de política
The kinds of instrument available on AI evaluation and assurance engineering for AI and digital governance, by level of government and cooperation.
| Tipo de instrumento | Local | Nacional | Regional | Mundial |
|---|---|---|---|---|
| Regulatorio | Zonificación, códigos de construcción | Leyes, normas, licencias | Normas armonizadas | Convenciones y tratados |
| Económico | Tasas locales, subvenciones | Partidas presupuestarias, impuestos, esquemas de seguro | Fondos mancomunados de riesgo, fondos regionales | Mecanismos de financiación |
| Información | Alertas locales | Divulgación, alerta temprana, estadísticas | Acuerdos de intercambio de datos | Seguimiento y presentación de informes a nivel mundial |
| Institucional | Comités locales | Organismos rectores, consejos de coordinación | Organismos regionales y secretarías | Mandatos multilaterales |
| Cooperativo | Acuerdos comunitarios | Pactos de alianza | Memorandos y programas conjuntos | Acuerdos y compromisos conjuntos |
Marco de Sendai para la Reducción del Riesgo de Desastres · UNDRRAcuerdo de París · CMNUCCAgenda 2030 y los Objetivos de Desarrollo Sostenible · Naciones UnidasReglamento Sanitario Internacional · OMS
09Custodia responsable
Quién mantiene el método.
Inteligencia artificial y sistemas autónomos stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
10Conectado
Adónde lleva esta página en todo el Consorcio.
11Preguntas
Preguntas y respuestas.
What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
¿Cómo se verifican los resultados?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
¿Son reales los valores de esta página?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
¿Dónde más se aplica este método?
El Observatory del página canónica del método enumera todas las plataformas que lo aplican.
InformesContribuir
Aporte evidencia desde esta página.
Informes is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumGobernanza de la IA y lo digitalTecnología exponencialNota de evidencia
- Correo electrónicoPasarela GW-GRFEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoDepósito abiertoDeposítelo y envíelo a la comunidadPublique su propio registro en Zenodo con su ORCID iD y luego envíelo a la comunidad de Reports allí. Los curadores lo revisan; el DOI sigue siendo suyo.
- InformesGlobal Risks ForumVer todas las formas de contribuirLos tipos de contribución, cómo se revisa cada uno, qué crédito recibe, la licencia y qué nunca se acepta.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Gobernanza de la IA y lo digital
Plantee una cuestión de gobernanza al Foro.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Legal
Documentos jurídicos.
Mostrar los 18 documentos jurídicos
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.