GRF · Gobernanza de la IA y lo digital
Supervisión y rendición de cuentas de la IA
When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.
Supervisión y rendición de cuentas de la IA en siete partes.
- 01La preguntaSupervisión y rendición de cuentas de la IA: cómo se desarrolla el riesgo
- 02IndicadoresQué se mide y con qué calidad
- 03FuentesDe dónde proviene la evidencia
- 04DecisionesQuién decide y a qué sirve la evidencia
- 05Core questionsWhat institutions ask about oversight
- 06MechanismsWhy accountability erodes
- 07Métodos y límitesInstrumentos de supervisión
Supervisión y rendición de cuentas de la IA: cómo se desarrolla el riesgo.
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
La responsabilidad se diluye a lo largo de la cadena
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
Los registros determinan qué puede revisarse
Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.
Authorities lack capacity
Las autoridades de vigilancia del mercado, de protección de datos y los reguladores sectoriales necesitan personal técnico, acceso a sistemas y facultades para someterlos a prueba. Una capacidad insuficiente convierte las normas en autoevaluación.
Incidents go unreported
Los fallos salen a la luz a través de reclamaciones, el periodismo y litigios, más que mediante informes. La notificación obligatoria de incidentes y las bases de datos compartidas de incidentes permiten ver patrones entre distintos despliegues.
Registro público de algoritmos.
La pantalla que utilizaría un equipo para seguir esta materia: sus mediciones, estados y decisiones. Los nombres son ejemplos y los valores son ilustrativos.
Registro público de algoritmos
Supervisión y rendición de cuentas de la IA · Registro de algoritmos · Trimestre 2
Sistemas registrados
| Detección de fraude en prestaciones | Agencia social | Alto | Inexistente | Parcial |
| Clasificación de solicitudes de permisos | Planificación | Limitado | Hecho | Sí |
| Asignación escolar | Educación | Alto | Hecho | Sí |
| Asistente de chat | Oficina tributaria | Mínimo | Hecho | n/a |
Acción de supervisión
- Sistema
- Detección de fraude en prestaciones
- Obligatorio
- evaluación de impacto, vía de apelación
- Plazo
- 73 days
- Autoridad
- Órgano de supervisión
Reclamaciones sobre decisiones automatizadas
Qué se mide y con qué calidad.
Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.
| Indicador | Unidad | Cadencia | Tipo de fuente | Etiqueta |
|---|---|---|---|---|
| Designated AI supervisory or market surveillance authority | sí o no, con fundamento jurídico | cuando cambia | Legislación nacional y notificaciones | Estadísticas publicadas |
| Personal técnico en autoridades relevantes para la IA | equivalentes a tiempo completo | anual | Informes anuales de las autoridades | NOTIFICADO |
| Serious incidents reported under AI rules | recuento por sector | anual | Registros públicos | Estadísticas publicadas |
| Publicly recorded AI incidents | recuento por tipo de daño | mensual | Bases de datos de incidentes | NOTIFICADO |
| Acciones de ejecución relativas a sistemas | count by authority and type | anual | Registros de sanciones de los reguladores | Estadísticas publicadas |
| ISO/IEC 42001 certificates issued | recuento | anual | Certification body records | NOTIFICADO |
Comparar instrumentos: normas, incentivos e información.
Tres familias de instrumentos comparadas con la línea de base, cada una con su propio desfase y su propia velocidad de adopción, según la cobertura y el cumplimiento que usted fije; los tamaños de efecto son valores didácticos que deben sustituirse por evidencia. Escenario: supuestos explícitos sobre el futuro, no un pronóstico.
Controles
- Tendencia de base del resultado
- El 2,0 % anual
- Cobertura del instrumento
- 70%
- Cumplimiento
- 75%
- Tamaño del efecto, frente al valor didáctico
- 100%
- Años por delante
- 20 años
Lecturas
- Mayor reducción en el horizonte
- Regulación
- Su reducción respecto de la línea de base
- 21%
Cifras, métodos y fuentes
| Año | Referencia | Regulación | Incentivo económico | Información y capacidades |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Métodos
- Tools of government Hood (1983), The Tools of Government, Macmillan
- Zanahorias, palos y sermones Bemelmans-Videc, Rist y Vedung (1998), Transaction
- Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
- Abanico de incertidumbre (Monte Carlo de parámetros) Spiegelhalter, Pearson y Short (2011), Visualising uncertainty about the future, Science 333
- One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Datos
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Borders Natural Earth
- Cities Natural Earth
En los seis pilares, bajo la dirección de Nexus Consortium
- Experimentos Laboratorios
- Integrado en Gobernanza de la IA y lo digital en Foundry
- Probado en Gobernanza de la IA y lo digital en Universe
- Codificado en Riesgo digital, cibernético y de la IA en Standards
- Publicado en Gobernanza de la IA y lo digital en Reports
- Se imparte en Facultad de Tecnología y Sistemas Digitales en Academy
De dónde procede la evidencia.
Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.
| Fuente | Lo que aporta | Tipo de licencia |
|---|---|---|
| Observatorio de Políticas de IA de la OCDE (OECD.AI) | National AI policies, governance bodies and the AI Incidents Monitor | Gratuita, condiciones de la OCDE |
| AI Incident Database | Crowd-sourced records of harms involving AI systems | Abierto, licencia por verificar |
| European Data Protection Board and national authority decisions | Decisiones sobre el tratamiento automatizado y las reclamaciones relacionadas con la IA | Public, EU and national reuse terms |
| Informe del Stanford AI Index | Datos sobre el desarrollo, las políticas y los incidentes de la IA | Gratis para leer, con licencia por consultar |
| Informes anuales de los reguladores | Staffing, priorities and enforcement of authorities supervising AI | Registros públicos, condiciones según cada autoridad |
Del mandato a la evaluación, por pilar.
Los pasos que sigue un instrumento desde el mandato hasta la evaluación, con el pilar que lo ejecuta y las decisiones que siguen en manos de la autoridad. Modelo didáctico con valores ilustrativos declarados, no una predicción.
- Mandato y planteamiento del problema Autoridad competente (fuera del programa)
Una autoridad competente plantea el problema y el mandato conforme a sus propias normas. Howlett, Ramesh y Perl (2009) - Evidence and system model Foundry
The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2 - Options appraised with scenarios Foundry
Instruments are compared under scenarios, with uncertainty shown. Hood (1983) - Ejercicio con las partes interesadas Universo
Las opciones se ponen a prueba en un ejercicio con quienes las implementarían y las soportarían. OCDE (2014), principio 3 - Standard or guidance drafted Nexus Standards
What works is codified as a standard or guidance, open to comment. Nexus Standards process - Decisión de la autoridad Autoridad competente (fuera del programa)
La autoridad decide, fuera del programa, con la evidencia que consta en acta. Howlett, Ramesh y Perl (2009) - Capacity and training Risk Academy
Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2 - Seguimiento e informe público Informes
Los indicadores se publican con sus fuentes, límites y correcciones. OCDE (2014), principio 5 - Evaluation and revision Nexus Standards
Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)
Métodos
- Ciclo de políticas Howlett, Ramesh y Perl (2009), Studying Public Policy, Oxford University Press
- Gobernanza de los riesgos críticos OCDE (2014), Recomendación del Consejo sobre la Gobernanza de los Riesgos Críticos
- Dibujo por capas de grafos dirigidos Sugiyama, Tagawa y Toda (1981), IEEE SMC 11
En los seis pilares, bajo la dirección de Nexus Consortium
- Experimentos Laboratorios
- Integrado en Gobernanza de la IA y lo digital en Foundry
- Probado en Gobernanza de la IA y lo digital en Universe
- Codificado en Riesgo digital, cibernético y de la IA en Standards
- Publicado en Gobernanza de la IA y lo digital en Reports
- Se imparte en Facultad de Tecnología y Sistemas Digitales en Academy
Quién decide y a qué sirve la evidencia.
Gobernanza de la IA y lo digital prepara evidencia. Las decisiones que figuran a continuación las toman las autoridades indicadas, conforme a sus propias normas, y nunca la plataforma.
| Quién decide | La pregunta | Evidencia a la que sirve esta página |
|---|---|---|
| Parlamentos | Qué obligaciones corresponden a desarrolladores, implantadores y proveedores de modelos de uso general | Regímenes comparados y evidencia procedente de incidentes |
| Market surveillance and sector regulators | Which systems to inspect and what powers to use | Incident records, risk categories and enforcement practice |
| Boards of deploying organisations | Who owns AI risk and what assurance they require | Prácticas de gobernanza y normas de sistemas de gestión |
| Tribunales | Quién es responsable del daño causado con un sistema de IA | Records and expert evidence presented by parties; the page serves context only |
Productos que genera este tema
- Maps of accountability across the AI value chain for a given use
- Notas comparativas sobre las autoridades supervisoras de la IA y sus competencias
- Guide to AI incident reporting regimes and databases
- Preguntas para consejos de administración y reguladores sobre la supervisión de la IA
Cómo se rigen la supervisión y la rendición de cuentas de la IA: instrumentos, mandatos y compromisos.
Los instrumentos, mandatos, actores y mecanismos de rendición de cuentas con los que trabaja un responsable de políticas, un diplomático o un organismo de desarrollo, con cita de los acuerdos que los establecen. Las estructuras siguen los marcos nombrados. Cualquier estado o avance representado es ilustrativo, no un registro.
Ciclo de rendición de cuentas
Cómo se exige el cumplimiento de los compromisos sobre supervisión y rendición de cuentas de la IA, desde el compromiso hasta la corrección.
- ComprometerGobiernoUn compromiso con un mandato y una base jurídica.
- PlanificarOrganismo responsableUn plan nacional con responsables e hitos.
- RecursoMinisterio de FinanzasUna partida presupuestaria o una financiación registrada.
- ImplementarOrganismos y gobierno localEjecución con respecto al plan.
- InformeOficina de estadísticaIndicadores comunicados según definiciones acordadas.
- RevisiónPoder legislativo, auditoría, sociedad civilRevisión independiente de resultados y brechas.
- CorregirGobiernoCambios en el plan, publicados con sus motivos.
What institutions ask about oversight.
- Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
- Has the system been validated for this specific use and population, by someone independent of its developers?
- Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
- ¿Cómo se supervisará el desempeño una vez que el sistema esté en uso y qué activa la suspensión?
Why accountability erodes.
Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.
Rubber-stamp review
Las personas tienden a confiar en los resultados automatizados, sobre todo bajo presión de tiempo, de modo que la revisión humana puede convertirse en una formalidad.
Muchas manos
Developers, vendors, integrators and users each own part of the system and none owns the outcome.
Changing performance
Models degrade as the world changes, and without monitoring the degradation goes unnoticed.
Instruments of oversight.
- 01
Impact assessments
Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.
- 02
Validación independiente
Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.
- 03
Meaningful human review
Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.
- 04
Pistas de auditoría y seguimiento
Logs of inputs, outputs and decisions, with performance tracked over time. Limits: only useful if someone reviews them.
Cómo se estudia y lo que los métodos no pueden decir.
- 01Ingeniería de evaluación y garantía de la IAAlcance de las auditorías externas · Pruebas de equidad en los sistemas públicos · Supervisión posterior al despliegueAplicado aquí
- 02Ciencia de las políticas, las instituciones y la toma de decisionesComparación de regímenes de IA · Mapeo de la rendición de cuentas en la cadena de valor · Mapeo de foros y mandatosAplicado aquí
- 03Inteligencia artificial y aprendizaje automáticoCómo fallan los modelos en el despliegue · Lectura de la documentación de los modelos · Arquitecturas de agentes explicadasAplicado aquí
Preguntas y respuestas.
What is the difference between an AI provider and a deployer?
Why does logging matter for AI oversight?
Does ISO/IEC 42001 certify that an AI system is safe?
Is having a human in the loop enough?
¿Quién debe validar un sistema de IA?
Does the platform audit AI systems?
What should trigger suspending a system?
Aporte evidencia desde esta página.
Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.
- Correo electrónicoPasarela GW-GRFEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Plantee una cuestión de gobernanza al Foro.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Documentos jurídicos.
Mostrar los 18 documentos jurídicos
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.