Skip to content

GRF · Gobernanza de la IA y lo digital

Supervisión y rendición de cuentas de la IA

When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.

02La pregunta

Supervisión y rendición de cuentas de la IA: cómo se desarrolla el riesgo.

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mecanismo

La responsabilidad se diluye a lo largo de la cadena

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

Mecanismo

Los registros determinan qué puede revisarse

Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.

Mecanismo

Authorities lack capacity

Las autoridades de vigilancia del mercado, de protección de datos y los reguladores sectoriales necesitan personal técnico, acceso a sistemas y facultades para someterlos a prueba. Una capacidad insuficiente convierte las normas en autoevaluación.

Mecanismo

Incidents go unreported

Los fallos salen a la luz a través de reclamaciones, el periodismo y litigios, más que mediante informes. La notificación obligatoria de incidentes y las bases de datos compartidas de incidentes permiten ver patrones entre distintos despliegues.

03Seguimiento

Registro público de algoritmos.

La pantalla que utilizaría un equipo para seguir esta materia: sus mediciones, estados y decisiones. Los nombres son ejemplos y los valores son ilustrativos.

Registro público de algoritmos

Supervisión y rendición de cuentas de la IA · Registro de algoritmos · Trimestre 2

Dos sistemas de alto riesgo sin evaluaciónGRF · Gobernanza de la IA y lo digital

Sistemas registrados

Detección de fraude en prestacionesAgencia socialAltoInexistenteParcial
Clasificación de solicitudes de permisosPlanificaciónLimitadoHechoSí
Asignación escolarEducaciónAltoHechoSí
Asistente de chatOficina tributariaMínimoHechon/a

Acción de supervisión

Sistema
Detección de fraude en prestaciones
Obligatorio
evaluación de impacto, vía de apelación
Plazo
73 days
Autoridad
Órgano de supervisión

Reclamaciones sobre decisiones automatizadas

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04Indicadores

Qué se mide y con qué calidad.

Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.

IndicadorUnidadCadenciaTipo de fuenteEtiqueta
Designated AI supervisory or market surveillance authoritysí o no, con fundamento jurídicocuando cambiaLegislación nacional y notificacionesEstadísticas publicadas
Personal técnico en autoridades relevantes para la IAequivalentes a tiempo completoanualInformes anuales de las autoridadesNOTIFICADO
Serious incidents reported under AI rulesrecuento por sectoranualRegistros públicosEstadísticas publicadas
Publicly recorded AI incidentsrecuento por tipo de dañomensualBases de datos de incidentesNOTIFICADO
Acciones de ejecución relativas a sistemascount by authority and typeanualRegistros de sanciones de los reguladoresEstadísticas publicadas
ISO/IEC 42001 certificates issuedrecuentoanualCertification body recordsNOTIFICADO
05Escenarios de política

Comparar instrumentos: normas, incentivos e información.

Tres familias de instrumentos comparadas con la línea de base, cada una con su propio desfase y su propia velocidad de adopción, según la cobertura y el cumplimiento que usted fije; los tamaños de efecto son valores didácticos que deben sustituirse por evidencia. Escenario: supuestos explícitos sobre el futuro, no un pronóstico.

Controles

Tendencia de base del resultado
El 2,0 % anual
Cobertura del instrumento
70%
Cumplimiento
75%
Tamaño del efecto, frente al valor didáctico
100%
Años por delante
20 años

Lecturas

Mayor reducción en el horizonte
Regulación
Su reducción respecto de la línea de base
21%
Cifras, métodos y fuentes
AñoReferenciaRegulaciónIncentivo económicoInformación y capacidades
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

Métodos

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Zanahorias, palos y sermones Bemelmans-Videc, Rist y Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Abanico de incertidumbre (Monte Carlo de parámetros) Spiegelhalter, Pearson y Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

Datos

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
Comparar instrumentos: normas, incentivos e información. Modelo didáctico ilustrativo: funciona con los valores fijados por los controles, no con datos medidos. Métodos: Las herramientas del gobierno (Hood (1983), The Tools of Government, Macmillan); Zanahorias, palos y sermones (Bemelmans-Videc, Rist y Vedung (1998), Transaction); Difusión de innovaciones (Rogers (2003), Diffusion of Innovations, Free Press).
06Fuentes

De dónde procede la evidencia.

Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.

FuenteLo que aportaTipo de licencia
Observatorio de Políticas de IA de la OCDE (OECD.AI)National AI policies, governance bodies and the AI Incidents MonitorGratuita, condiciones de la OCDE
AI Incident DatabaseCrowd-sourced records of harms involving AI systemsAbierto, licencia por verificar
European Data Protection Board and national authority decisionsDecisiones sobre el tratamiento automatizado y las reclamaciones relacionadas con la IAPublic, EU and national reuse terms
Informe del Stanford AI IndexDatos sobre el desarrollo, las políticas y los incidentes de la IAGratis para leer, con licencia por consultar
Informes anuales de los reguladoresStaffing, priorities and enforcement of authorities supervising AIRegistros públicos, condiciones según cada autoridad
07Implementación

Del mandato a la evaluación, por pilar.

Los pasos que sigue un instrumento desde el mandato hasta la evaluación, con el pilar que lo ejecuta y las decisiones que siguen en manos de la autoridad. Modelo didáctico con valores ilustrativos declarados, no una predicción.

  1. Mandato y planteamiento del problema Autoridad competente (fuera del programa)
    Una autoridad competente plantea el problema y el mandato conforme a sus propias normas. Howlett, Ramesh y Perl (2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. Ejercicio con las partes interesadas Universo
    Las opciones se ponen a prueba en un ejercicio con quienes las implementarían y las soportarían. OCDE (2014), principio 3
  5. Standard or guidance drafted Nexus Standards
    What works is codified as a standard or guidance, open to comment. Nexus Standards process
  6. Decisión de la autoridad Autoridad competente (fuera del programa)
    La autoridad decide, fuera del programa, con la evidencia que consta en acta. Howlett, Ramesh y Perl (2009)
  7. Capacity and training Risk Academy
    Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2
  8. Seguimiento e informe público Informes
    Los indicadores se publican con sus fuentes, límites y correcciones. OCDE (2014), principio 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

Métodos

  1. Ciclo de políticas Howlett, Ramesh y Perl (2009), Studying Public Policy, Oxford University Press
  2. Gobernanza de los riesgos críticos OCDE (2014), Recomendación del Consejo sobre la Gobernanza de los Riesgos Críticos
  3. Dibujo por capas de grafos dirigidos Sugiyama, Tagawa y Toda (1981), IEEE SMC 11
Del mandato a la evaluación, por pilar: los pasos tal como constan, cada uno con su pilar; fuentes citadas en cada paso.
08Decisiones

Quién decide y a qué sirve la evidencia.

Gobernanza de la IA y lo digital prepara evidencia. Las decisiones que figuran a continuación las toman las autoridades indicadas, conforme a sus propias normas, y nunca la plataforma.

Quién decideLa preguntaEvidencia a la que sirve esta página
ParlamentosQué obligaciones corresponden a desarrolladores, implantadores y proveedores de modelos de uso generalRegímenes comparados y evidencia procedente de incidentes
Market surveillance and sector regulatorsWhich systems to inspect and what powers to useIncident records, risk categories and enforcement practice
Boards of deploying organisationsWho owns AI risk and what assurance they requirePrácticas de gobernanza y normas de sistemas de gestión
TribunalesQuién es responsable del daño causado con un sistema de IARecords and expert evidence presented by parties; the page serves context only

Productos que genera este tema

  • Maps of accountability across the AI value chain for a given use
  • Notas comparativas sobre las autoridades supervisoras de la IA y sus competencias
  • Guide to AI incident reporting regimes and databases
  • Preguntas para consejos de administración y reguladores sobre la supervisión de la IA
09Instrumentos y compromisos

Cómo se rigen la supervisión y la rendición de cuentas de la IA: instrumentos, mandatos y compromisos.

Los instrumentos, mandatos, actores y mecanismos de rendición de cuentas con los que trabaja un responsable de políticas, un diplomático o un organismo de desarrollo, con cita de los acuerdos que los establecen. Las estructuras siguen los marcos nombrados. Cualquier estado o avance representado es ilustrativo, no un registro.

Ciclo de rendición de cuentas

Cómo se exige el cumplimiento de los compromisos sobre supervisión y rendición de cuentas de la IA, desde el compromiso hasta la corrección.

  1. ComprometerGobiernoUn compromiso con un mandato y una base jurídica.
  2. PlanificarOrganismo responsableUn plan nacional con responsables e hitos.
  3. RecursoMinisterio de FinanzasUna partida presupuestaria o una financiación registrada.
  4. ImplementarOrganismos y gobierno localEjecución con respecto al plan.
  5. InformeOficina de estadísticaIndicadores comunicados según definiciones acordadas.
  6. RevisiónPoder legislativo, auditoría, sociedad civilRevisión independiente de resultados y brechas.
  7. CorregirGobiernoCambios en el plan, publicados con sus motivos.
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
Marco de Sendai para la Reducción del Riesgo de Desastres · UNDRRAcuerdo de París · CMNUCCAgenda 2030 y los Objetivos de Desarrollo Sostenible · Naciones UnidasReglamento Sanitario Internacional · OMS
10Cuestiones centrales

What institutions ask about oversight.

  • Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
  • Has the system been validated for this specific use and population, by someone independent of its developers?
  • Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
  • ¿Cómo se supervisará el desempeño una vez que el sistema esté en uso y qué activa la suspensión?
11Mecanismos

Why accountability erodes.

Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.

Automation bias

Rubber-stamp review

Las personas tienden a confiar en los resultados automatizados, sobre todo bajo presión de tiempo, de modo que la revisión humana puede convertirse en una formalidad.

Diffusion

Muchas manos

Developers, vendors, integrators and users each own part of the system and none owns the outcome.

Deriva

Changing performance

Models degrade as the world changes, and without monitoring the degradation goes unnoticed.

12Métodos y límites

Instruments of oversight.

  1. 01

    Impact assessments

    Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.

  2. 02

    Validación independiente

    Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.

  3. 03

    Meaningful human review

    Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.

  4. 04

    Pistas de auditoría y seguimiento

    Logs of inputs, outputs and decisions, with performance tracked over time. Limits: only useful if someone reviews them.

13Métodos

Cómo se estudia y lo que los métodos no pueden decir.

  1. Ingeniería de evaluación y garantía de la IAAlcance de las auditorías externas · Pruebas de equidad en los sistemas públicos · Supervisión posterior al despliegueAplicado aquí
  2. Ciencia de las políticas, las instituciones y la toma de decisionesComparación de regímenes de IA · Mapeo de la rendición de cuentas en la cadena de valor · Mapeo de foros y mandatosAplicado aquí
  3. Inteligencia artificial y aprendizaje automáticoCómo fallan los modelos en el despliegue · Lectura de la documentación de los modelos · Arquitecturas de agentes explicadasAplicado aquí
14Preguntas

Preguntas y respuestas.

What is the difference between an AI provider and a deployer?
In the EU AI Act, a provider develops an AI system or model and places it on the market; a deployer uses it under its authority. Each carries different obligations.
Why does logging matter for AI oversight?
Logs and documentation let auditors, regulators and courts reconstruct how a system behaved. Without them, accountability depends on what the operator chooses to disclose.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Is having a human in the loop enough?
Not by itself. Review is meaningful only if the reviewer has the authority, time, information and competence to disagree with the system and does so when warranted.
¿Quién debe validar un sistema de IA?
Una persona independiente de quienes lo desarrollaron o vendieron, con acceso a los datos pertinentes y la competencia para probarlo para el uso previsto.
Does the platform audit AI systems?
No. Compara prácticas de gobernanza y no prueba ni certifica ningún sistema.
What should trigger suspending a system?
Las instituciones fijan sus propios umbrales de activación, que suelen incluir evidencia de tasas de error superiores a un nivel acordado, variaciones inexplicadas en los resultados o quejas creíbles de daños.
InformesContribuir

Aporte evidencia desde esta página.

Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Gobernanza de la IA y lo digital

Plantee una cuestión de gobernanza al Foro.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.