Skip to content

GRF · Gobernanza de la IA y lo digital

Decisiones públicas algorítmicas

Los gobiernos utilizan algoritmos para evaluar solicitudes de prestaciones, detectar fraudes, asignar inspecciones, fijar puntuaciones de riesgo en la actuación policial y la migración, y apoyar a jueces y trabajadores de casos. Estas decisiones afectan a derechos y medios de vida a gran escala, y los errores se repiten en miles de casos antes de que alguien los vea. Esta página expone cómo fallan las decisiones públicas algorítmicas y cómo funcionan las salvaguardias, los registros que las muestran y quién decide si se usa un sistema y cómo.

02La pregunta

Algorithmic public decisions: how the risk develops.

Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mecanismo

Los errores se escalan en silencio

Una regla o un modelo defectuoso se aplica a todos los casos que alcanza. Sin seguimiento de los resultados ni mecanismos de apelación, un error sistemático puede denegar o sancionar indebidamente a muchas personas antes de ser detectado.

Mecanismo

El sesgo entra por los datos y el diseño

Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.

Mecanismo

Human review becomes rubber-stamping

Los funcionarios públicos a quienes se pide revisar resultados automatizados con premura tienden a aceptarlos. Una revisión significativa requiere tiempo, autoridad para revocar y información sobre cómo se generó el resultado.

Mecanismo

La opacidad impide la impugnación

People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.

03Seguimiento

Registro público de algoritmos.

La pantalla que utilizaría un equipo para seguir esta materia: sus mediciones, estados y decisiones. Los nombres son ejemplos y los valores son ilustrativos.

Registro público de algoritmos

Algorithmic public decisions · Algorithm register · Quarter 1

Dos sistemas de alto riesgo sin evaluaciónGRF · Gobernanza de la IA y lo digital

Sistemas registrados

Detección de fraude en prestacionesAgencia socialAltoInexistenteParcial
Clasificación de solicitudes de permisosPlanificaciónLimitadoHechoSí
Asignación escolarEducaciónAltoHechoSí
Asistente de chatOficina tributariaMínimoHechon/a

Acción de supervisión

Sistema
Detección de fraude en prestaciones
Obligatorio
evaluación de impacto, vía de apelación
Plazo
64 days
Autoridad
Órgano de supervisión

Reclamaciones sobre decisiones automatizadas

Public algorithm register: the screen’s structure, terms and states for Algorithmic public decisions.Example names and illustrative values; a design, not a record or a live system.
04Indicadores

Qué se mide y con qué calidad.

Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.

IndicadorUnidadCadenciaTipo de fuenteEtiqueta
Public algorithmic systems in a transparency registerrecuento por organismoal actualizarseAlgorithm registersDECLARADO
Algorithmic impact assessments publishedrecuentoanualPublicaciones gubernamentalesDECLARADO
Recursos contra decisiones automatizadasnúmero y proporción confirmadosanualAgency and tribunal recordsEstadísticas publicadas
Disparidad de resultados entre gruposratio of adverse outcome ratespor auditoríaAuditorías independientesESTIMADO
Systems suspended or withdrawn after reviewrecuentoanualGovernment and court recordsEstadísticas publicadas
Ombudsman complaints about automated decisionsrecuentoanualOmbudsman reportsEstadísticas publicadas
05Instrumentos y compromisos

Cómo se gobiernan las decisiones públicas algorítmicas: instrumentos, mandatos y compromisos.

Los instrumentos, mandatos, actores y mecanismos de rendición de cuentas con los que trabaja un responsable de políticas, un diplomático o un organismo de desarrollo, con cita de los acuerdos que los establecen. Las estructuras siguen los marcos nombrados. Cualquier estado o avance representado es ilustrativo, no un registro.

Matriz de instrumentos de política

Los tipos de instrumento disponibles sobre las decisiones públicas algorítmicas, por nivel de gobierno y de cooperación.

Tipo de instrumentoLocalNacionalRegionalMundial
RegulatorioZonificación, códigos de construcciónLeyes, normas, licenciasNormas armonizadasConvenciones y tratados
EconómicoTasas locales, subvencionesPartidas presupuestarias, impuestos, esquemas de seguroFondos mancomunados de riesgo, fondos regionalesMecanismos de financiación
InformaciónAlertas localesDivulgación, alerta temprana, estadísticasAcuerdos de intercambio de datosSeguimiento y presentación de informes a nivel mundial
InstitucionalComités localesOrganismos rectores, consejos de coordinaciónOrganismos regionales y secretaríasMandatos multilaterales
CooperativoAcuerdos comunitariosPactos de alianzaMemorandos y programas conjuntosAcuerdos y compromisos conjuntos
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Marco de Sendai para la Reducción del Riesgo de Desastres · UNDRRAcuerdo de París · CMNUCCAgenda 2030 y los Objetivos de Desarrollo Sostenible · Naciones UnidasReglamento Sanitario Internacional · OMS
06Fuentes

De dónde procede la evidencia.

Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.

FuenteLo que aportaTipo de licencia
Registros del Algorithmic Transparency Recording Standard del Reino UnidoPublished records of algorithmic tools used by public bodiesOpen Government Licence
Amsterdam and Helsinki algorithm registersCity registers of algorithmic systems in useOpen data, terms per city
Directiva de Canadá sobre la toma de decisiones automatizada y las evaluaciones de impacto algorítmicoMandatory impact assessments for federal automated decisionsOpen Government Licence, Canada (Licencia de Gobierno Abierto, Canadá)
Informes del defensor del pueblo y de las entidades de auditoríaInvestigations of automated decision systems in public servicesRegistros públicos, condiciones según cada oficina
Court judgments on automated public decisionsRulings on lawfulness of algorithmic systemsRegistros públicos, mandatos por tribunal
07Decisiones

Quién decide y a qué sirve la evidencia.

Gobernanza de la IA y lo digital prepara evidencia. Las decisiones que figuran a continuación las toman las autoridades indicadas, conforme a sus propias normas, y nunca la plataforma.

Quién decideLa preguntaEvidencia a la que sirve esta página
Ministros y jefes de organismosSi conviene automatizar una decisión y con qué salvaguardasEvaluaciones de impacto, evidencia de auditoría y lecciones de sistemas
Autoridades de protección de datosSi el tratamiento y las decisiones automatizadas son lícitosRegistros de evaluación y reclamaciones
Ombudsmen and audit officesWhether to investigate a system and what to recommendDatos de recursos, reclamaciones y resultados
Courts and tribunalsSi una decisión o un sistema vulneró derechos o la leyRegistros presentados por las partes; la página solo ofrece contexto

Productos que genera este tema

  • Comparative notes on algorithm registers and impact assessments
  • Guía para una revisión humana significativa en las decisiones automatizadas
  • Resúmenes de diálogo sobre las lecciones de los algoritmos públicos suspendidos
  • Questions for agencies before deploying an automated decision system
08Cuestiones centrales

Lo que preguntan los expertos sobre las decisiones públicas algorítmicas.

  • ¿Qué poder jurídico autoriza este uso y se mantiene el algoritmo dentro de sus límites?
  • ¿Puede una persona afectada saber que se utilizó un algoritmo, comprender cómo y impugnar el resultado?
  • Does the system perform differently for different groups, and is that justified?
  • What happens when the system is wrong, and how quickly is the error found and corrected?
09Mecanismos

Cómo fallan las decisiones algorítmicas.

Algorithms trained on historical data can reproduce historical patterns of disadvantage. A proxy variable that seems neutral, such as postcode, may correlate with protected characteristics. Errors at scale differ from individual errors: a flawed rule applied to an entire caseload harms many people at once and in the same way, which can overwhelm complaint systems.

The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.

Por qué ahora: los sistemas automatizados se utilizan para la elegibilidad, la clasificación y la detección de fraude en los servicios públicos, y tribunales y defensorías del pueblo de varios países han examinado casos en que fallaron. La plataforma está diseñada para comparar los mecanismos de revisión y reparación y registrar lo que las personas afectadas pueden hacer realmente.

10Métodos y límites

Salvaguardas y sus límites.

  1. 01

    Registros públicos de algoritmos

    Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.

  2. 02

    Explicación y notificación

    Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.

  3. 03

    Pruebas de equidad

    Medición del desempeño entre grupos mediante métodos de aprendizaje automático . Límites: distintas medidas de equidad pueden entrar en conflicto, y elegir entre ellas es un juicio de valor.

  4. 04

    Appeal and redress

    Vías de acceso a revisión humana, apelación y reparación. Límites: dependen de procesos accesibles y de personal suficiente.

12Preguntas

Preguntas y respuestas.

¿Qué es una evaluación de impacto algorítmico?
A structured review, before and during deployment, of the risks an automated system poses to people and how they are mitigated. Canada requires one for federal automated decisions.
What makes human review meaningful?
The reviewer has the time, competence, information and authority to depart from the system’s output, and does so in practice when warranted.
¿Tienen las personas derecho a no ser objeto de decisiones automatizadas?
Under the GDPR, people have rights concerning decisions based solely on automated processing that significantly affect them, with exceptions and safeguards. Other jurisdictions differ.
¿Puede una decisión pública tomarse enteramente mediante un algoritmo?
Depende de la legislación de cada jurisdicción. Muchos ordenamientos jurídicos restringen las decisiones totalmente automatizadas con efectos significativos sobre las personas y exigen la intervención humana y el derecho a impugnarlas.
Why can’t fairness be measured with one number?
Because there are several reasonable definitions of fairness, and mathematically they often cannot all be satisfied at once. Choosing among them is a policy decision.
Does the platform take up individual cases?
No. Individual cases belong to the deploying body, ombudsmen, tribunals and courts.
¿Se exigen registros de algoritmos?
Some jurisdictions and cities publish them voluntarily or under policy; requirements vary.
InformesContribuir

Aporte evidencia desde esta página.

Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Gobernanza de la IA y lo digital

Plantee una cuestión de gobernanza al Foro.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.