GRF · Gobernanza de la IA y lo digital
Decisiones públicas algorítmicas
Los gobiernos utilizan algoritmos para evaluar solicitudes de prestaciones, detectar fraudes, asignar inspecciones, fijar puntuaciones de riesgo en la actuación policial y la migración, y apoyar a jueces y trabajadores de casos. Estas decisiones afectan a derechos y medios de vida a gran escala, y los errores se repiten en miles de casos antes de que alguien los vea. Esta página expone cómo fallan las decisiones públicas algorítmicas y cómo funcionan las salvaguardias, los registros que las muestran y quién decide si se usa un sistema y cómo.
Algorithmic public decisions in seven parts.
- 01La preguntaDecisiones públicas algorítmicas: cómo se desarrolla el riesgo
- 02IndicadoresQué se mide y con qué calidad
- 03FuentesDe dónde proviene la evidencia
- 04DecisionesQuién decide y a qué sirve la evidencia
- 05Core questionsWhat experts ask about algorithmic public decisions
- 06MecanismosCómo fallan las decisiones algorítmicas
- 07Métodos y límitesSalvaguardas y sus límites
Algorithmic public decisions: how the risk develops.
Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Los errores se escalan en silencio
Una regla o un modelo defectuoso se aplica a todos los casos que alcanza. Sin seguimiento de los resultados ni mecanismos de apelación, un error sistemático puede denegar o sancionar indebidamente a muchas personas antes de ser detectado.
El sesgo entra por los datos y el diseño
Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.
Human review becomes rubber-stamping
Los funcionarios públicos a quienes se pide revisar resultados automatizados con premura tienden a aceptarlos. Una revisión significativa requiere tiempo, autoridad para revocar y información sobre cómo se generó el resultado.
La opacidad impide la impugnación
People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.
Registro público de algoritmos.
La pantalla que utilizaría un equipo para seguir esta materia: sus mediciones, estados y decisiones. Los nombres son ejemplos y los valores son ilustrativos.
Registro público de algoritmos
Algorithmic public decisions · Algorithm register · Quarter 1
Sistemas registrados
| Detección de fraude en prestaciones | Agencia social | Alto | Inexistente | Parcial |
| Clasificación de solicitudes de permisos | Planificación | Limitado | Hecho | Sí |
| Asignación escolar | Educación | Alto | Hecho | Sí |
| Asistente de chat | Oficina tributaria | Mínimo | Hecho | n/a |
Acción de supervisión
- Sistema
- Detección de fraude en prestaciones
- Obligatorio
- evaluación de impacto, vía de apelación
- Plazo
- 64 days
- Autoridad
- Órgano de supervisión
Reclamaciones sobre decisiones automatizadas
Qué se mide y con qué calidad.
Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.
| Indicador | Unidad | Cadencia | Tipo de fuente | Etiqueta |
|---|---|---|---|---|
| Public algorithmic systems in a transparency register | recuento por organismo | al actualizarse | Algorithm registers | DECLARADO |
| Algorithmic impact assessments published | recuento | anual | Publicaciones gubernamentales | DECLARADO |
| Recursos contra decisiones automatizadas | número y proporción confirmados | anual | Agency and tribunal records | Estadísticas publicadas |
| Disparidad de resultados entre grupos | ratio of adverse outcome rates | por auditoría | Auditorías independientes | ESTIMADO |
| Systems suspended or withdrawn after review | recuento | anual | Government and court records | Estadísticas publicadas |
| Ombudsman complaints about automated decisions | recuento | anual | Ombudsman reports | Estadísticas publicadas |
Cómo se gobiernan las decisiones públicas algorítmicas: instrumentos, mandatos y compromisos.
Los instrumentos, mandatos, actores y mecanismos de rendición de cuentas con los que trabaja un responsable de políticas, un diplomático o un organismo de desarrollo, con cita de los acuerdos que los establecen. Las estructuras siguen los marcos nombrados. Cualquier estado o avance representado es ilustrativo, no un registro.
Matriz de instrumentos de política
Los tipos de instrumento disponibles sobre las decisiones públicas algorítmicas, por nivel de gobierno y de cooperación.
| Tipo de instrumento | Local | Nacional | Regional | Mundial |
|---|---|---|---|---|
| Regulatorio | Zonificación, códigos de construcción | Leyes, normas, licencias | Normas armonizadas | Convenciones y tratados |
| Económico | Tasas locales, subvenciones | Partidas presupuestarias, impuestos, esquemas de seguro | Fondos mancomunados de riesgo, fondos regionales | Mecanismos de financiación |
| Información | Alertas locales | Divulgación, alerta temprana, estadísticas | Acuerdos de intercambio de datos | Seguimiento y presentación de informes a nivel mundial |
| Institucional | Comités locales | Organismos rectores, consejos de coordinación | Organismos regionales y secretarías | Mandatos multilaterales |
| Cooperativo | Acuerdos comunitarios | Pactos de alianza | Memorandos y programas conjuntos | Acuerdos y compromisos conjuntos |
De dónde procede la evidencia.
Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.
| Fuente | Lo que aporta | Tipo de licencia |
|---|---|---|
| Registros del Algorithmic Transparency Recording Standard del Reino Unido | Published records of algorithmic tools used by public bodies | Open Government Licence |
| Amsterdam and Helsinki algorithm registers | City registers of algorithmic systems in use | Open data, terms per city |
| Directiva de Canadá sobre la toma de decisiones automatizada y las evaluaciones de impacto algorítmico | Mandatory impact assessments for federal automated decisions | Open Government Licence, Canada (Licencia de Gobierno Abierto, Canadá) |
| Informes del defensor del pueblo y de las entidades de auditoría | Investigations of automated decision systems in public services | Registros públicos, condiciones según cada oficina |
| Court judgments on automated public decisions | Rulings on lawfulness of algorithmic systems | Registros públicos, mandatos por tribunal |
Quién decide y a qué sirve la evidencia.
Gobernanza de la IA y lo digital prepara evidencia. Las decisiones que figuran a continuación las toman las autoridades indicadas, conforme a sus propias normas, y nunca la plataforma.
| Quién decide | La pregunta | Evidencia a la que sirve esta página |
|---|---|---|
| Ministros y jefes de organismos | Si conviene automatizar una decisión y con qué salvaguardas | Evaluaciones de impacto, evidencia de auditoría y lecciones de sistemas |
| Autoridades de protección de datos | Si el tratamiento y las decisiones automatizadas son lícitos | Registros de evaluación y reclamaciones |
| Ombudsmen and audit offices | Whether to investigate a system and what to recommend | Datos de recursos, reclamaciones y resultados |
| Courts and tribunals | Si una decisión o un sistema vulneró derechos o la ley | Registros presentados por las partes; la página solo ofrece contexto |
Productos que genera este tema
- Comparative notes on algorithm registers and impact assessments
- Guía para una revisión humana significativa en las decisiones automatizadas
- Resúmenes de diálogo sobre las lecciones de los algoritmos públicos suspendidos
- Questions for agencies before deploying an automated decision system
Lo que preguntan los expertos sobre las decisiones públicas algorítmicas.
- ¿Qué poder jurídico autoriza este uso y se mantiene el algoritmo dentro de sus límites?
- ¿Puede una persona afectada saber que se utilizó un algoritmo, comprender cómo y impugnar el resultado?
- Does the system perform differently for different groups, and is that justified?
- What happens when the system is wrong, and how quickly is the error found and corrected?
Cómo fallan las decisiones algorítmicas.
Algorithms trained on historical data can reproduce historical patterns of disadvantage. A proxy variable that seems neutral, such as postcode, may correlate with protected characteristics. Errors at scale differ from individual errors: a flawed rule applied to an entire caseload harms many people at once and in the same way, which can overwhelm complaint systems.
The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.
Por qué ahora: los sistemas automatizados se utilizan para la elegibilidad, la clasificación y la detección de fraude en los servicios públicos, y tribunales y defensorías del pueblo de varios países han examinado casos en que fallaron. La plataforma está diseñada para comparar los mecanismos de revisión y reparación y registrar lo que las personas afectadas pueden hacer realmente.
Salvaguardas y sus límites.
- 01
Registros públicos de algoritmos
Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.
- 02
Explicación y notificación
Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.
- 03
Pruebas de equidad
Medición del desempeño entre grupos mediante métodos de aprendizaje automático . Límites: distintas medidas de equidad pueden entrar en conflicto, y elegir entre ellas es un juicio de valor.
- 04
Appeal and redress
Vías de acceso a revisión humana, apelación y reparación. Límites: dependen de procesos accesibles y de personal suficiente.
Cómo se estudia y lo que los métodos no pueden decir.
- 01Ingeniería de evaluación y garantía de la IAAlcance de las auditorías externas · Pruebas de equidad en los sistemas públicos · Supervisión posterior al despliegueAplicado aquí
- 02Ciencia de las políticas, las instituciones y la toma de decisionesComparación de regímenes de IA · Mapeo de la rendición de cuentas en la cadena de valor · Mapeo de foros y mandatosAplicado aquí
- 03Inteligencia artificial y aprendizaje automáticoCómo fallan los modelos en el despliegue · Lectura de la documentación de los modelos · Arquitecturas de agentes explicadasAplicado aquí
- 04Identidad digital y sistemas digitales públicosNiveles de garantía para los servicios públicos · Divulgación mínima · Análisis de exclusiónAplicado aquí
Preguntas y respuestas.
¿Qué es una evaluación de impacto algorítmico?
What makes human review meaningful?
¿Tienen las personas derecho a no ser objeto de decisiones automatizadas?
¿Puede una decisión pública tomarse enteramente mediante un algoritmo?
Why can’t fairness be measured with one number?
Does the platform take up individual cases?
¿Se exigen registros de algoritmos?
Aporte evidencia desde esta página.
Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.
- Correo electrónicoPasarela GW-GRFEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Plantee una cuestión de gobernanza al Foro.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Documentos jurídicos.
Mostrar los 18 documentos jurídicos
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.