Skip to content

GRF · Gobernanza de la IA y lo digital

Agentes autónomos y responsabilidad

AI agents now plan and take actions across software, payments and physical systems with limited human input. When an agent causes harm, existing liability rules must decide who pays: the developer, the deployer, the user or the operator of the platform it acted on. This page sets out how autonomy strains liability and oversight, the records that show it, and who decides how responsibility is assigned.

01Registro

Agentes autónomos y responsabilidad, en el registro.

02La pregunta

Autonomous agents and liability: how the risk develops.

Límites de la acción y rendición de cuentas. El expediente siguiente expone cómo se desarrolla el riesgo, qué se mide, de dónde proceden los datos, cómo se modelan y quién decide.

Mecanismo

Actions outrun intent

An agent pursuing a goal can take steps its user did not foresee or authorise. Fault-based liability struggles when no person intended or could reasonably foresee the harmful action.

Mecanismo

Many hands, unclear fault

El modelo, el marco de agentes, los proveedores de herramientas, la empresa que lo despliega y el usuario contribuyen todos. Demostrar qué defecto causó el daño resulta costoso para los demandantes sin acceso a los registros.

Mecanismo

Permissions define exposure

What an agent can access, spend or change sets the size of possible harm. Limits, confirmations and kill switches are governance choices made at deployment.

Mecanismo

Law adapts slowly

Product liability, contract and tort law are being reinterpreted for software and AI. Until courts and legislatures settle questions, uncertainty itself shapes deployment.

03Seguimiento

Registro público de algoritmos.

La pantalla que utilizaría un equipo para seguir esta materia: sus mediciones, estados y decisiones. Los nombres son ejemplos y los valores son ilustrativos.

Registro público de algoritmos

Autonomous agents and liability · Algorithm register · Quarter 2

Dos sistemas de alto riesgo sin evaluaciónGRF · Gobernanza de la IA y lo digital

Sistemas registrados

Detección de fraude en prestacionesAgencia socialAltoInexistenteParcial
Clasificación de solicitudes de permisosPlanificaciónLimitadoHechoSí
Asignación escolarEducaciónAltoHechoSí
Asistente de chatOficina tributariaMínimoHechon/a

Acción de supervisión

Sistema
Detección de fraude en prestaciones
Obligatorio
evaluación de impacto, vía de apelación
Plazo
77 days
Autoridad
Órgano de supervisión

Reclamaciones sobre decisiones automatizadas

Public algorithm register: the screen’s structure, terms and states for Autonomous agents and liability.Example names and illustrative values; a design, not a record or a live system.
04Indicadores

Qué se mide y con qué calidad.

Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.

IndicadorUnidadCadenciaTipo de fuenteEtiqueta
Jurisdicciones que tratan el software como producto a efectos de responsabilidadrecuentocuando cambiaLegislaciónEstadísticas publicadas
Court decisions on AI-caused harmrecuento por tipoanualCase law databasesEstadísticas publicadas
Agent incidents reportedrecuento por tipo de dañomensualBases de datos de incidentesNOTIFICADO
Despliegues con límites de permisos documentadosshare of surveyed deploymentsperiódicoEncuestas y auditoríasDECLARADO
Insurance products covering AI liabilitynúmero de ofertasanualInformes de mercadoNOTIFICADO
Orientaciones regulatorias sobre IA agénticarecuento de documentosanualRegulator publicationsEstadísticas publicadas
05Instrumentos y compromisos

Cómo se rigen los agentes autónomos y la responsabilidad: instrumentos, mandatos y compromisos.

Los instrumentos, mandatos, actores y mecanismos de rendición de cuentas con los que trabaja un responsable de políticas, un diplomático o un organismo de desarrollo, con cita de los acuerdos que los establecen. Las estructuras siguen los marcos nombrados. Cualquier estado o avance representado es ilustrativo, no un registro.

Matriz de instrumentos de política

The kinds of instrument available on autonomous agents and liability, by level of government and cooperation.

Tipo de instrumentoLocalNacionalRegionalMundial
RegulatorioZonificación, códigos de construcciónLeyes, normas, licenciasNormas armonizadasConvenciones y tratados
EconómicoTasas locales, subvencionesPartidas presupuestarias, impuestos, esquemas de seguroFondos mancomunados de riesgo, fondos regionalesMecanismos de financiación
InformaciónAlertas localesDivulgación, alerta temprana, estadísticasAcuerdos de intercambio de datosSeguimiento y presentación de informes a nivel mundial
InstitucionalComités localesOrganismos rectores, consejos de coordinaciónOrganismos regionales y secretaríasMandatos multilaterales
CooperativoAcuerdos comunitariosPactos de alianzaMemorandos y programas conjuntosAcuerdos y compromisos conjuntos
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Marco de Sendai para la Reducción del Riesgo de Desastres · UNDRRAcuerdo de París · CMNUCCAgenda 2030 y los Objetivos de Desarrollo Sostenible · Naciones UnidasReglamento Sanitario Internacional · OMS
06Fuentes

De dónde procede la evidencia.

Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.

FuenteLo que aportaTipo de licencia
Directiva revisada de la UE sobre responsabilidad por productos defectuososLiability rules including software and AI systems as productsPúblico, condiciones de reutilización de la UE
Informes de comisiones de reforma legislativa y parlamentarios sobre la responsabilidad por la IAAnálisis de las opciones de responsabilidad para la IA y los sistemas automatizadosRegistros públicos, condiciones según cada órgano
Monitor de Incidentes de IA de la OCDERecorded incidents involving AI systemsGratuita, condiciones de la OCDE
Ley del Reino Unido sobre Vehículos Automatizados y Eléctricos (Automated and Electric Vehicles Act) y sobre Vehículos Automatizados (Automated Vehicles Act)Asignación de la responsabilidad en los vehículos automatizadosOpen Government Licence
Court judgment databasesDecisions on harm involving automated systemsRegistros públicos, mandatos por tribunal
07Decisiones

Quién decide y a qué sirve la evidencia.

Gobernanza de la IA y lo digital prepara evidencia. Las decisiones que figuran a continuación las toman las autoridades indicadas, conforme a sus propias normas, y nunca la plataforma.

Quién decideLa preguntaEvidencia a la que sirve esta página
Legislatures and law commissionsHow liability rules apply to autonomous systemsComparative regimes and case evidence
Organizaciones que desplieganLo que un agente puede hacer y qué controles se aplicanPráctica de control y evidencia de incidentes
AseguradorasSi conviene cubrir la responsabilidad por la IA y cómo hacerloPatrones de incidentes y novedades jurídicas
TribunalesQuién es responsable del daño en un caso concretoRegistros presentados por las partes; la página solo ofrece contexto

Productos que genera este tema

  • Notas comparativas sobre las normas de responsabilidad por software e IA
  • Guía de límites de permisos y controles para el despliegue de agentes
  • Informes de diálogo sobre la asignación de responsabilidades en cadenas de IA con múltiples partes
  • Questions for legislatures on agent liability
08Cuestiones centrales

Lo que preguntan los expertos sobre los agentes autónomos.

  • ¿Qué acciones puede realizar este agente y cómo se aplican técnicamente esos límites?
  • Cuando un agente causa un daño, ¿quién es responsable: el desarrollador, el implementador o el usuario?
  • How can an agent’s actions be traced, reviewed and reversed?
  • How should agents interact with other agents, and who governs those interactions?
09Mecanismos

Why agents raise new governance questions.

La mayoría de los marcos de gobernanza se construyeron para sistemas que asesoran a una persona que luego actúa. Los agentes eliminan esa brecha y, con ella, uno de los principales puntos en los que se detectaban los errores. Por qué ahora: los agentes de IA que actúan en nombre de personas y organizaciones plantean cuestiones de responsabilidad que las normas existentes no previeron, y los legisladores aún las están abordando. La plataforma está diseñada para comparar enfoques emergentes y registrar cuestiones abiertas para quienes toman decisiones, sin ofrecer asesoramiento jurídico.

Autonomy

Acción sin revisión

Agents can act faster and more often than people can review, so errors can multiply before anyone notices.

Interaction

Agents meeting agents

Interactions between automated systems can produce outcomes no one designed, as seen in automated trading.

Liability

Unclear responsibility

Las normas de responsabilidad vigentes presuponen que actuó una persona o una empresa; los agentes complican determinar quién es.

10Métodos y límites

Instrumentos para acotar a los agentes.

  1. 01

    Permission and scope controls

    Límites técnicos a lo que los agentes pueden acceder y hacer, estudiados en Ingeniería de evaluación y garantía de la IA. Limitaciones: los agentes pueden encontrar vías no previstas para eludir los controles.

  2. 02

    Logging and reversibility

    Registrar las acciones y diseñarlas para que se puedan deshacer siempre que sea posible. Límites: algunas acciones no pueden revertirse.

  3. 03

    Umbrales de aprobación humana

    Exigir la aprobación humana por encima de niveles de riesgo definidos. Límites: puede ralentizar las operaciones y propiciar la fatiga de aprobación.

  4. 04

    Liability analysis

    Comparing how legal systems allocate responsibility. Limits: law is still developing.

12Preguntas

Preguntas y respuestas.

¿Qué es un agente de IA?
Un sistema de IA que persigue objetivos mediante la planificación y la ejecución de acciones, como invocar herramientas, navegar, escribir código o realizar pagos, con una dirección humana paso a paso limitada.
¿Quién es responsable cuando un agente de IA causa daño?
It depends on the jurisdiction and facts. Product liability, contract, negligence and sector rules may apply to developers, deployers or users; many questions are unsettled.
What controls limit agent harm?
Restricted permissions, spending limits, human confirmation for consequential actions, logging, monitoring and the ability to stop the agent.
¿Puede un agente de IA ser jurídicamente responsable?
Under current law in most jurisdictions, no. Responsibility rests with people and organisations. How it is divided among them is still being worked out.
¿Cómo se pueden mantener las acciones de los agentes dentro de límites?
Through technical permission limits, monitoring, human approval for high-risk actions and the ability to stop and reverse actions.
¿Pone a prueba la plataforma a los agentes?
No. Technical evaluation is done at GCRI; the platform compares governance.
Why do agent interactions matter?
Because when many automated systems react to each other, small errors can amplify quickly, as sudden market moves driven by automated trading have shown.
InformesContribuir

Aporte evidencia desde esta página.

Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Gobernanza de la IA y lo digital

Plantee una cuestión de gobernanza al Foro.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.