Skip to content

GRF · Governança de IA e Digital

Agentes autônomos e responsabilidade

AI agents now plan and take actions across software, payments and physical systems with limited human input. When an agent causes harm, existing liability rules must decide who pays: the developer, the deployer, the user or the operator of the platform it acted on. This page sets out how autonomy strains liability and oversight, the records that show it, and who decides how responsibility is assigned.

01Registrar

Autonomous agents and liability on the record.

02A pergunta

Autonomous agents and liability: how the risk develops.

Action boundaries and accountability. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mecanismo

Actions outrun intent

Um agente que persegue uma meta pode dar passos que seu usuário não previu nem autorizou. A responsabilidade baseada em culpa tem dificuldade quando nenhuma pessoa pretendia a ação danosa ou poderia razoavelmente prevê-la.

Mecanismo

Muitas mãos, responsabilidade pouco clara

The model, the agent framework, tool providers, the deploying firm and the user all contribute. Proving which defect caused harm is costly for claimants without access to records.

Mecanismo

Permissions define exposure

What an agent can access, spend or change sets the size of possible harm. Limits, confirmations and kill switches are governance choices made at deployment.

Mecanismo

Law adapts slowly

Product liability, contract and tort law are being reinterpreted for software and AI. Until courts and legislatures settle questions, uncertainty itself shapes deployment.

03Monitoramento

Registro público de algoritmos.

A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.

Registro público de algoritmos

Autonomous agents and liability · Algorithm register · Quarter 2

Dois sistemas de alto risco sem avaliaçãoGRF · Governança de IA e Digital

Sistemas registrados

Sinalização de fraude em benefíciosAgência socialElevadoAusenteParcial
Triagem de pedidos de licençaPlanejamentoLimitadoConcluídoSim
Alocação escolarEducaçãoElevadoConcluídoSim
Assistente de chatReceitaMínimoConcluídon/a

Ação de supervisão

Sistema
Sinalização de fraude em benefícios
Obrigatório
avaliação de impacto, via de recurso
Prazo
77 days
Autoridade
Órgão de supervisão

Reclamações sobre decisões automatizadas

Public algorithm register: the screen’s structure, terms and states for Autonomous agents and liability.Example names and illustrative values; a design, not a record or a live system.
04Indicadores

O que é medido e com que qualidade.

Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.

IndicadorUnidadeCadênciaTipo de fonteRótulo
Jurisdições que tratam o software como produto para fins de responsabilidade civilcontagemquando há mudançaLegislaçãoEstatísticas publicadas
Court decisions on AI-caused harmcontagem por tipoanualCase law databasesEstatísticas publicadas
Agent incidents reportedcontagem por tipo de danomensalBases de dados de incidentesREPORTADO
Implantações com limites de permissão documentadosshare of surveyed deploymentsperiódicoPesquisas e auditoriasDECLARADO
Insurance products covering AI liabilitycontagem de ofertasanualMarket reportsREPORTADO
Regulatory guidance on agentic AIcontagem de documentosanualRegulator publicationsEstatísticas publicadas
05Instrumentos e compromissos

How autonomous agents and liability is governed: instruments, mandates and commitments.

Os instrumentos, mandatos, atores e arranjos de prestação de contas com que trabalha um formulador de políticas, um diplomata ou uma agência de desenvolvimento, com citação dos acordos que os estabelecem. As estruturas seguem os marcos nomeados. Qualquer estado ou progresso exibido é ilustrativo, não um registro.

Matriz de instrumentos de política

The kinds of instrument available on autonomous agents and liability, by level of government and cooperation.

Tipo de instrumentoLocalNacionalRegionalGlobal
RegulatórioZoneamento, códigos de obrasLeis, normas, licenciamentoRegras harmonizadasConvenções e tratados
EconômicoTributos locais, subsídiosLinhas orçamentárias, impostos, esquemas de seguroPools de risco, fundos regionaisMecanismos de financiamento
InformaçãoAlertas locaisDivulgação, alerta precoce, estatísticasAcordos de compartilhamento de dadosMonitoramento e relatórios em nível global
InstitucionalComitês locaisÓrgãos líderes, conselhos de coordenaçãoÓrgãos regionais e secretariasMandatos multilaterais
CooperativoAcordos comunitáriosPactos de parceriaMemorandos e programas conjuntosAcordos e compromissos conjuntos
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Quadro de Sendai para a Redução do Risco de Desastres · UNDRRAcordo de Paris · UNFCCCAgenda 2030 e os Objetivos de Desenvolvimento Sustentável · Nações UnidasRegulamento Sanitário Internacional · OMS
06Fontes

De onde vêm as evidências.

Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.

FonteO que ofereceClasse de licença
Diretiva revista da UE sobre responsabilidade por produtosLiability rules including software and AI systems as productsPúblico, termos de reutilização da UE
Relatórios de comissões de reforma legislativa e parlamentares sobre responsabilidade civil em IAAnalysis of liability options for AI and automated systemsRegistros públicos, termos de cada organismo
Monitor de Incidentes de IA da OCDERecorded incidents involving AI systemsGratuito, termos da OCDE
Lei do Reino Unido sobre Veículos Automatizados e Elétricos e Lei sobre Veículos AutomatizadosLiability allocation for automated vehiclesOpen Government Licence
Bases de dados de decisões judiciaisDecisions on harm involving automated systemsPublic records, terms per court
07Decisões

Quem decide, e a que servem as evidências.

A Governança de IA e Digital prepara evidências. As decisões abaixo são tomadas pelas autoridades nomeadas, segundo suas próprias regras, e nunca pela plataforma.

Quem decideA perguntaEvidências a que esta página serve
Legislatures and law commissionsHow liability rules apply to autonomous systemsRegimes comparados e evidências de casos
Organizações implementadorasO que um agente pode fazer e quais controles se aplicamPrática de controle e evidências de incidentes
SeguradorasSe e como cobrir a responsabilidade civil relacionada à IAPadrões de incidentes e evolução jurídica
TribunaisWho is liable for harm in a specific caseRegistros apresentados pelas partes; a página serve apenas de contexto

Produtos que este tema gera

  • Comparative notes on liability rules for software and AI
  • Guia dos limites de permissão e dos controles para implantações de agentes
  • Notas de diálogo sobre a alocação de responsabilidade em cadeias de IA com múltiplas partes
  • Questions for legislatures on agent liability
08Questões centrais

What experts ask about autonomous agents.

  • Quais ações este agente está autorizado a executar, e como esses limites são impostos tecnicamente?
  • Quando um agente causa dano, quem é responsável: o desenvolvedor, o implantador ou o usuário?
  • How can an agent’s actions be traced, reviewed and reversed?
  • How should agents interact with other agents, and who governs those interactions?
09Mecanismos

Why agents raise new governance questions.

A maioria dos marcos de governança foi concebida para sistemas que aconselham uma pessoa, que então age. Os agentes eliminam essa lacuna e, com ela, um dos principais pontos em que os erros eram detectados. Por que agora: agentes de IA que agem em nome de pessoas e organizações levantam questões de responsabilidade que as regras existentes não previram, e os legisladores ainda as estão examinando. A plataforma foi concebida para comparar abordagens emergentes e registrar questões em aberto para os responsáveis por decisões, sem prestar aconselhamento jurídico.

Autonomy

Ação sem revisão

Agents can act faster and more often than people can review, so errors can multiply before anyone notices.

Interaction

Agents meeting agents

Interactions between automated systems can produce outcomes no one designed, as seen in automated trading.

Liability

Unclear responsibility

As regras de responsabilidade existentes pressupõem que um ser humano ou uma empresa agiu; os agentes complicam a definição de quem é.

10Métodos e limites

Instrumentos para delimitar a atuação de agentes.

  1. 01

    Controles de permissão e de escopo

    Limites técnicos ao que os agentes podem acessar e fazer, estudados em Engenharia de avaliação e garantia de IA. Limites: os agentes podem encontrar caminhos não previstos para contornar os controles.

  2. 02

    Logging and reversibility

    Recording actions and designing them to be undoable where possible. Limits: some actions cannot be reversed.

  3. 03

    Limiares de aprovação humana

    Requiring human sign-off above defined risk levels. Limits: can slow operations and invite approval fatigue.

  4. 04

    Análise de responsabilidade

    Comparing how legal systems allocate responsibility. Limits: law is still developing.

12Perguntas

Perguntas e respostas.

O que é um agente de IA?
Um sistema de IA que persegue objetivos planejando e executando ações, como chamar ferramentas, navegar, escrever código ou efetuar pagamentos, com pouca direção humana passo a passo.
Quem é responsável quando um agente de IA causa danos?
It depends on the jurisdiction and facts. Product liability, contract, negligence and sector rules may apply to developers, deployers or users; many questions are unsettled.
What controls limit agent harm?
Restricted permissions, spending limits, human confirmation for consequential actions, logging, monitoring and the ability to stop the agent.
Can an AI agent be legally responsible?
Under current law in most jurisdictions, no. Responsibility rests with people and organisations. How it is divided among them is still being worked out.
Como manter as ações dos agentes dentro de limites?
Through technical permission limits, monitoring, human approval for high-risk actions and the ability to stop and reverse actions.
A plataforma testa agentes?
Não. A avaliação técnica é feita em GCRI; a plataforma compara a governança.
Why do agent interactions matter?
Because when many automated systems react to each other, small errors can amplify quickly, as sudden market moves driven by automated trading have shown.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Governança de IA e Digital

Leve uma questão de governança ao Fórum.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.