GRF · Governança de IA e Digital
Agentes autônomos e responsabilidade
AI agents now plan and take actions across software, payments and physical systems with limited human input. When an agent causes harm, existing liability rules must decide who pays: the developer, the deployer, the user or the operator of the platform it acted on. This page sets out how autonomy strains liability and oversight, the records that show it, and who decides how responsibility is assigned.
Autonomous agents and liability on the record.
Autonomous agents and liability: how the risk develops.
Action boundaries and accountability. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Actions outrun intent
Um agente que persegue uma meta pode dar passos que seu usuário não previu nem autorizou. A responsabilidade baseada em culpa tem dificuldade quando nenhuma pessoa pretendia a ação danosa ou poderia razoavelmente prevê-la.
Muitas mãos, responsabilidade pouco clara
The model, the agent framework, tool providers, the deploying firm and the user all contribute. Proving which defect caused harm is costly for claimants without access to records.
Permissions define exposure
What an agent can access, spend or change sets the size of possible harm. Limits, confirmations and kill switches are governance choices made at deployment.
Law adapts slowly
Product liability, contract and tort law are being reinterpreted for software and AI. Until courts and legislatures settle questions, uncertainty itself shapes deployment.
Registro público de algoritmos.
A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.
Registro público de algoritmos
Autonomous agents and liability · Algorithm register · Quarter 2
Sistemas registrados
| Sinalização de fraude em benefícios | Agência social | Elevado | Ausente | Parcial |
| Triagem de pedidos de licença | Planejamento | Limitado | Concluído | Sim |
| Alocação escolar | Educação | Elevado | Concluído | Sim |
| Assistente de chat | Receita | Mínimo | Concluído | n/a |
Ação de supervisão
- Sistema
- Sinalização de fraude em benefícios
- Obrigatório
- avaliação de impacto, via de recurso
- Prazo
- 77 days
- Autoridade
- Órgão de supervisão
Reclamações sobre decisões automatizadas
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Jurisdições que tratam o software como produto para fins de responsabilidade civil | contagem | quando há mudança | Legislação | Estatísticas publicadas |
| Court decisions on AI-caused harm | contagem por tipo | anual | Case law databases | Estatísticas publicadas |
| Agent incidents reported | contagem por tipo de dano | mensal | Bases de dados de incidentes | REPORTADO |
| Implantações com limites de permissão documentados | share of surveyed deployments | periódico | Pesquisas e auditorias | DECLARADO |
| Insurance products covering AI liability | contagem de ofertas | anual | Market reports | REPORTADO |
| Regulatory guidance on agentic AI | contagem de documentos | anual | Regulator publications | Estatísticas publicadas |
How autonomous agents and liability is governed: instruments, mandates and commitments.
Os instrumentos, mandatos, atores e arranjos de prestação de contas com que trabalha um formulador de políticas, um diplomata ou uma agência de desenvolvimento, com citação dos acordos que os estabelecem. As estruturas seguem os marcos nomeados. Qualquer estado ou progresso exibido é ilustrativo, não um registro.
Matriz de instrumentos de política
The kinds of instrument available on autonomous agents and liability, by level of government and cooperation.
| Tipo de instrumento | Local | Nacional | Regional | Global |
|---|---|---|---|---|
| Regulatório | Zoneamento, códigos de obras | Leis, normas, licenciamento | Regras harmonizadas | Convenções e tratados |
| Econômico | Tributos locais, subsídios | Linhas orçamentárias, impostos, esquemas de seguro | Pools de risco, fundos regionais | Mecanismos de financiamento |
| Informação | Alertas locais | Divulgação, alerta precoce, estatísticas | Acordos de compartilhamento de dados | Monitoramento e relatórios em nível global |
| Institucional | Comitês locais | Órgãos líderes, conselhos de coordenação | Órgãos regionais e secretarias | Mandatos multilaterais |
| Cooperativo | Acordos comunitários | Pactos de parceria | Memorandos e programas conjuntos | Acordos e compromissos conjuntos |
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| Diretiva revista da UE sobre responsabilidade por produtos | Liability rules including software and AI systems as products | Público, termos de reutilização da UE |
| Relatórios de comissões de reforma legislativa e parlamentares sobre responsabilidade civil em IA | Analysis of liability options for AI and automated systems | Registros públicos, termos de cada organismo |
| Monitor de Incidentes de IA da OCDE | Recorded incidents involving AI systems | Gratuito, termos da OCDE |
| Lei do Reino Unido sobre Veículos Automatizados e Elétricos e Lei sobre Veículos Automatizados | Liability allocation for automated vehicles | Open Government Licence |
| Bases de dados de decisões judiciais | Decisions on harm involving automated systems | Public records, terms per court |
Quem decide, e a que servem as evidências.
A Governança de IA e Digital prepara evidências. As decisões abaixo são tomadas pelas autoridades nomeadas, segundo suas próprias regras, e nunca pela plataforma.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Legislatures and law commissions | How liability rules apply to autonomous systems | Regimes comparados e evidências de casos |
| Organizações implementadoras | O que um agente pode fazer e quais controles se aplicam | Prática de controle e evidências de incidentes |
| Seguradoras | Se e como cobrir a responsabilidade civil relacionada à IA | Padrões de incidentes e evolução jurídica |
| Tribunais | Who is liable for harm in a specific case | Registros apresentados pelas partes; a página serve apenas de contexto |
Produtos que este tema gera
- Comparative notes on liability rules for software and AI
- Guia dos limites de permissão e dos controles para implantações de agentes
- Notas de diálogo sobre a alocação de responsabilidade em cadeias de IA com múltiplas partes
- Questions for legislatures on agent liability
What experts ask about autonomous agents.
- Quais ações este agente está autorizado a executar, e como esses limites são impostos tecnicamente?
- Quando um agente causa dano, quem é responsável: o desenvolvedor, o implantador ou o usuário?
- How can an agent’s actions be traced, reviewed and reversed?
- How should agents interact with other agents, and who governs those interactions?
Why agents raise new governance questions.
A maioria dos marcos de governança foi concebida para sistemas que aconselham uma pessoa, que então age. Os agentes eliminam essa lacuna e, com ela, um dos principais pontos em que os erros eram detectados. Por que agora: agentes de IA que agem em nome de pessoas e organizações levantam questões de responsabilidade que as regras existentes não previram, e os legisladores ainda as estão examinando. A plataforma foi concebida para comparar abordagens emergentes e registrar questões em aberto para os responsáveis por decisões, sem prestar aconselhamento jurídico.
Ação sem revisão
Agents can act faster and more often than people can review, so errors can multiply before anyone notices.
Agents meeting agents
Interactions between automated systems can produce outcomes no one designed, as seen in automated trading.
Unclear responsibility
As regras de responsabilidade existentes pressupõem que um ser humano ou uma empresa agiu; os agentes complicam a definição de quem é.
Instrumentos para delimitar a atuação de agentes.
- 01
Controles de permissão e de escopo
Limites técnicos ao que os agentes podem acessar e fazer, estudados em Engenharia de avaliação e garantia de IA. Limites: os agentes podem encontrar caminhos não previstos para contornar os controles.
- 02
Logging and reversibility
Recording actions and designing them to be undoable where possible. Limits: some actions cannot be reversed.
- 03
Limiares de aprovação humana
Requiring human sign-off above defined risk levels. Limits: can slow operations and invite approval fatigue.
- 04
Análise de responsabilidade
Comparing how legal systems allocate responsibility. Limits: law is still developing.
Como é estudado e o que os métodos não podem dizer.
- 01Engenharia de avaliação e garantia de IAÂmbito da auditoria de terceiros · Testes de equidade em sistemas públicos · Monitoramento pós-implantaçãoAplicado aqui
- 02Inteligência artificial e aprendizado de máquinaComo os modelos falham na implantação · Leitura da documentação dos modelos · Arquiteturas de agentes explicadasAplicado aqui
- 03Ciência das políticas, das instituições e da decisãoComparação de regimes de IA · Mapeamento da responsabilização na cadeia de valor · Mapeamento de fóruns e mandatosAplicado aqui
- 04Identidade digital e sistemas digitais públicosNíveis de garantia para serviços públicos · Divulgação mínima · Análise de exclusãoAplicado aqui
Perguntas e respostas.
O que é um agente de IA?
Quem é responsável quando um agente de IA causa danos?
What controls limit agent harm?
Can an AI agent be legally responsible?
Como manter as ações dos agentes dentro de limites?
A plataforma testa agentes?
Why do agent interactions matter?
Contribua com evidências a partir desta página.
Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.
- EmailGateway GW-GRFSend it from this pageEvidence, a correction, a case, a method, a review, a translation or profile input. It arrives tagged with this page, so the editor who owns it receives it.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Leve uma questão de governança ao Fórum.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Mostrar os 18 documentos jurídicos
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.