GRF · Governança de IA e Digital
Supervisão e responsabilização da IA
When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.
Supervisão e responsabilização da IA em sete partes.
- 01The questionAI oversight and accountability: how the risk develops
- 02IndicadoresO que é medido e com que qualidade
- 03FontesDe onde vêm as evidências
- 04DecisõesQuem decide, e a que servem as evidências
- 05Questões centraisO que as instituições perguntam sobre supervisão
- 06MechanismsWhy accountability erodes
- 07Methods and limitsInstruments of oversight
Supervisão e responsabilização da IA: como o risco se desenvolve.
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
A responsabilidade se dilui ao longo da cadeia
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
Os registros determinam o que pode ser revisado
Sem documentação técnica, registros de log e de alterações, auditores e reguladores não conseguem reconstituir como um sistema chegou a um resultado. Os deveres de manutenção de registros tornam possível a supervisão posterior.
Authorities lack capacity
Autoridades de fiscalização de mercado, de proteção de dados e reguladores setoriais precisam de pessoal técnico, acesso aos sistemas e poderes para testá-los. Uma capacidade reduzida transforma as regras em autoavaliação.
Incidents go unreported
As falhas vêm à tona por meio de reclamações, do jornalismo e de litígios, e não de relatórios. A notificação obrigatória de incidentes e bancos de dados compartilhados de incidentes permitem enxergar padrões entre implantações.
Registro público de algoritmos.
A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.
Registro público de algoritmos
Supervisão e responsabilização da IA · Registro de algoritmos · Trimestre 2
Sistemas registrados
| Sinalização de fraude em benefícios | Agência social | Elevado | Ausente | Parcial |
| Triagem de pedidos de licença | Planejamento | Limitado | Concluído | Sim |
| Alocação escolar | Educação | Elevado | Concluído | Sim |
| Assistente de chat | Receita | Mínimo | Concluído | n/a |
Ação de supervisão
- Sistema
- Sinalização de fraude em benefícios
- Obrigatório
- avaliação de impacto, via de recurso
- Prazo
- 73 days
- Autoridade
- Órgão de supervisão
Reclamações sobre decisões automatizadas
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Designated AI supervisory or market surveillance authority | sim ou não, com base legal | quando há mudança | National legislation and notifications | Estatísticas publicadas |
| Equipe técnica em autoridades relevantes para a IA | equivalentes em tempo integral | anual | Relatórios anuais das autoridades | REPORTADO |
| Serious incidents reported under AI rules | contagem por setor | anual | Registros públicos | Estatísticas publicadas |
| Publicly recorded AI incidents | contagem por tipo de dano | mensal | Bases de dados de incidentes | REPORTADO |
| Ações de fiscalização relativas a sistemas | count by authority and type | anual | Registros de fiscalização de reguladores | Estatísticas publicadas |
| ISO/IEC 42001 certificates issued | contagem | anual | Registros de organismos de certificação | REPORTADO |
Comparar instrumentos: regras, incentivos e informação.
Três famílias de instrumentos lado a lado em relação à linha de base, cada uma com sua própria defasagem e velocidade de adoção, conforme a cobertura e a conformidade que você definir; os tamanhos de efeito são valores didáticos a substituir por evidências. Cenário: premissas nomeadas sobre o futuro, não uma previsão.
Controles
- Tendência de base do resultado
- 2,0% ao ano
- Cobertura do instrumento
- 70%
- Conformidade
- 75%
- Tamanho do efeito, em relação ao valor didático
- 100%
- Anos à frente
- 20 anos
Leituras
- Maior redução no horizonte
- Regulação
- Sua redução em relação à linha de base
- 21%
Números, métodos e fontes
| Ano | Linha de base | Regulação | Incentivo econômico | Informação e capacidades |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Métodos
- Tools of government Hood (1983), The Tools of Government, Macmillan
- Cenouras, porretes e sermões Bemelmans-Videc, Rist e Vedung (1998), Transaction
- Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
- Leque de incerteza (Monte Carlo de parâmetros) Spiegelhalter, Pearson e Short (2011), Visualising uncertainty about the future, Science 333
- One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dados
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Borders Natural Earth
- Cities Natural Earth
Nos seis pilares, sob a liderança do Nexus Consortium
- Experimentos Laboratórios
- Integrado Governança de IA e Digital no Foundry
- Testado em Governança de IA e Digital no Universe
- Codificado em Digital, ciber e IA em Standards
- Publicado em Governança da IA e do Digital nos Relatórios
- Ensinado em Faculdade de Tecnologia e Sistemas Digitais em Academy
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| Observatório de Políticas OECD.AI | National AI policies, governance bodies and the AI Incidents Monitor | Gratuito, termos da OCDE |
| AI Incident Database | Registros colaborativos de danos envolvendo sistemas | Aberto, licença a verificar |
| European Data Protection Board and national authority decisions | Decisões sobre processamento automatizado e reclamações relacionadas à IA | Public, EU and national reuse terms |
| Stanford AI Index Report | Dados sobre desenvolvimento, políticas e incidentes de IA | Leitura gratuita, licença a verificar |
| Relatórios anuais de reguladores | Staffing, priorities and enforcement of authorities supervising AI | Registros públicos, termos de cada autoridade |
Do mandato à avaliação, por pilar.
As etapas que um instrumento percorre do mandato à avaliação, cada uma com o pilar que a executa e as decisões que permanecem com a autoridade. Modelo didático com valores ilustrativos declarados, não uma previsão.
- Mandato e enquadramento do problema Autoridade competente (fora do programa)
Uma autoridade competente enquadra o problema e o mandato conforme suas próprias regras. Howlett, Ramesh e Perl (2009) - Evidence and system model Foundry
The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2 - Options appraised with scenarios Foundry
Instruments are compared under scenarios, with uncertainty shown. Hood (1983) - Exercício com as partes interessadas Universo
As opções são testadas em um exercício com quem as implementaria e arcaria com elas. OCDE (2014), princípio 3 - Standard or guidance drafted Nexus Standards
What works is codified as a standard or guidance, open to comment. Nexus Standards process - Decisão da autoridade Autoridade competente (fora do programa)
A autoridade decide, fora do programa, com as evidências registradas. Howlett, Ramesh e Perl (2009) - Capacity and training Risk Academy
Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2 - Monitoramento e relatório público Relatórios
Os indicadores são publicados com suas fontes, limites e correções. OCDE (2014), princípio 5 - Evaluation and revision Nexus Standards
Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)
Métodos
- Ciclo de políticas Howlett, Ramesh e Perl (2009), Studying Public Policy, Oxford University Press
- Governança de riscos críticos OCDE (2014), Recomendação do Conselho sobre a Governança de Riscos Críticos
- Desenho em camadas de grafos direcionados Sugiyama, Tagawa e Toda (1981), IEEE SMC 11
Nos seis pilares, sob a liderança do Nexus Consortium
- Experimentos Laboratórios
- Integrado Governança de IA e Digital no Foundry
- Testado em Governança de IA e Digital no Universe
- Codificado em Digital, ciber e IA em Standards
- Publicado em Governança da IA e do Digital nos Relatórios
- Ensinado em Faculdade de Tecnologia e Sistemas Digitais em Academy
Quem decide, e a que servem as evidências.
A Governança de IA e Digital prepara evidências. As decisões abaixo são tomadas pelas autoridades nomeadas, segundo suas próprias regras, e nunca pela plataforma.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Legislativos | Quais obrigações cabem a desenvolvedores, implantadores e provedores de modelos de uso geral | Regimes comparados e evidências de incidentes |
| Fiscalização de mercado e reguladores setoriais | Quais temas de sistemas inspecionar e que poderes utilizar | Incident records, risk categories and enforcement practice |
| Conselhos de administração das organizações que implantam | Who owns AI risk and what assurance they require | Práticas de governança e normas de sistemas de gestão |
| Tribunais | Who is responsible for harm caused with an AI system | Records and expert evidence presented by parties; the page serves context only |
Produtos que este tema gera
- Maps of accountability across the AI value chain for a given use
- Notas comparativas sobre autoridades de supervisão de IA e seus poderes
- Guide to AI incident reporting regimes and databases
- Questions for boards and regulators on AI oversight
Como são governadas a supervisão e a responsabilização em matéria de IA: instrumentos, mandatos e compromissos.
Os instrumentos, mandatos, atores e arranjos de prestação de contas com que trabalha um formulador de políticas, um diplomata ou uma agência de desenvolvimento, com citação dos acordos que os estabelecem. As estruturas seguem os marcos nomeados. Qualquer estado ou progresso exibido é ilustrativo, não um registro.
Ciclo de prestação de contas
Como os compromissos sobre supervisão e responsabilização em IA são cobrados, do compromisso à correção.
- Comprometer-seGovernoUm compromisso com mandato e base jurídica.
- PlanejarAgência líderUm plano nacional com responsáveis e marcos.
- RecursoMinistério da FazendaUma linha orçamentária ou um financiamento registrado.
- ImplementarAgências e governo localExecução em relação ao plano.
- RelatórioInstituto de estatísticaIndicadores relatados segundo definições acordadas.
- AnálisePoder legislativo, auditoria, sociedade civilRevisão independente dos resultados e das lacunas.
- CorrigirGovernoAlterações ao plano, publicadas com justificativas.
O que as instituições perguntam sobre supervisão.
- Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
- Has the system been validated for this specific use and population, by someone independent of its developers?
- As pessoas que revisam seus resultados podem realmente discordar dele, ou simplesmente aprovam o que ele sugere?
- Como o desempenho será monitorado depois que o sistema estiver em uso e o que aciona a suspensão?
Por que a responsabilização se erode.
Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.
Rubber-stamp review
People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.
Muitas mãos
Developers, vendors, integrators and users each own part of the system and none owns the outcome.
Desempenho em mudança
Os modelos se degradam à medida que o mundo muda e, sem monitoramento, essa degradação passa despercebida.
Instruments of oversight.
- 01
Impact assessments
Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.
- 02
Validação independente
Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.
- 03
Meaningful human review
Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.
- 04
Trilhas de auditoria e monitoramento
Registros de entradas, saídas e decisões, com o desempenho acompanhado ao longo do tempo. Limites: só são úteis se alguém os revisar.
Como é estudado e o que os métodos não podem dizer.
- 01Engenharia de avaliação e garantia de IAÂmbito da auditoria de terceiros · Testes de equidade em sistemas públicos · Monitoramento pós-implantaçãoAplicado aqui
- 02Ciência das políticas, das instituições e da decisãoComparação de regimes de IA · Mapeamento da responsabilização na cadeia de valor · Mapeamento de fóruns e mandatosAplicado aqui
- 03Inteligência artificial e aprendizado de máquinaComo os modelos falham na implantação · Leitura da documentação dos modelos · Arquiteturas de agentes explicadasAplicado aqui
Perguntas e respostas.
What is the difference between an AI provider and a deployer?
Why does logging matter for AI oversight?
Does ISO/IEC 42001 certify that an AI system is safe?
Is having a human in the loop enough?
Quem deve validar um sistema de IA?
A plataforma audita sistemas de IA?
What should trigger suspending a system?
Contribua com evidências a partir desta página.
Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.
- EmailGateway GW-GRFSend it from this pageEvidence, a correction, a case, a method, a review, a translation or profile input. It arrives tagged with this page, so the editor who owns it receives it.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Leve uma questão de governança ao Fórum.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Mostrar os 18 documentos jurídicos
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.