Skip to content

GRF · Governança de IA e Digital

Supervisão e responsabilização da IA

When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.

02A pergunta

Supervisão e responsabilização da IA: como o risco se desenvolve.

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mecanismo

A responsabilidade se dilui ao longo da cadeia

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

Mecanismo

Os registros determinam o que pode ser revisado

Sem documentação técnica, registros de log e de alterações, auditores e reguladores não conseguem reconstituir como um sistema chegou a um resultado. Os deveres de manutenção de registros tornam possível a supervisão posterior.

Mecanismo

Authorities lack capacity

Autoridades de fiscalização de mercado, de proteção de dados e reguladores setoriais precisam de pessoal técnico, acesso aos sistemas e poderes para testá-los. Uma capacidade reduzida transforma as regras em autoavaliação.

Mecanismo

Incidents go unreported

As falhas vêm à tona por meio de reclamações, do jornalismo e de litígios, e não de relatórios. A notificação obrigatória de incidentes e bancos de dados compartilhados de incidentes permitem enxergar padrões entre implantações.

03Monitoramento

Registro público de algoritmos.

A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.

Registro público de algoritmos

Supervisão e responsabilização da IA · Registro de algoritmos · Trimestre 2

Dois sistemas de alto risco sem avaliaçãoGRF · Governança de IA e Digital

Sistemas registrados

Sinalização de fraude em benefíciosAgência socialElevadoAusenteParcial
Triagem de pedidos de licençaPlanejamentoLimitadoConcluídoSim
Alocação escolarEducaçãoElevadoConcluídoSim
Assistente de chatReceitaMínimoConcluídon/a

Ação de supervisão

Sistema
Sinalização de fraude em benefícios
Obrigatório
avaliação de impacto, via de recurso
Prazo
73 days
Autoridade
Órgão de supervisão

Reclamações sobre decisões automatizadas

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04Indicadores

O que é medido e com que qualidade.

Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.

IndicadorUnidadeCadênciaTipo de fonteRótulo
Designated AI supervisory or market surveillance authoritysim ou não, com base legalquando há mudançaNational legislation and notificationsEstatísticas publicadas
Equipe técnica em autoridades relevantes para a IAequivalentes em tempo integralanualRelatórios anuais das autoridadesREPORTADO
Serious incidents reported under AI rulescontagem por setoranualRegistros públicosEstatísticas publicadas
Publicly recorded AI incidentscontagem por tipo de danomensalBases de dados de incidentesREPORTADO
Ações de fiscalização relativas a sistemascount by authority and typeanualRegistros de fiscalização de reguladoresEstatísticas publicadas
ISO/IEC 42001 certificates issuedcontagemanualRegistros de organismos de certificaçãoREPORTADO
05Cenários de política

Comparar instrumentos: regras, incentivos e informação.

Três famílias de instrumentos lado a lado em relação à linha de base, cada uma com sua própria defasagem e velocidade de adoção, conforme a cobertura e a conformidade que você definir; os tamanhos de efeito são valores didáticos a substituir por evidências. Cenário: premissas nomeadas sobre o futuro, não uma previsão.

Controles

Tendência de base do resultado
2,0% ao ano
Cobertura do instrumento
70%
Conformidade
75%
Tamanho do efeito, em relação ao valor didático
100%
Anos à frente
20 anos

Leituras

Maior redução no horizonte
Regulação
Sua redução em relação à linha de base
21%
Números, métodos e fontes
AnoLinha de baseRegulaçãoIncentivo econômicoInformação e capacidades
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

Métodos

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Cenouras, porretes e sermões Bemelmans-Videc, Rist e Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Leque de incerteza (Monte Carlo de parâmetros) Spiegelhalter, Pearson e Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

Dados

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
Comparar instrumentos: regras, incentivos e informação. Modelo didático ilustrativo: funciona com os valores definidos pelos controles, não com dados medidos. Métodos: As ferramentas de governo (Hood (1983), The Tools of Government, Macmillan); Cenouras, porretes e sermões (Bemelmans-Videc, Rist e Vedung (1998), Transaction); Difusão de inovações (Rogers (2003), Diffusion of Innovations, Free Press).
06Fontes

De onde vêm as evidências.

Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.

FonteO que ofereceClasse de licença
Observatório de Políticas OECD.AINational AI policies, governance bodies and the AI Incidents MonitorGratuito, termos da OCDE
AI Incident DatabaseRegistros colaborativos de danos envolvendo sistemasAberto, licença a verificar
European Data Protection Board and national authority decisionsDecisões sobre processamento automatizado e reclamações relacionadas à IAPublic, EU and national reuse terms
Stanford AI Index ReportDados sobre desenvolvimento, políticas e incidentes de IALeitura gratuita, licença a verificar
Relatórios anuais de reguladoresStaffing, priorities and enforcement of authorities supervising AIRegistros públicos, termos de cada autoridade
07Implementação

Do mandato à avaliação, por pilar.

As etapas que um instrumento percorre do mandato à avaliação, cada uma com o pilar que a executa e as decisões que permanecem com a autoridade. Modelo didático com valores ilustrativos declarados, não uma previsão.

  1. Mandato e enquadramento do problema Autoridade competente (fora do programa)
    Uma autoridade competente enquadra o problema e o mandato conforme suas próprias regras. Howlett, Ramesh e Perl (2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. Exercício com as partes interessadas Universo
    As opções são testadas em um exercício com quem as implementaria e arcaria com elas. OCDE (2014), princípio 3
  5. Standard or guidance drafted Nexus Standards
    What works is codified as a standard or guidance, open to comment. Nexus Standards process
  6. Decisão da autoridade Autoridade competente (fora do programa)
    A autoridade decide, fora do programa, com as evidências registradas. Howlett, Ramesh e Perl (2009)
  7. Capacity and training Risk Academy
    Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2
  8. Monitoramento e relatório público Relatórios
    Os indicadores são publicados com suas fontes, limites e correções. OCDE (2014), princípio 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

Métodos

  1. Ciclo de políticas Howlett, Ramesh e Perl (2009), Studying Public Policy, Oxford University Press
  2. Governança de riscos críticos OCDE (2014), Recomendação do Conselho sobre a Governança de Riscos Críticos
  3. Desenho em camadas de grafos direcionados Sugiyama, Tagawa e Toda (1981), IEEE SMC 11
Do mandato à avaliação, por pilar: as etapas como registradas, cada uma com seu pilar; fontes citadas em cada etapa.
08Decisões

Quem decide, e a que servem as evidências.

A Governança de IA e Digital prepara evidências. As decisões abaixo são tomadas pelas autoridades nomeadas, segundo suas próprias regras, e nunca pela plataforma.

Quem decideA perguntaEvidências a que esta página serve
LegislativosQuais obrigações cabem a desenvolvedores, implantadores e provedores de modelos de uso geralRegimes comparados e evidências de incidentes
Fiscalização de mercado e reguladores setoriaisQuais temas de sistemas inspecionar e que poderes utilizarIncident records, risk categories and enforcement practice
Conselhos de administração das organizações que implantamWho owns AI risk and what assurance they requirePráticas de governança e normas de sistemas de gestão
TribunaisWho is responsible for harm caused with an AI systemRecords and expert evidence presented by parties; the page serves context only

Produtos que este tema gera

  • Maps of accountability across the AI value chain for a given use
  • Notas comparativas sobre autoridades de supervisão de IA e seus poderes
  • Guide to AI incident reporting regimes and databases
  • Questions for boards and regulators on AI oversight
09Instrumentos e compromissos

Como são governadas a supervisão e a responsabilização em matéria de IA: instrumentos, mandatos e compromissos.

Os instrumentos, mandatos, atores e arranjos de prestação de contas com que trabalha um formulador de políticas, um diplomata ou uma agência de desenvolvimento, com citação dos acordos que os estabelecem. As estruturas seguem os marcos nomeados. Qualquer estado ou progresso exibido é ilustrativo, não um registro.

Ciclo de prestação de contas

Como os compromissos sobre supervisão e responsabilização em IA são cobrados, do compromisso à correção.

  1. Comprometer-seGovernoUm compromisso com mandato e base jurídica.
  2. PlanejarAgência líderUm plano nacional com responsáveis e marcos.
  3. RecursoMinistério da FazendaUma linha orçamentária ou um financiamento registrado.
  4. ImplementarAgências e governo localExecução em relação ao plano.
  5. RelatórioInstituto de estatísticaIndicadores relatados segundo definições acordadas.
  6. AnálisePoder legislativo, auditoria, sociedade civilRevisão independente dos resultados e das lacunas.
  7. CorrigirGovernoAlterações ao plano, publicadas com justificativas.
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
Quadro de Sendai para a Redução do Risco de Desastres · UNDRRAcordo de Paris · UNFCCCAgenda 2030 e os Objetivos de Desenvolvimento Sustentável · Nações UnidasRegulamento Sanitário Internacional · OMS
10Questões centrais

O que as instituições perguntam sobre supervisão.

  • Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
  • Has the system been validated for this specific use and population, by someone independent of its developers?
  • As pessoas que revisam seus resultados podem realmente discordar dele, ou simplesmente aprovam o que ele sugere?
  • Como o desempenho será monitorado depois que o sistema estiver em uso e o que aciona a suspensão?
11Mecanismos

Por que a responsabilização se erode.

Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.

Automation bias

Rubber-stamp review

People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.

Diffusion

Muitas mãos

Developers, vendors, integrators and users each own part of the system and none owns the outcome.

Deriva

Desempenho em mudança

Os modelos se degradam à medida que o mundo muda e, sem monitoramento, essa degradação passa despercebida.

12Métodos e limites

Instruments of oversight.

  1. 01

    Impact assessments

    Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.

  2. 02

    Validação independente

    Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.

  3. 03

    Meaningful human review

    Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.

  4. 04

    Trilhas de auditoria e monitoramento

    Registros de entradas, saídas e decisões, com o desempenho acompanhado ao longo do tempo. Limites: só são úteis se alguém os revisar.

13Métodos

Como é estudado e o que os métodos não podem dizer.

  1. Engenharia de avaliação e garantia de IAÂmbito da auditoria de terceiros · Testes de equidade em sistemas públicos · Monitoramento pós-implantaçãoAplicado aqui
  2. Ciência das políticas, das instituições e da decisãoComparação de regimes de IA · Mapeamento da responsabilização na cadeia de valor · Mapeamento de fóruns e mandatosAplicado aqui
  3. Inteligência artificial e aprendizado de máquinaComo os modelos falham na implantação · Leitura da documentação dos modelos · Arquiteturas de agentes explicadasAplicado aqui
14Perguntas

Perguntas e respostas.

What is the difference between an AI provider and a deployer?
In the EU AI Act, a provider develops an AI system or model and places it on the market; a deployer uses it under its authority. Each carries different obligations.
Why does logging matter for AI oversight?
Logs and documentation let auditors, regulators and courts reconstruct how a system behaved. Without them, accountability depends on what the operator chooses to disclose.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Is having a human in the loop enough?
Not by itself. Review is meaningful only if the reviewer has the authority, time, information and competence to disagree with the system and does so when warranted.
Quem deve validar um sistema de IA?
Alguém independente de quem a desenvolveu ou a vendeu, com acesso aos dados relevantes e a perícia para testá-la para o uso pretendido.
A plataforma audita sistemas de IA?
Não. Ele compara práticas de governança e não testa nem certifica nenhum sistema.
What should trigger suspending a system?
Institutions set their own triggers, typically including evidence of error rates above an agreed level, unexplained shifts in outputs or credible complaints of harm.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Governança de IA e Digital

Leve uma questão de governança ao Fórum.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.