Skip to content

GRF · Governança de IA e Digital

Decisões públicas algorítmicas

Governments use algorithms to assess benefit claims, detect fraud, allocate inspections, set risk scores in policing and migration, and support judges and caseworkers. These decisions affect rights and livelihoods at scale, and errors repeat across thousands of cases before anyone sees them. This page sets out how algorithmic public decisions go wrong and how safeguards work, the records that show them, and who decides whether and how a system is used.

02A pergunta

Algorithmic public decisions: how the risk develops.

Contestabilidade e transparência. O dossiê abaixo expõe como o risco se desenvolve, o que é medido, de onde vêm os dados, como são modelados e quem decide.

Mecanismo

Os erros se ampliam silenciosamente

Uma regra ou um modelo falho se aplica a todos os casos que alcança. Sem monitoramento dos resultados e dos recursos, um erro sistemático pode negar ou penalizar indevidamente muitas pessoas antes de ser detectado.

Mecanismo

O viés entra pelos dados e pelo desenho

Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.

Mecanismo

Human review becomes rubber-stamping

Public servants asked to review automated outputs under time pressure tend to accept them. Meaningful review needs time, authority to overrule and information about how the output was produced.

Mecanismo

A opacidade impede a contestação

People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.

03Monitoramento

Registro público de algoritmos.

A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.

Registro público de algoritmos

Algorithmic public decisions · Algorithm register · Quarter 1

Dois sistemas de alto risco sem avaliaçãoGRF · Governança de IA e Digital

Sistemas registrados

Sinalização de fraude em benefíciosAgência socialElevadoAusenteParcial
Triagem de pedidos de licençaPlanejamentoLimitadoConcluídoSim
Alocação escolarEducaçãoElevadoConcluídoSim
Assistente de chatReceitaMínimoConcluídon/a

Ação de supervisão

Sistema
Sinalização de fraude em benefícios
Obrigatório
avaliação de impacto, via de recurso
Prazo
64 days
Autoridade
Órgão de supervisão

Reclamações sobre decisões automatizadas

Public algorithm register: the screen’s structure, terms and states for Algorithmic public decisions.Example names and illustrative values; a design, not a record or a live system.
04Indicadores

O que é medido e com que qualidade.

Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.

IndicadorUnidadeCadênciaTipo de fonteRótulo
Public algorithmic systems in a transparency registercontagem por agênciaon updateAlgorithm registersDECLARADO
Algorithmic impact assessments publishedcontagemanualPublicações governamentaisDECLARADO
Appeals against automated decisionsnúmero e proporção mantidosanualRegistros de agências e tribunaisEstatísticas publicadas
Disparidade de resultados entre gruposratio of adverse outcome ratespor auditoriaIndependent auditsESTIMADO
Systems suspended or withdrawn after reviewcontagemanualGovernment and court recordsEstatísticas publicadas
Ombudsman complaints about automated decisionscontagemanualRelatórios da ouvidoriaEstatísticas publicadas
05Instrumentos e compromissos

Como as decisões públicas algorítmicas são governadas: instrumentos, mandatos e compromissos.

Os instrumentos, mandatos, atores e arranjos de prestação de contas com que trabalha um formulador de políticas, um diplomata ou uma agência de desenvolvimento, com citação dos acordos que os estabelecem. As estruturas seguem os marcos nomeados. Qualquer estado ou progresso exibido é ilustrativo, não um registro.

Matriz de instrumentos de política

The kinds of instrument available on algorithmic public decisions, by level of government and cooperation.

Tipo de instrumentoLocalNacionalRegionalGlobal
RegulatórioZoneamento, códigos de obrasLeis, normas, licenciamentoRegras harmonizadasConvenções e tratados
EconômicoTributos locais, subsídiosLinhas orçamentárias, impostos, esquemas de seguroPools de risco, fundos regionaisMecanismos de financiamento
InformaçãoAlertas locaisDivulgação, alerta precoce, estatísticasAcordos de compartilhamento de dadosMonitoramento e relatórios em nível global
InstitucionalComitês locaisÓrgãos líderes, conselhos de coordenaçãoÓrgãos regionais e secretariasMandatos multilaterais
CooperativoAcordos comunitáriosPactos de parceriaMemorandos e programas conjuntosAcordos e compromissos conjuntos
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Quadro de Sendai para a Redução do Risco de Desastres · UNDRRAcordo de Paris · UNFCCCAgenda 2030 e os Objetivos de Desenvolvimento Sustentável · Nações UnidasRegulamento Sanitário Internacional · OMS
06Fontes

De onde vêm as evidências.

Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.

FonteO que ofereceClasse de licença
UK Algorithmic Transparency Recording Standard recordsRegistros publicados de ferramentas algorítmicas usadas por órgãos públicosOpen Government Licence
Amsterdam and Helsinki algorithm registersCity registers of algorithmic systems in useDados abertos, termos por cidade
Canada Directive on Automated Decision-Making and Algorithmic Impact AssessmentsMandatory impact assessments for federal automated decisionsOpen Government Licence, Canada (Licença de Governo Aberto, Canadá)
Relatórios do ombudsman e do órgão de auditoriaInvestigations of automated decision systems in public servicesRegistros públicos, termos de cada serviço
Court judgments on automated public decisionsDecisões sobre a legalidade de sistemas algorítmicosPublic records, terms per court
07Decisões

Quem decide, e a que servem as evidências.

A Governança de IA e Digital prepara evidências. As decisões abaixo são tomadas pelas autoridades nomeadas, segundo suas próprias regras, e nunca pela plataforma.

Quem decideA perguntaEvidências a que esta página serve
Ministros e dirigentes de agênciasWhether to automate a decision and with what safeguardsImpact assessments, audit evidence and lessons from comparable systems
Autoridades de proteção de dadosSe o tratamento e as decisões automatizadas são lícitosAssessment records and complaints
Ombudsmen and audit officesWhether to investigate a system and what to recommendAppeals, complaints and outcome data
Cortes e tribunaisWhether a decision or system breached rights or lawRegistros apresentados pelas partes; a página serve apenas de contexto

Produtos que este tema gera

  • Comparative notes on algorithm registers and impact assessments
  • Guia para uma revisão humana significativa em decisões automatizadas
  • Resumos de diálogo sobre lições de algoritmos públicos suspensos
  • Perguntas para as agências antes de implantar um sistema automatizado de decisão
08Questões centrais

O que os especialistas perguntam sobre decisões públicas algorítmicas.

  • What legal power authorises this use, and does the algorithm stay within it?
  • Uma pessoa afetada pode descobrir que um algoritmo foi usado, entender como e contestar o resultado?
  • Does the system perform differently for different groups, and is that justified?
  • What happens when the system is wrong, and how quickly is the error found and corrected?
09Mecanismos

How algorithmic decisions go wrong.

Algorithms trained on historical data can reproduce historical patterns of disadvantage. A proxy variable that seems neutral, such as postcode, may correlate with protected characteristics. Errors at scale differ from individual errors: a flawed rule applied to an entire caseload harms many people at once and in the same way, which can overwhelm complaint systems.

The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.

Why now: automated systems are used for eligibility, triage and fraud detection in public services, and courts and ombudsmen in several countries have examined cases where they went wrong. The platform is designed to compare review and redress arrangements and record what affected people can actually do.

10Métodos e limites

Salvaguardas e seus limites.

  1. 01

    Registros públicos de algoritmos

    Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.

  2. 02

    Explicação e notificação

    Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.

  3. 03

    Teste de equidade

    Measuring performance across groups, using machine learning methods. Limits: different fairness measures can conflict, and choosing among them is a value judgement.

  4. 04

    Recurso e reparação

    Caminhos para revisão humana, recurso e reparação. Limites: dependem de processos acessíveis e de pessoal adequado.

12Perguntas

Perguntas e respostas.

O que é uma avaliação de impacto algorítmico?
Uma revisão estruturada, antes e durante a implantação, dos riscos que um sistema automatizado representa para as pessoas e de como são mitigados. O Canadá a exige para decisões federais automatizadas.
O que torna significativa a revisão humana?
The reviewer has the time, competence, information and authority to depart from the system’s output, and does so in practice when warranted.
As pessoas têm o direito de não ser submetidas a decisões automatizadas?
Under the GDPR, people have rights concerning decisions based solely on automated processing that significantly affect them, with exceptions and safeguards. Other jurisdictions differ.
Uma decisão pública pode ser tomada inteiramente por um algoritmo?
Isso depende da legislação de cada jurisdição. Muitos ordenamentos jurídicos restringem decisões totalmente automatizadas com efeitos significativos sobre as pessoas e exigem intervenção humana e direito de contestação.
Why can’t fairness be measured with one number?
Because there are several reasonable definitions of fairness, and mathematically they often cannot all be satisfied at once. Choosing among them is a policy decision.
Does the platform take up individual cases?
Não. Casos individuais cabem ao órgão responsável pela implantação, às ouvidorias, aos tribunais e às cortes.
Os registros de algoritmos são obrigatórios?
Some jurisdictions and cities publish them voluntarily or under policy; requirements vary.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Governança de IA e Digital

Leve uma questão de governança ao Fórum.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.