GRF · Governança de IA e Digital
Decisões públicas algorítmicas
Governments use algorithms to assess benefit claims, detect fraud, allocate inspections, set risk scores in policing and migration, and support judges and caseworkers. These decisions affect rights and livelihoods at scale, and errors repeat across thousands of cases before anyone sees them. This page sets out how algorithmic public decisions go wrong and how safeguards work, the records that show them, and who decides whether and how a system is used.
Algorithmic public decisions in seven parts.
- 01A perguntaDecisões públicas algorítmicas: como o risco se desenvolve
- 02IndicadoresO que é medido e com que qualidade
- 03FontesDe onde vêm as evidências
- 04DecisõesQuem decide, e a que servem as evidências
- 05Core questionsWhat experts ask about algorithmic public decisions
- 06MecanismosComo as decisões algorítmicas dão errado
- 07Métodos e limitesSalvaguardas e seus limites
Algorithmic public decisions: how the risk develops.
Contestabilidade e transparência. O dossiê abaixo expõe como o risco se desenvolve, o que é medido, de onde vêm os dados, como são modelados e quem decide.
Os erros se ampliam silenciosamente
Uma regra ou um modelo falho se aplica a todos os casos que alcança. Sem monitoramento dos resultados e dos recursos, um erro sistemático pode negar ou penalizar indevidamente muitas pessoas antes de ser detectado.
O viés entra pelos dados e pelo desenho
Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.
Human review becomes rubber-stamping
Public servants asked to review automated outputs under time pressure tend to accept them. Meaningful review needs time, authority to overrule and information about how the output was produced.
A opacidade impede a contestação
People cannot contest a decision they do not know was automated or cannot understand. Notice, reasons and access to an appeal decide whether errors are corrected.
Registro público de algoritmos.
A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.
Registro público de algoritmos
Algorithmic public decisions · Algorithm register · Quarter 1
Sistemas registrados
| Sinalização de fraude em benefícios | Agência social | Elevado | Ausente | Parcial |
| Triagem de pedidos de licença | Planejamento | Limitado | Concluído | Sim |
| Alocação escolar | Educação | Elevado | Concluído | Sim |
| Assistente de chat | Receita | Mínimo | Concluído | n/a |
Ação de supervisão
- Sistema
- Sinalização de fraude em benefícios
- Obrigatório
- avaliação de impacto, via de recurso
- Prazo
- 64 days
- Autoridade
- Órgão de supervisão
Reclamações sobre decisões automatizadas
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Public algorithmic systems in a transparency register | contagem por agência | on update | Algorithm registers | DECLARADO |
| Algorithmic impact assessments published | contagem | anual | Publicações governamentais | DECLARADO |
| Appeals against automated decisions | número e proporção mantidos | anual | Registros de agências e tribunais | Estatísticas publicadas |
| Disparidade de resultados entre grupos | ratio of adverse outcome rates | por auditoria | Independent audits | ESTIMADO |
| Systems suspended or withdrawn after review | contagem | anual | Government and court records | Estatísticas publicadas |
| Ombudsman complaints about automated decisions | contagem | anual | Relatórios da ouvidoria | Estatísticas publicadas |
Como as decisões públicas algorítmicas são governadas: instrumentos, mandatos e compromissos.
Os instrumentos, mandatos, atores e arranjos de prestação de contas com que trabalha um formulador de políticas, um diplomata ou uma agência de desenvolvimento, com citação dos acordos que os estabelecem. As estruturas seguem os marcos nomeados. Qualquer estado ou progresso exibido é ilustrativo, não um registro.
Matriz de instrumentos de política
The kinds of instrument available on algorithmic public decisions, by level of government and cooperation.
| Tipo de instrumento | Local | Nacional | Regional | Global |
|---|---|---|---|---|
| Regulatório | Zoneamento, códigos de obras | Leis, normas, licenciamento | Regras harmonizadas | Convenções e tratados |
| Econômico | Tributos locais, subsídios | Linhas orçamentárias, impostos, esquemas de seguro | Pools de risco, fundos regionais | Mecanismos de financiamento |
| Informação | Alertas locais | Divulgação, alerta precoce, estatísticas | Acordos de compartilhamento de dados | Monitoramento e relatórios em nível global |
| Institucional | Comitês locais | Órgãos líderes, conselhos de coordenação | Órgãos regionais e secretarias | Mandatos multilaterais |
| Cooperativo | Acordos comunitários | Pactos de parceria | Memorandos e programas conjuntos | Acordos e compromissos conjuntos |
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| UK Algorithmic Transparency Recording Standard records | Registros publicados de ferramentas algorítmicas usadas por órgãos públicos | Open Government Licence |
| Amsterdam and Helsinki algorithm registers | City registers of algorithmic systems in use | Dados abertos, termos por cidade |
| Canada Directive on Automated Decision-Making and Algorithmic Impact Assessments | Mandatory impact assessments for federal automated decisions | Open Government Licence, Canada (Licença de Governo Aberto, Canadá) |
| Relatórios do ombudsman e do órgão de auditoria | Investigations of automated decision systems in public services | Registros públicos, termos de cada serviço |
| Court judgments on automated public decisions | Decisões sobre a legalidade de sistemas algorítmicos | Public records, terms per court |
Quem decide, e a que servem as evidências.
A Governança de IA e Digital prepara evidências. As decisões abaixo são tomadas pelas autoridades nomeadas, segundo suas próprias regras, e nunca pela plataforma.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Ministros e dirigentes de agências | Whether to automate a decision and with what safeguards | Impact assessments, audit evidence and lessons from comparable systems |
| Autoridades de proteção de dados | Se o tratamento e as decisões automatizadas são lícitos | Assessment records and complaints |
| Ombudsmen and audit offices | Whether to investigate a system and what to recommend | Appeals, complaints and outcome data |
| Cortes e tribunais | Whether a decision or system breached rights or law | Registros apresentados pelas partes; a página serve apenas de contexto |
Produtos que este tema gera
- Comparative notes on algorithm registers and impact assessments
- Guia para uma revisão humana significativa em decisões automatizadas
- Resumos de diálogo sobre lições de algoritmos públicos suspensos
- Perguntas para as agências antes de implantar um sistema automatizado de decisão
O que os especialistas perguntam sobre decisões públicas algorítmicas.
- What legal power authorises this use, and does the algorithm stay within it?
- Uma pessoa afetada pode descobrir que um algoritmo foi usado, entender como e contestar o resultado?
- Does the system perform differently for different groups, and is that justified?
- What happens when the system is wrong, and how quickly is the error found and corrected?
How algorithmic decisions go wrong.
Algorithms trained on historical data can reproduce historical patterns of disadvantage. A proxy variable that seems neutral, such as postcode, may correlate with protected characteristics. Errors at scale differ from individual errors: a flawed rule applied to an entire caseload harms many people at once and in the same way, which can overwhelm complaint systems.
The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.
Why now: automated systems are used for eligibility, triage and fraud detection in public services, and courts and ombudsmen in several countries have examined cases where they went wrong. The platform is designed to compare review and redress arrangements and record what affected people can actually do.
Salvaguardas e seus limites.
- 01
Registros públicos de algoritmos
Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.
- 02
Explicação e notificação
Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.
- 03
Teste de equidade
Measuring performance across groups, using machine learning methods. Limits: different fairness measures can conflict, and choosing among them is a value judgement.
- 04
Recurso e reparação
Caminhos para revisão humana, recurso e reparação. Limites: dependem de processos acessíveis e de pessoal adequado.
Como é estudado e o que os métodos não podem dizer.
- 01Engenharia de avaliação e garantia de IAÂmbito da auditoria de terceiros · Testes de equidade em sistemas públicos · Monitoramento pós-implantaçãoAplicado aqui
- 02Ciência das políticas, das instituições e da decisãoComparação de regimes de IA · Mapeamento da responsabilização na cadeia de valor · Mapeamento de fóruns e mandatosAplicado aqui
- 03Inteligência artificial e aprendizado de máquinaComo os modelos falham na implantação · Leitura da documentação dos modelos · Arquiteturas de agentes explicadasAplicado aqui
- 04Identidade digital e sistemas digitais públicosNíveis de garantia para serviços públicos · Divulgação mínima · Análise de exclusãoAplicado aqui
Perguntas e respostas.
O que é uma avaliação de impacto algorítmico?
O que torna significativa a revisão humana?
As pessoas têm o direito de não ser submetidas a decisões automatizadas?
Uma decisão pública pode ser tomada inteiramente por um algoritmo?
Why can’t fairness be measured with one number?
Does the platform take up individual cases?
Os registros de algoritmos são obrigatórios?
Contribua com evidências a partir desta página.
Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.
- EmailGateway GW-GRFSend it from this pageEvidence, a correction, a case, a method, a review, a translation or profile input. It arrives tagged with this page, so the editor who owns it receives it.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Leve uma questão de governança ao Fórum.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Mostrar os 18 documentos jurídicos
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.