How models fail in deployment
Distribution shift, spurious correlations and feedback loops are explained with public case records, so oversight bodies know what to ask about a system’s behaviour after deployment.
GRF · Governança de IA e Digital
Inteligência artificial e aprendizado de máquina para a governança da IA e do digital
Artificial intelligence and machine learning are the sistemas this field governs. On this platform the methods are explained so that oversight bodies, legislators and the public understand what models do, how they fail and what evidence about them can be trusted.
01Conteúdo
Artificial intelligence and machine learning for AI and digital governance in five parts.
02Candidatura
O que a inteligência artificial e o aprendizado de máquina fazem aqui.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence, digital public infrastructure and cyber and digital resilience, machine learning can scale detection and forecasting across interconnected sistemas. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on os bens comuns CTEM.
Reading model documentation
Model cards, data sheets and system cards are read for what they disclose and omit about training data, evaluation and limits.
Agent architectures explained
How agents chain model calls, tools and memory is described, so that permission and liability questions can be placed at the right point.
03Monitoramento
Treinamento de modelos.
A tela que uma equipe usaria para acompanhar este método: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.
Treinamento de modelos
AI and digital governance · Artificial intelligence · Run R-6213
Deriva em uma fatiaGRF · Governança de IA e Digital
Avaliação por fatia
| Tudo | 0.85 | 0.04 | 4407 | Aprovado |
| Região A | 0.78 | 0.04 | 1829 | Análise |
| Região B | 0.65 | 0.07 | 444 | Análise |
| Classe rara | 0.74 | 0.14 | 124 | Abaixo do patamar |
Ficha do método
- Método
- Inteligência artificial e aprendizado de máquina
- Divisão
- baseado no tempo, sem vazamento
- Funcionalidades
- 55
- Rótulo
- MODELADO
Estabilidade da população
04Dados
O que o método consome.
Conjuntos de dados e registros usados pela inteligência artificial e pelo aprendizado de máquina nesta plataforma, com o papel que cada um desempenha e a etiqueta que seus valores levam. As fontes estão listadas no registro de fontes.
| Dados | Função | Rótulo |
|---|---|---|
| Model and system cards | Disclosed capabilities and limits | DECLARADO |
| Benchmark results | Comparative capability | REPORTADO |
| Incident records | Observed failures | REPORTADO |
| Research literature | Métodos e evidência | REPORTADO |
05Cenários de política
Comparar instrumentos: regras, incentivos e informação.
Três famílias de instrumentos lado a lado em relação à linha de base, cada uma com sua própria defasagem e velocidade de adoção, conforme a cobertura e a conformidade que você definir; os tamanhos de efeito são valores didáticos a substituir por evidências. Cenário: premissas nomeadas sobre o futuro, não uma previsão.
Controles
- Tendência de base do resultado
- 2,0% ao ano
- Cobertura do instrumento
- 70%
- Conformidade
- 75%
- Tamanho do efeito, em relação ao valor didático
- 100%
- Anos à frente
- 20 anos
Leituras
- Maior redução no horizonte
- Regulação
- Sua redução em relação à linha de base
- 21%
Números, métodos e fontes
| Ano | Linha de base | Regulação | Incentivo econômico | Informação e capacidades |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Métodos
- As ferramentas de governo Hood (1983), The Tools of Government, Macmillan
- Cenouras, porretes e sermões Bemelmans-Videc, Rist e Vedung (1998), Transaction
- Difusão de inovações Rogers (2003), Diffusion of Innovations, Free Press
- Leque de incerteza (Monte Carlo de parâmetros) Spiegelhalter, Pearson e Short (2011), Visualising uncertainty about the future, Science 333
- Sensibilidade de um fator de cada vez (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dados
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Fronteiras Natural Earth
- Cidades Natural Earth
Nos seis pilares, sob a liderança do Nexus Consortium
- Experimentos Laboratórios
- Integrado Governança de IA e Digital no Foundry
- Testado em Governança de IA e Digital no Universe
- Codificado em Digital, ciber e IA em Standards
- Publicado em Governança da IA e do Digital nos Relatórios
- Ensinado em Faculdade de Tecnologia e Sistemas Digitais em Academy
06Validação
Como os resultados são verificados.
Os modelos são avaliados com dados reservados que respeitam a estrutura espacial, temporal e de grupos. A robustez, a calibração e a equidade são testadas ao lado da exatidão.
| Verificar | Como é feito |
|---|---|
| Claims against evidence | Capability claims are checked against published evaluations |
| Context of benchmarks | Benchmark results are read with their task and data limits stated |
| Deployment conditions | Behaviour is described for the conditions in which the system is used |
O desempenho se degrada quando as condições de implantação diferem dos dados de treinamento. Os modelos podem codificar vieses e falhar sem aviso claro em eventos raros.
07Implementação
Do mandato à avaliação, por pilar.
As etapas que um instrumento percorre do mandato à avaliação, cada uma com o pilar que a executa e as decisões que permanecem com a autoridade. Modelo didático com valores ilustrativos declarados, não uma previsão.
- Mandato e enquadramento do problema Autoridade competente (fora do programa)
Uma autoridade competente enquadra o problema e o mandato conforme suas próprias regras. Howlett, Ramesh e Perl (2009) - Evidências e modelo do sistema Foundry
O sistema é modelado com seus ciclos de retroalimentação, dados e limites declarados. OCDE (2014), princípio 2 - Opções avaliadas com cenários Foundry
Os instrumentos são comparados em diferentes cenários, com a incerteza explicitada. Hood (1983) - Exercício com as partes interessadas Universo
As opções são testadas em um exercício com quem as implementaria e arcaria com elas. OCDE (2014), princípio 3 - Padrão ou orientação redigidos Nexus Standards
O que funciona é codificado como padrão ou orientação, aberto a comentários. Processo dos Nexus Standards - Decisão da autoridade Autoridade competente (fora do programa)
A autoridade decide, fora do programa, com as evidências registradas. Howlett, Ramesh e Perl (2009) - Capacidades e treinamento Risk Academy
Quem implementa é treinado no instrumento decidido e em seus dados. Quadro de Sendai para a Redução do Risco de Desastres (2015), prioridade 2 - Monitoramento e relatório público Relatórios
Os indicadores são publicados com suas fontes, limites e correções. OCDE (2014), princípio 5 - Avaliação e revisão Nexus Standards
Os resultados retornam ao padrão e ao modelo: o ciclo se fecha. Howlett, Ramesh e Perl (2009)
Métodos
- Ciclo de políticas Howlett, Ramesh e Perl (2009), Studying Public Policy, Oxford University Press
- Governança de riscos críticos OCDE (2014), Recomendação do Conselho sobre a Governança de Riscos Críticos
- Desenho em camadas de grafos direcionados Sugiyama, Tagawa e Toda (1981), IEEE SMC 11
Nos seis pilares, sob a liderança do Nexus Consortium
- Experimentos Laboratórios
- Integrado Governança de IA e Digital no Foundry
- Testado em Governança de IA e Digital no Universe
- Codificado em Digital, ciber e IA em Standards
- Publicado em Governança da IA e do Digital nos Relatórios
- Ensinado em Faculdade de Tecnologia e Sistemas Digitais em Academy
09Instrumentos e compromissos
Instrumentos, mandatos e compromissos.
Os instrumentos, mandatos, atores e arranjos de prestação de contas com que trabalha um formulador de políticas, um diplomata ou uma agência de desenvolvimento, com citação dos acordos que os estabelecem. As estruturas seguem os marcos nomeados. Qualquer estado ou progresso exibido é ilustrativo, não um registro.
Matriz de instrumentos de política
The kinds of instrument available on Artificial intelligence and machine learning for AI and digital governance, by level of government and cooperation.
| Tipo de instrumento | Local | Nacional | Regional | Global |
|---|---|---|---|---|
| Regulatório | Zoneamento, códigos de obras | Leis, normas, licenciamento | Regras harmonizadas | Convenções e tratados |
| Econômico | Tributos locais, subsídios | Linhas orçamentárias, impostos, esquemas de seguro | Pools de risco, fundos regionais | Mecanismos de financiamento |
| Informação | Alertas locais | Divulgação, alerta precoce, estatísticas | Acordos de compartilhamento de dados | Monitoramento e relatórios em nível global |
| Institucional | Comitês locais | Órgãos líderes, conselhos de coordenação | Órgãos regionais e secretarias | Mandatos multilaterais |
| Cooperativo | Acordos comunitários | Pactos de parceria | Memorandos e programas conjuntos | Acordos e compromissos conjuntos |
Quadro de Sendai para a Redução do Risco de Desastres · UNDRRAcordo de Paris · UNFCCCAgenda 2030 e os Objetivos de Desenvolvimento Sustentável · Nações UnidasRegulamento Sanitário Internacional · OMS
10Gestão responsável
Quem mantém o método.
Inteligência artificial e sistemas autônomos é guardião da inteligência artificial e do aprendizado de máquina para o Consortium e revisa como são aplicados nas plataformas.
11Ligado
Para onde esta página leva em todo o Consórcio.
12Perguntas
Perguntas e respostas.
Quais são os limites da inteligência artificial e do aprendizado de máquina neste campo?
O desempenho se degrada quando as condições de implantação diferem dos dados de treinamento. Os modelos podem codificar vieses e falhar sem aviso claro em eventos raros.
Como os resultados são verificados?
Os modelos são avaliados com dados reservados que respeitam a estrutura espacial, temporal e de grupos. A robustez, a calibração e a equidade são testadas ao lado da exatidão.
Os valores desta página são reais?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Onde mais este método é aplicado?
O Observatory do página canônica do método lista todas as plataformas que o aplicam.
RelatóriosContribuir
Contribua com evidências a partir desta página.
Relatórios is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumGovernança de IA e DigitalTecnologia exponencialResumo de evidências
- E-mailGateway GW-GRFEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoDepósito abertoDeposite-o e envie à comunidadePublique seu próprio registro no Zenodo com seu ORCID iD e depois envie-o à comunidade Reports ali. Os curadores o revisam; o DOI continua sendo seu.
- RelatóriosGlobal Risks ForumVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Governança de IA e Digital
Leve uma questão de governança ao Fórum.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Jurídico
Documentos jurídicos.
Mostrar os 18 documentos jurídicos
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.