Third-party audit scope
Audit engagements are compared for access, independence and what they test, so buyers and regulators know what an audit opinion covers.
GRF · Governança de IA e Digital
Avaliação e engenharia de garantia de IA para a governança da IA e do digital
AI assurance is the set of practices that build justified confidence in an AI system: evaluation, audit, red-teaming, monitoring and conformity assessment. In digital governance it decides what evidence regulators, buyers and courts can rely on, and who is independent enough to produce it.
01Registrar
Fatos essenciais.
Registro do métodoMétodo CTEM
- MétodoEngenharia de avaliação e garantia de IA
- Aplicado emGovernança de IA e Digital
- Dados4 insumos
- Verificações3 etapas de validação
- Página canônicaBens comuns CTEM
02Candidatura
What AI evaluation and assurance engineering does here.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI sistemas. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence, digital public infrastructure and cyber and digital resilience, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on os bens comuns CTEM.
Fairness testing in public systems
Outcome rates across groups are compared and proxy effects tested, with the fairness criterion chosen by the decision maker stated.
Post-deployment monitoring
Monitoring plans track drift, complaints and incidents after deployment, with thresholds that trigger review or withdrawal.
03Cenários de política
Comparar instrumentos: regras, incentivos e informação.
Três famílias de instrumentos lado a lado em relação à linha de base, cada uma com sua própria defasagem e velocidade de adoção, conforme a cobertura e a conformidade que você definir; os tamanhos de efeito são valores didáticos a substituir por evidências. Cenário: premissas nomeadas sobre o futuro, não uma previsão.
Controles
- Tendência de base do resultado
- 2,0% ao ano
- Cobertura do instrumento
- 70%
- Conformidade
- 75%
- Tamanho do efeito, em relação ao valor didático
- 100%
- Anos à frente
- 20 anos
Leituras
- Maior redução no horizonte
- Regulação
- Sua redução em relação à linha de base
- 21%
Números, métodos e fontes
| Ano | Linha de base | Regulação | Incentivo econômico | Informação e capacidades |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Métodos
- As ferramentas de governo Hood (1983), The Tools of Government, Macmillan
- Cenouras, porretes e sermões Bemelmans-Videc, Rist e Vedung (1998), Transaction
- Difusão de inovações Rogers (2003), Diffusion of Innovations, Free Press
- Leque de incerteza (Monte Carlo de parâmetros) Spiegelhalter, Pearson e Short (2011), Visualising uncertainty about the future, Science 333
- Sensibilidade de um fator de cada vez (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Dados
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Fronteiras Natural Earth
- Cidades Natural Earth
Nos seis pilares, sob a liderança do Nexus Consortium
- Experimentos Laboratórios
- Integrado Governança de IA e Digital no Foundry
- Testado em Governança de IA e Digital no Universe
- Codificado em Digital, ciber e IA em Standards
- Publicado em Governança da IA e do Digital nos Relatórios
- Ensinado em Faculdade de Tecnologia e Sistemas Digitais em Academy
04Dados
O que o método consome.
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in registro de fontes.
| Dados | Função | Rótulo |
|---|---|---|
| Audit and evaluation reports | Assurance evidence | REPORTADO |
| Outcome and appeal data | Real-world performance | OBSERVADO |
| Conformity assessment records | Regulatory compliance | DECLARADO |
| Incident reports | Failures in use | REPORTADO |
05Implementação
Do mandato à avaliação, por pilar.
As etapas que um instrumento percorre do mandato à avaliação, cada uma com o pilar que a executa e as decisões que permanecem com a autoridade. Modelo didático com valores ilustrativos declarados, não uma previsão.
- Mandato e enquadramento do problema Autoridade competente (fora do programa)
Uma autoridade competente enquadra o problema e o mandato conforme suas próprias regras. Howlett, Ramesh e Perl (2009) - Evidências e modelo do sistema Foundry
O sistema é modelado com seus ciclos de retroalimentação, dados e limites declarados. OCDE (2014), princípio 2 - Opções avaliadas com cenários Foundry
Os instrumentos são comparados em diferentes cenários, com a incerteza explicitada. Hood (1983) - Exercício com as partes interessadas Universo
As opções são testadas em um exercício com quem as implementaria e arcaria com elas. OCDE (2014), princípio 3 - Padrão ou orientação redigidos Nexus Standards
O que funciona é codificado como padrão ou orientação, aberto a comentários. Processo dos Nexus Standards - Decisão da autoridade Autoridade competente (fora do programa)
A autoridade decide, fora do programa, com as evidências registradas. Howlett, Ramesh e Perl (2009) - Capacidades e treinamento Risk Academy
Quem implementa é treinado no instrumento decidido e em seus dados. Quadro de Sendai para a Redução do Risco de Desastres (2015), prioridade 2 - Monitoramento e relatório público Relatórios
Os indicadores são publicados com suas fontes, limites e correções. OCDE (2014), princípio 5 - Avaliação e revisão Nexus Standards
Os resultados retornam ao padrão e ao modelo: o ciclo se fecha. Howlett, Ramesh e Perl (2009)
Métodos
- Ciclo de políticas Howlett, Ramesh e Perl (2009), Studying Public Policy, Oxford University Press
- Governança de riscos críticos OCDE (2014), Recomendação do Conselho sobre a Governança de Riscos Críticos
- Desenho em camadas de grafos direcionados Sugiyama, Tagawa e Toda (1981), IEEE SMC 11
Nos seis pilares, sob a liderança do Nexus Consortium
- Experimentos Laboratórios
- Integrado Governança de IA e Digital no Foundry
- Testado em Governança de IA e Digital no Universe
- Codificado em Digital, ciber e IA em Standards
- Publicado em Governança da IA e do Digital nos Relatórios
- Ensinado em Faculdade de Tecnologia e Sistemas Digitais em Academy
06Validação
Como os resultados são verificados.
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| Verificar | Como é feito |
|---|---|
| Independência | The assessor’s relationship to the developer and deployer is stated |
| Acesso | The level of access to model, data and documentation is recorded |
| Scope stated | What the assurance covers and excludes is stated beside its conclusion |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
07Instrumentos e compromissos
Instrumentos, mandatos e compromissos.
Os instrumentos, mandatos, atores e arranjos de prestação de contas com que trabalha um formulador de políticas, um diplomata ou uma agência de desenvolvimento, com citação dos acordos que os estabelecem. As estruturas seguem os marcos nomeados. Qualquer estado ou progresso exibido é ilustrativo, não um registro.
Matriz de instrumentos de política
The kinds of instrument available on AI evaluation and assurance engineering for AI and digital governance, by level of government and cooperation.
| Tipo de instrumento | Local | Nacional | Regional | Global |
|---|---|---|---|---|
| Regulatório | Zoneamento, códigos de obras | Leis, normas, licenciamento | Regras harmonizadas | Convenções e tratados |
| Econômico | Tributos locais, subsídios | Linhas orçamentárias, impostos, esquemas de seguro | Pools de risco, fundos regionais | Mecanismos de financiamento |
| Informação | Alertas locais | Divulgação, alerta precoce, estatísticas | Acordos de compartilhamento de dados | Monitoramento e relatórios em nível global |
| Institucional | Comitês locais | Órgãos líderes, conselhos de coordenação | Órgãos regionais e secretarias | Mandatos multilaterais |
| Cooperativo | Acordos comunitários | Pactos de parceria | Memorandos e programas conjuntos | Acordos e compromissos conjuntos |
Quadro de Sendai para a Redução do Risco de Desastres · UNDRRAcordo de Paris · UNFCCCAgenda 2030 e os Objetivos de Desenvolvimento Sustentável · Nações UnidasRegulamento Sanitário Internacional · OMS
09Gestão responsável
Quem mantém o método.
Inteligência artificial e sistemas autônomos stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
10Ligado
Para onde esta página leva em todo o Consórcio.
11Perguntas
Perguntas e respostas.
What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Como os resultados são verificados?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
Os valores desta página são reais?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Onde mais este método é aplicado?
O Observatory do página canônica do método lista todas as plataformas que o aplicam.
RelatóriosContribuir
Contribua com evidências a partir desta página.
Relatórios is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumGovernança de IA e DigitalTecnologia exponencialResumo de evidências
- E-mailGateway GW-GRFEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoDepósito abertoDeposite-o e envie à comunidadePublique seu próprio registro no Zenodo com seu ORCID iD e depois envie-o à comunidade Reports ali. Os curadores o revisam; o DOI continua sendo seu.
- RelatóriosGlobal Risks ForumVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Governança de IA e Digital
Leve uma questão de governança ao Fórum.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Jurídico
Documentos jurídicos.
Mostrar os 18 documentos jurídicos
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.