Third-party audit scope
Audit engagements are compared for access, independence and what they test, so buyers and regulators know what an audit opinion covers.
GRF · Управление ИИ и цифровыми технологиями
Инженерия оценки и обеспечения уверенности в ИИ для управления ИИ и цифровыми технологиями
AI assurance is the set of practices that build justified confidence in an AI system: evaluation, audit, red-teaming, monitoring and conformity assessment. In digital governance it decides what evidence regulators, buyers and courts can rely on, and who is independent enough to produce it.
01Реестр
Ключевые факты.
Запись о методеSTEM-метод
- МетодИнженерная оценка ИИ и обеспечение уверенности
- Распорядитель«Искусственный интеллект и автономные системы»
- Применяется вУправление ИИ и цифровыми технологиями
- ДанныеВходных данных: 4
- ПроверкиШагов валидации: 3
- Каноническая страницаSTEM Commons
02Заявка
What AI evaluation and assurance engineering does here.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI системами. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence, digital public infrastructure and cyber and digital resilience, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on STEM Commons.
Fairness testing in public systems
Outcome rates across groups are compared and proxy effects tested, with the fairness criterion chosen by the decision maker stated.
Post-deployment monitoring
Monitoring plans track drift, complaints and incidents after deployment, with thresholds that trigger review or withdrawal.
03Политические сценарии
Сравните инструменты: правила, стимулы и информацию.
Три семейства инструментов рядом с базовым сценарием, каждое со своим запаздыванием и скоростью внедрения, при заданных вами охвате и соблюдении требований; величины эффекта являются учебными значениями, которые следует заменить доказательными данными. Сценарий: заявленные допущения о будущем, а не прогноз.
Меры контроля
- Базовый тренд результата
- 2,0% в год
- Охват инструмента
- 70%
- Соответствие требованиям
- 75%
- Размер эффекта относительно учебного значения
- 100%
- Лет впереди
- 20 лет
Показания
- Наибольшее сокращение на горизонте
- Регулирование
- Её сокращение относительно базового уровня
- 21%
Числа, методы и источники
| Год | Базовый уровень | Регулирование | Экономический стимул | Информация и потенциал |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Методы
- Инструменты государственного управления Hood (1983), The Tools of Government, Macmillan
- Пряники, кнуты и проповеди Bemelmans-Videc, Rist and Vedung (1998), Transaction
- Диффузия инноваций Rogers (2003), Diffusion of Innovations, Free Press
- Веер неопределённости (параметрический метод Монте-Карло) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- Анализ чувствительности по одному фактору (торнадо) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Данные
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Границы Natural Earth
- Города Natural Earth
По шести опорам, под руководством Nexus Consortium
- Эксперименты Лаборатории
- Построено в «Управление ИИ и цифровыми технологиями» в Foundry
- Проверено в «Управление ИИ и цифровыми технологиями» в Universe
- Закреплено в Цифровые технологии, кибербезопасность и ИИ в Standards
- Опубликовано в «Управление ИИ и цифровыми технологиями» в Reports
- Преподаётся в Факультет технологий и цифровых систем в Academy
04Данные
Что потребляет метод.
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in реестре источников.
| Данные | Роль | Метка |
|---|---|---|
| Audit and evaluation reports | Assurance evidence | СООБЩЕНО |
| Outcome and appeal data | Real-world performance | НАБЛЮДАЕМО |
| Conformity assessment records | Regulatory compliance | ЗАДЕКЛАРИРОВАНО |
| Incident reports | Failures in use | СООБЩЕНО |
05Внедрение
От мандата до оценки, по опорам.
Этапы, которые инструмент проходит от мандата до оценки, с указанием опоры, которая отвечает за каждый этап, и решений, остающихся за органом власти. Учебная модель с заявленными иллюстративными значениями, а не прогноз.
- Мандат и постановка проблемы Компетентный орган (вне программы)
Компетентный орган формулирует проблему и мандат в соответствии со своими правилами. Howlett, Ramesh and Perl (2009) - Доказательная база и модель системы Foundry
Система моделируется с её обратными связями, данными и заявленными ограничениями. OECD (2014), principle 2 - Варианты оценены с помощью сценариев Foundry
Инструменты сравниваются в разных сценариях с отображением неопределённости. Hood (1983) - Учения с участием заинтересованных сторон Вселенная
Варианты проверяются на учениях с теми, кто будет их реализовывать и нести последствия. ОЭСР (2014), принцип 3 - Подготовлен проект стандарта или руководства Nexus Standards
То, что работает, кодифицируется в виде стандарта или руководства, открытого для комментариев. Процесс Nexus Standards - Решение органа Компетентный орган (вне программы)
Орган принимает решение вне программы; основание: доказательная база в записи. Howlett, Ramesh and Perl (2009) - Потенциал и обучение Академия рисков
Тех, кто будет реализовывать, обучают работе с выбранным инструментом и его данными. Сендайская рамочная программа по снижению риска бедствий (2015), приоритет 2 - Мониторинг и публичный отчёт Отчёты
Показатели публикуются с источниками, ограничениями и исправлениями. OECD (2014), principle 5 - Оценка и пересмотр Nexus Standards
Результаты возвращаются в стандарт и модель: цикл замыкается. Howlett, Ramesh and Perl (2009)
Методы
- Цикл политики Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- Управление критическими рисками ОЭСР (2014), Рекомендация Совета по управлению критическими рисками
- Послойное построение ориентированных графов Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
По шести опорам, под руководством Nexus Consortium
- Эксперименты Лаборатории
- Построено в «Управление ИИ и цифровыми технологиями» в Foundry
- Проверено в «Управление ИИ и цифровыми технологиями» в Universe
- Закреплено в Цифровые технологии, кибербезопасность и ИИ в Standards
- Опубликовано в «Управление ИИ и цифровыми технологиями» в Reports
- Преподаётся в Факультет технологий и цифровых систем в Academy
06Валидация
Как проверяются результаты.
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| Проверка | Как это делается |
|---|---|
| Независимость | The assessor’s relationship to the developer and deployer is stated |
| Доступ | The level of access to model, data and documentation is recorded |
| Scope stated | What the assurance covers and excludes is stated beside its conclusion |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
07Инструменты и обязательства
Инструменты, мандаты и обязательства.
Инструменты, мандаты, участники и механизмы подотчётности, с которыми работает политик, дипломат или агентство по развитию, со ссылками на соглашения, которые их устанавливают. Структуры следуют названным рамочным документам. Любое показанное состояние или прогресс иллюстративны, а не являются записью.
Матрица инструментов политики
The kinds of instrument available on AI evaluation and assurance engineering for AI and digital governance, by level of government and cooperation.
| Тип инструмента | Местный | Национальный уровень | Региональный | Глобальный уровень |
|---|---|---|---|---|
| Регуляторный | Зонирование, строительные нормы | Законы, стандарты, лицензирование | Согласованные правила | Конвенции и договоры |
| Экономические | Местные сборы, гранты | Бюджетные статьи, налоги, схемы страхования | Пулы рисков, региональные фонды | Механизмы финансирования |
| Информация | Местные предупреждения | Раскрытие информации, раннее предупреждение, статистика | Механизмы обмена данными | Глобальный мониторинг и отчётность |
| Институциональный | Местные комитеты | Ведущие ведомства, координационные советы | Региональные органы и секретариаты | Многосторонние мандаты |
| Кооперативный | Общинные соглашения | Партнёрские договорённости | Меморандумы и совместные программы | Соглашения и совместные обязательства |
Сендайская рамочная программа по снижению риска бедствий на 2015–2030 годы · УСРБ ООНПарижское соглашение · РКИК ООНПовестка дня на период до 2030 года и цели в области устойчивого развития · Организация Объединённых НацийМеждународные медико-санитарные правила · ВОЗ
09Ведение и сопровождение
Кто ведёт метод.
«Искусственный интеллект и автономные системы» stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
10Связано
Куда ведёт эта страница в рамках Консорциума.
11Вопросы
Вопросы и ответы.
What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Как проверяются результаты?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
Значения на этой странице реальные?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Где ещё применяется этот метод?
Observatory Каноническая страница метода перечисляет все применяющие его платформы.
ОтчётыВнести вклад
Поделитесь доказательствами с этой страницы.
Отчёты is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumУправление ИИ и цифровыми технологиямиЭкспоненциальные технологииАналитическая справка
- Электронная почтаШлюз GW-GRFОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoОткрытый депозитДепонируйте и подайте в сообществоОпубликуйте собственную запись на Zenodo со своим идентификатором ORCID iD, затем подайте её в сообщество Reports. Кураторы проверяют её; DOI остаётся за вами.
- ОтчётыGlobal Risks ForumВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Управление ИИ и цифровыми технологиями
Вынесите вопрос управления на рассмотрение Форума.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Правовая информация
Юридические документы.
Показать все 18 юридических документов
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.