GRF · Управление ИИ и цифровыми технологиями
Надзор за ИИ и подотчётность
When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.
AI oversight and accountability in seven parts.
- 01The questionAI oversight and accountability: how the risk develops
- 02ИндикаторыЧто измеряется и насколько хорошо
- 03ИсточникиОткуда берётся доказательная база
- 04РешенияКто принимает решения и чему служит доказательная база
- 05Core questionsWhat institutions ask about oversight
- 06MechanismsWhy accountability erodes
- 07Methods and limitsInstruments of oversight
AI oversight and accountability: how the risk develops.
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Responsibility diffuses along the chain
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
Records decide what can be reviewed
Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.
Authorities lack capacity
Органам надзора за рынком, защиты данных и отраслевым регуляторам нужны технические специалисты, доступ к системами и полномочия проводить их проверку. Недостаточный потенциал превращает правила в самооценку.
Incidents go unreported
Сбои обнаруживаются через жалобы, журналистику и судебные разбирательства, а не через отчётность. Обязательная отчётность об инцидентах и общие базы данных об инцидентах позволяют увидеть закономерности по разным внедрениям.
Публичный реестр алгоритмов.
Экран, который команда использовала бы для отслеживания этой темы: её показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.
Публичный реестр алгоритмов
Надзор за ИИ и подотчётность · Реестр алгоритмов · 2-й квартал
Зарегистрированные системы
| Выявление мошенничества с пособиями | Социальная служба | Высокий | Отсутствует | Частично |
| Отбор разрешений | Планирование | Ограниченный | Готово | Да |
| Распределение по школам | Образование | Высокий | Готово | Да |
| Чат-помощник | Налоговая служба | Минимальный | Готово | n/a |
Надзорное действие
- Системная
- Выявление мошенничества с пособиями
- Обязательно
- оценка воздействия, порядок обжалования
- Срок
- 73 days
- Орган
- Надзорный орган
Жалобы на автоматизированные решения
Что измеряется и насколько хорошо.
Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.
| Индикатор | Единица | Периодичность | Тип источника | Метка |
|---|---|---|---|---|
| Designated AI supervisory or market surveillance authority | yes or no, with legal basis | при изменении | National legislation and notifications | Опубликованная статистика |
| Технические специалисты в органах, связанных с ИИ | full-time equivalents | ежегодно | Годовые отчёты органов | СООБЩЕНО |
| Serious incidents reported under AI rules | число по секторам | ежегодно | Публичные записи | Опубликованная статистика |
| Publicly recorded AI incidents | количество по типам вреда | ежемесячно | Базы данных инцидентов | СООБЩЕНО |
| Enforcement actions concerning AI systems | count by authority and type | ежегодно | Реестры мер принудительного исполнения регуляторов | Опубликованная статистика |
| ISO/IEC 42001 certificates issued | количество | ежегодно | Записи органов сертификации | СООБЩЕНО |
Сравните инструменты: правила, стимулы и информацию.
Три семейства инструментов рядом с базовым сценарием, каждое со своим запаздыванием и скоростью внедрения, при заданных вами охвате и соблюдении требований; величины эффекта являются учебными значениями, которые следует заменить доказательными данными. Сценарий: заявленные допущения о будущем, а не прогноз.
Меры контроля
- Базовый тренд результата
- 2,0% в год
- Охват инструмента
- 70%
- Соответствие требованиям
- 75%
- Размер эффекта относительно учебного значения
- 100%
- Лет впереди
- 20 лет
Показания
- Наибольшее сокращение на горизонте
- Регулирование
- Её сокращение относительно базового уровня
- 21%
Числа, методы и источники
| Год | Базовый уровень | Регулирование | Экономический стимул | Информация и потенциал |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Методы
- Tools of government Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
- Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
- Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Данные
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Borders Natural Earth
- Cities Natural Earth
По шести опорам, под руководством Nexus Consortium
- Эксперименты Лаборатории
- Построено в «Управление ИИ и цифровыми технологиями» в Foundry
- Проверено в «Управление ИИ и цифровыми технологиями» в Universe
- Закреплено в Цифровые технологии, кибербезопасность и ИИ в Standards
- Опубликовано в «Управление ИИ и цифровыми технологиями» в Reports
- Преподаётся в Факультет технологий и цифровых систем в Academy
Откуда берётся доказательная база.
Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.
| Источник | Что он даёт | Класс лицензии |
|---|---|---|
| OECD.AI Policy Observatory | National AI policies, governance bodies and the AI Incidents Monitor | Бесплатно, условия ОЭСР |
| AI Incident Database | Crowd-sourced records of harms involving AI systems | Открыто, лицензия подлежит проверке |
| European Data Protection Board and national authority decisions | Решения по автоматизированной обработке и жалобам, связанным с ИИ | Public, EU and national reuse terms |
| Stanford AI Index Report | Данные о разработке ИИ, политике и инцидентах | Free to read, licence to check |
| Regulator annual reports | Staffing, priorities and enforcement of authorities supervising AI | Публичные записи, условия каждого органа власти |
От мандата до оценки, по опорам.
Этапы, которые инструмент проходит от мандата до оценки, с указанием опоры, которая отвечает за каждый этап, и решений, остающихся за органом власти. Учебная модель с заявленными иллюстративными значениями, а не прогноз.
- Mandate and problem framing Competent authority (outside the programme)
A competent authority frames the problem and the mandate under its own rules. Howlett, Ramesh and Perl (2009) - Evidence and system model Foundry
The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2 - Options appraised with scenarios Foundry
Instruments are compared under scenarios, with uncertainty shown. Hood (1983) - Учения с участием заинтересованных сторон Вселенная
Варианты проверяются на учениях с теми, кто будет их реализовывать и нести последствия. ОЭСР (2014), принцип 3 - Подготовлен проект стандарта или руководства Указатель Nexus Standards
То, что работает, кодифицируется в виде стандарта или руководства, открытого для комментариев. Процесс Nexus Standards - Decision by the authority Competent authority (outside the programme)
The authority decides, outside the programme, with the evidence on record. Howlett, Ramesh and Perl (2009) - Потенциал и обучение Академия рисков
Тех, кто будет реализовывать, обучают работе с выбранным инструментом и его данными. Сендайская рамочная программа по снижению риска бедствий (2015), приоритет 2 - Monitoring and public report Reports
Indicators are published with sources, limits and corrections. OECD (2014), principle 5 - Evaluation and revision Nexus Standards
Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)
Методы
- Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- Управление критическими рисками ОЭСР (2014), Рекомендация Совета по управлению критическими рисками
- Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
По шести опорам, под руководством Nexus Consortium
- Эксперименты Лаборатории
- Построено в «Управление ИИ и цифровыми технологиями» в Foundry
- Проверено в «Управление ИИ и цифровыми технологиями» в Universe
- Закреплено в Цифровые технологии, кибербезопасность и ИИ в Standards
- Опубликовано в «Управление ИИ и цифровыми технологиями» в Reports
- Преподаётся в Факультет технологий и цифровых систем в Academy
Кто принимает решения и чему служит доказательная база.
«Управление ИИ и цифровыми технологиями» готовит доказательную базу. Приведённые ниже решения принимаются названными органами по их собственным правилам и никогда не принимаются платформой.
| Кто принимает решение | Вопрос | Доказательная база, которую обслуживает эта страница |
|---|---|---|
| Законодательные органы | Which obligations attach to developers, deployers and providers of general-purpose models | Comparative regimes and evidence from incidents |
| Market surveillance and sector regulators | Which systems to inspect and what powers to use | Incident records, risk categories and enforcement practice |
| Boards of deploying organisations | Who owns AI risk and what assurance they require | Governance practice and management system standards |
| Суды | Who is responsible for harm caused with an AI system | Records and expert evidence presented by parties; the page serves context only |
Результаты, которые даёт эта тема
- Maps of accountability across the AI value chain for a given use
- Comparative notes on AI supervisory authorities and their powers
- Guide to AI incident reporting regimes and databases
- Вопросы для советов директоров и регуляторов по надзору за ИИ
Как регулируются надзор и подотчётность в сфере ИИ: инструменты, мандаты и обязательства.
Инструменты, мандаты, участники и механизмы подотчётности, с которыми работает политик, дипломат или агентство по развитию, со ссылками на соглашения, которые их устанавливают. Структуры следуют названным рамочным документам. Любое показанное состояние или прогресс иллюстративны, а не являются записью.
Цикл подотчётности
How commitments on AI oversight and accountability are held to account, from commitment to correction.
- Взять обязательствоПравительствоОбязательство, подкреплённое мандатом и правовым основанием.
- ПланВедущее ведомствоНациональный план с ответственными и контрольными точками.
- РесурсМинистерство финансовБюджетная статья или зафиксированное финансирование.
- ВнедритьВедомства и органы местного самоуправленияВыполнение плана.
- ОтчетСтатистическое ведомствоПоказатели представляются в согласованных определениях.
- РецензированиеЗаконодательная власть, аудит, гражданское обществоНезависимый обзор результатов и пробелов.
- ИсправитьПравительствоИзменения в плане, опубликованные с обоснованием.
What institutions ask about oversight.
- Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
- Has the system been validated for this specific use and population, by someone independent of its developers?
- Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
- Как будет осуществляться мониторинг эффективности после начала использования системы и что служит основанием для приостановки?
Why accountability erodes.
Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.
Rubber-stamp review
People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.
Many hands
Developers, vendors, integrators and users each own part of the system and none owns the outcome.
Changing performance
Models degrade as the world changes, and without monitoring the degradation goes unnoticed.
Instruments of oversight.
- 01
Impact assessments
Структурированный анализ рисков для прав и результатов до внедрения. Ограничения: может превратиться в формальность, если не связан с решениями.
- 02
Независимая валидация
Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.
- 03
Осмысленная проверка человеком
Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.
- 04
Audit trails and monitoring
Logs of inputs, outputs and decisions, with performance tracked over time. Limits: only useful if someone reviews them.
Как это изучается и чего методы не могут сказать.
- 01Инженерная оценка ИИ и обеспечение уверенностиОхват стороннего аудита · Тестирование справедливости в государственных системах · Мониторинг после развёртыванияПрименяется здесь
- 02Наука о политике, институтах и решенияхСравнение режимов регулирования ИИ · Картирование подотчётности в цепочке создания стоимости · Картирование форумов и мандатовПрименяется здесь
- 03Искусственный интеллект и машинное обучениеКак модели дают сбои при развёртывании · Чтение документации моделей · Архитектуры агентовПрименяется здесь
Вопросы и ответы.
В чём разница между поставщиком ИИ и эксплуатантом?
Why does logging matter for AI oversight?
Does ISO/IEC 42001 certify that an AI system is safe?
Is having a human in the loop enough?
Who should validate an AI system?
Does the platform audit AI systems?
What should trigger suspending a system?
Поделитесь доказательствами с этой страницы.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
- Электронная почтаШлюз GW-GRFОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Вынесите вопрос управления на рассмотрение Форума.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Показать все 18 юридических документов
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.