Skip to content

GRF · Управление ИИ и цифровыми технологиями

Надзор за ИИ и подотчётность

When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.

02Вопрос

AI oversight and accountability: how the risk develops.

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Механизм

Responsibility diffuses along the chain

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

Механизм

Records decide what can be reviewed

Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.

Механизм

Authorities lack capacity

Органам надзора за рынком, защиты данных и отраслевым регуляторам нужны технические специалисты, доступ к системами и полномочия проводить их проверку. Недостаточный потенциал превращает правила в самооценку.

Механизм

Incidents go unreported

Сбои обнаруживаются через жалобы, журналистику и судебные разбирательства, а не через отчётность. Обязательная отчётность об инцидентах и общие базы данных об инцидентах позволяют увидеть закономерности по разным внедрениям.

03Мониторинг

Публичный реестр алгоритмов.

Экран, который команда использовала бы для отслеживания этой темы: её показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.

Публичный реестр алгоритмов

Надзор за ИИ и подотчётность · Реестр алгоритмов · 2-й квартал

Две системы высокого риска без оценкиGRF · Управление ИИ и цифровыми технологиями

Зарегистрированные системы

Выявление мошенничества с пособиямиСоциальная службаВысокийОтсутствуетЧастично
Отбор разрешенийПланированиеОграниченныйГотовоДа
Распределение по школамОбразованиеВысокийГотовоДа
Чат-помощникНалоговая службаМинимальныйГотовоn/a

Надзорное действие

Системная
Выявление мошенничества с пособиями
Обязательно
оценка воздействия, порядок обжалования
Срок
73 days
Орган
Надзорный орган

Жалобы на автоматизированные решения

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04Индикаторы

Что измеряется и насколько хорошо.

Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.

ИндикаторЕдиницаПериодичностьТип источникаМетка
Designated AI supervisory or market surveillance authorityyes or no, with legal basisпри измененииNational legislation and notificationsОпубликованная статистика
Технические специалисты в органах, связанных с ИИfull-time equivalentsежегодноГодовые отчёты органовСООБЩЕНО
Serious incidents reported under AI rulesчисло по секторамежегодноПубличные записиОпубликованная статистика
Publicly recorded AI incidentsколичество по типам вредаежемесячноБазы данных инцидентовСООБЩЕНО
Enforcement actions concerning AI systemscount by authority and typeежегодноРеестры мер принудительного исполнения регуляторовОпубликованная статистика
ISO/IEC 42001 certificates issuedколичествоежегодноЗаписи органов сертификацииСООБЩЕНО
05Политические сценарии

Сравните инструменты: правила, стимулы и информацию.

Три семейства инструментов рядом с базовым сценарием, каждое со своим запаздыванием и скоростью внедрения, при заданных вами охвате и соблюдении требований; величины эффекта являются учебными значениями, которые следует заменить доказательными данными. Сценарий: заявленные допущения о будущем, а не прогноз.

Меры контроля

Базовый тренд результата
2,0% в год
Охват инструмента
70%
Соответствие требованиям
75%
Размер эффекта относительно учебного значения
100%
Лет впереди
20 лет

Показания

Наибольшее сокращение на горизонте
Регулирование
Её сокращение относительно базового уровня
21%
Числа, методы и источники
ГодБазовый уровеньРегулированиеЭкономический стимулИнформация и потенциал
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

Методы

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

Данные

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
Сравните инструменты: правила, стимулы и информацию. Иллюстративная учебная модель: она работает на значениях, заданных элементами управления, а не на измеренных данных. Методы: Tools of government (Hood (1983), The Tools of Government, Macmillan); Carrots, sticks and sermons (Bemelmans-Videc, Rist and Vedung (1998), Transaction); Diffusion of innovations (Rogers (2003), Diffusion of Innovations, Free Press).
06Источники

Откуда берётся доказательная база.

Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.

ИсточникЧто он даётКласс лицензии
OECD.AI Policy ObservatoryNational AI policies, governance bodies and the AI Incidents MonitorБесплатно, условия ОЭСР
AI Incident DatabaseCrowd-sourced records of harms involving AI systemsОткрыто, лицензия подлежит проверке
European Data Protection Board and national authority decisionsРешения по автоматизированной обработке и жалобам, связанным с ИИPublic, EU and national reuse terms
Stanford AI Index ReportДанные о разработке ИИ, политике и инцидентахFree to read, licence to check
Regulator annual reportsStaffing, priorities and enforcement of authorities supervising AIПубличные записи, условия каждого органа власти
07Внедрение

От мандата до оценки, по опорам.

Этапы, которые инструмент проходит от мандата до оценки, с указанием опоры, которая отвечает за каждый этап, и решений, остающихся за органом власти. Учебная модель с заявленными иллюстративными значениями, а не прогноз.

  1. Mandate and problem framing Competent authority (outside the programme)
    A competent authority frames the problem and the mandate under its own rules. Howlett, Ramesh and Perl (2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. Учения с участием заинтересованных сторон Вселенная
    Варианты проверяются на учениях с теми, кто будет их реализовывать и нести последствия. ОЭСР (2014), принцип 3
  5. Подготовлен проект стандарта или руководства Указатель Nexus Standards
    То, что работает, кодифицируется в виде стандарта или руководства, открытого для комментариев. Процесс Nexus Standards
  6. Decision by the authority Competent authority (outside the programme)
    The authority decides, outside the programme, with the evidence on record. Howlett, Ramesh and Perl (2009)
  7. Потенциал и обучение Академия рисков
    Тех, кто будет реализовывать, обучают работе с выбранным инструментом и его данными. Сендайская рамочная программа по снижению риска бедствий (2015), приоритет 2
  8. Monitoring and public report Reports
    Indicators are published with sources, limits and corrections. OECD (2014), principle 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

Методы

  1. Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
  2. Управление критическими рисками ОЭСР (2014), Рекомендация Совета по управлению критическими рисками
  3. Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
От мандата до оценки, по опорам: шаги в том виде, в каком они зафиксированы, каждый с его опорой; источники, как они указаны на каждом шаге.
08Решения

Кто принимает решения и чему служит доказательная база.

«Управление ИИ и цифровыми технологиями» готовит доказательную базу. Приведённые ниже решения принимаются названными органами по их собственным правилам и никогда не принимаются платформой.

Кто принимает решениеВопросДоказательная база, которую обслуживает эта страница
Законодательные органыWhich obligations attach to developers, deployers and providers of general-purpose modelsComparative regimes and evidence from incidents
Market surveillance and sector regulatorsWhich systems to inspect and what powers to useIncident records, risk categories and enforcement practice
Boards of deploying organisationsWho owns AI risk and what assurance they requireGovernance practice and management system standards
СудыWho is responsible for harm caused with an AI systemRecords and expert evidence presented by parties; the page serves context only

Результаты, которые даёт эта тема

  • Maps of accountability across the AI value chain for a given use
  • Comparative notes on AI supervisory authorities and their powers
  • Guide to AI incident reporting regimes and databases
  • Вопросы для советов директоров и регуляторов по надзору за ИИ
09Инструменты и обязательства

Как регулируются надзор и подотчётность в сфере ИИ: инструменты, мандаты и обязательства.

Инструменты, мандаты, участники и механизмы подотчётности, с которыми работает политик, дипломат или агентство по развитию, со ссылками на соглашения, которые их устанавливают. Структуры следуют названным рамочным документам. Любое показанное состояние или прогресс иллюстративны, а не являются записью.

Цикл подотчётности

How commitments on AI oversight and accountability are held to account, from commitment to correction.

  1. Взять обязательствоПравительствоОбязательство, подкреплённое мандатом и правовым основанием.
  2. ПланВедущее ведомствоНациональный план с ответственными и контрольными точками.
  3. РесурсМинистерство финансовБюджетная статья или зафиксированное финансирование.
  4. ВнедритьВедомства и органы местного самоуправленияВыполнение плана.
  5. ОтчетСтатистическое ведомствоПоказатели представляются в согласованных определениях.
  6. РецензированиеЗаконодательная власть, аудит, гражданское обществоНезависимый обзор результатов и пробелов.
  7. ИсправитьПравительствоИзменения в плане, опубликованные с обоснованием.
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
Сендайская рамочная программа по снижению риска бедствий на 2015–2030 годы · УСРБ ООНПарижское соглашение · РКИК ООНПовестка дня на период до 2030 года и цели в области устойчивого развития · Организация Объединённых НацийМеждународные медико-санитарные правила · ВОЗ
10Ключевые вопросы

What institutions ask about oversight.

  • Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
  • Has the system been validated for this specific use and population, by someone independent of its developers?
  • Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
  • Как будет осуществляться мониторинг эффективности после начала использования системы и что служит основанием для приостановки?
11Механизмы

Why accountability erodes.

Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.

Automation bias

Rubber-stamp review

People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.

Diffusion

Many hands

Developers, vendors, integrators and users each own part of the system and none owns the outcome.

Дрейф

Changing performance

Models degrade as the world changes, and without monitoring the degradation goes unnoticed.

12Методы и ограничения

Instruments of oversight.

  1. 01

    Impact assessments

    Структурированный анализ рисков для прав и результатов до внедрения. Ограничения: может превратиться в формальность, если не связан с решениями.

  2. 02

    Независимая валидация

    Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.

  3. 03

    Осмысленная проверка человеком

    Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.

  4. 04

    Audit trails and monitoring

    Logs of inputs, outputs and decisions, with performance tracked over time. Limits: only useful if someone reviews them.

13Методы

Как это изучается и чего методы не могут сказать.

  1. Инженерная оценка ИИ и обеспечение уверенностиОхват стороннего аудита · Тестирование справедливости в государственных системах · Мониторинг после развёртыванияПрименяется здесь
  2. Наука о политике, институтах и решенияхСравнение режимов регулирования ИИ · Картирование подотчётности в цепочке создания стоимости · Картирование форумов и мандатовПрименяется здесь
  3. Искусственный интеллект и машинное обучениеКак модели дают сбои при развёртывании · Чтение документации моделей · Архитектуры агентовПрименяется здесь
14Вопросы

Вопросы и ответы.

В чём разница между поставщиком ИИ и эксплуатантом?
In the EU AI Act, a provider develops an AI system or model and places it on the market; a deployer uses it under its authority. Each carries different obligations.
Why does logging matter for AI oversight?
Logs and documentation let auditors, regulators and courts reconstruct how a system behaved. Without them, accountability depends on what the operator chooses to disclose.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Is having a human in the loop enough?
Not by itself. Review is meaningful only if the reviewer has the authority, time, information and competence to disagree with the system and does so when warranted.
Who should validate an AI system?
Someone independent of those who developed or sold it, with access to relevant data and the expertise to test it for the intended use.
Does the platform audit AI systems?
No. It compares governance practices and does not test or certify any system.
What should trigger suspending a system?
Учреждения устанавливают собственные пороговые значения срабатывания, как правило включая доказательства ошибок выше согласованного уровня, необъяснимые сдвиги в выходных данных или обоснованные жалобы на причинение вреда.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Управление ИИ и цифровыми технологиями

Вынесите вопрос управления на рассмотрение Форума.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация
Показать все 18 юридических документов

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.