Skip to content

GRF · Управление ИИ и цифровыми технологиями

Алгоритмические публичные решения

Governments use algorithms to assess benefit claims, detect fraud, allocate inspections, set risk scores in policing and migration, and support judges and caseworkers. These decisions affect rights and livelihoods at scale, and errors repeat across thousands of cases before anyone sees them. This page sets out how algorithmic public decisions go wrong and how safeguards work, the records that show them, and who decides whether and how a system is used.

02Вопрос

Algorithmic public decisions: how the risk develops.

Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Механизм

Errors scale silently

A flawed rule or model applies to every case it touches. Without monitoring of outcomes and appeals, a systematic error can wrongly deny or penalise many people before it is detected.

Механизм

Bias enters through data and design

Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.

Механизм

Human review becomes rubber-stamping

Public servants asked to review automated outputs under time pressure tend to accept them. Meaningful review needs time, authority to overrule and information about how the output was produced.

Механизм

Непрозрачность препятствует оспариванию

Люди не могут оспорить решение, о котором не знают, что оно автоматизировано, или которое не могут понять. От уведомления, обоснования и доступа к обжалованию зависит, будут ли ошибки исправлены.

03Мониторинг

Публичный реестр алгоритмов.

Экран, который команда использовала бы для отслеживания этой темы: её показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.

Публичный реестр алгоритмов

Algorithmic public decisions · Algorithm register · Quarter 1

Две системы высокого риска без оценкиGRF · Управление ИИ и цифровыми технологиями

Зарегистрированные системы

Выявление мошенничества с пособиямиСоциальная службаВысокийОтсутствуетЧастично
Отбор разрешенийПланированиеОграниченныйГотовоДа
Распределение по школамОбразованиеВысокийГотовоДа
Чат-помощникНалоговая службаМинимальныйГотовоn/a

Надзорное действие

Системная
Выявление мошенничества с пособиями
Обязательно
оценка воздействия, порядок обжалования
Срок
64 days
Орган
Надзорный орган

Жалобы на автоматизированные решения

Public algorithm register: the screen’s structure, terms and states for Algorithmic public decisions.Example names and illustrative values; a design, not a record or a live system.
04Индикаторы

Что измеряется и насколько хорошо.

Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.

ИндикаторЕдиницаПериодичностьТип источникаМетка
Public algorithmic systems in a transparency registerколичество по ведомствамon updateAlgorithm registersЗАДЕКЛАРИРОВАНО
Algorithmic impact assessments publishedколичествоежегодноГосударственные публикацииЗАДЕКЛАРИРОВАНО
Обжалование автоматизированных решенийколичество и доля удовлетворённыхежегодноAgency and tribunal recordsОпубликованная статистика
Outcome disparity across groupsratio of adverse outcome ratesна аудитIndependent auditsОЦЕНЕНО
Systems suspended or withdrawn after reviewколичествоежегодноGovernment and court recordsОпубликованная статистика
Жалобы омбудсмену на автоматизированные решенияколичествоежегодноOmbudsman reportsОпубликованная статистика
05Инструменты и обязательства

How algorithmic public decisions is governed: instruments, mandates and commitments.

Инструменты, мандаты, участники и механизмы подотчётности, с которыми работает политик, дипломат или агентство по развитию, со ссылками на соглашения, которые их устанавливают. Структуры следуют названным рамочным документам. Любое показанное состояние или прогресс иллюстративны, а не являются записью.

Матрица инструментов политики

Виды инструментов, доступных для алгоритмических публичных решений, по уровням власти и сотрудничества.

Тип инструментаМестныйНациональный уровеньРегиональныйГлобальный уровень
РегуляторныйЗонирование, строительные нормыЗаконы, стандарты, лицензированиеСогласованные правилаКонвенции и договоры
ЭкономическиеМестные сборы, грантыБюджетные статьи, налоги, схемы страхованияПулы рисков, региональные фондыМеханизмы финансирования
ИнформацияМестные предупрежденияРаскрытие информации, раннее предупреждение, статистикаМеханизмы обмена даннымиГлобальный мониторинг и отчётность
ИнституциональныйМестные комитетыВедущие ведомства, координационные советыРегиональные органы и секретариатыМногосторонние мандаты
КооперативныйОбщинные соглашенияПартнёрские договорённостиМеморандумы и совместные программыСоглашения и совместные обязательства
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Сендайская рамочная программа по снижению риска бедствий на 2015–2030 годы · УСРБ ООНПарижское соглашение · РКИК ООНПовестка дня на период до 2030 года и цели в области устойчивого развития · Организация Объединённых НацийМеждународные медико-санитарные правила · ВОЗ
06Источники

Откуда берётся доказательная база.

Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.

ИсточникЧто он даётКласс лицензии
UK Algorithmic Transparency Recording Standard recordsPublished records of algorithmic tools used by public bodiesOpen Government Licence
Amsterdam and Helsinki algorithm registersCity registers of algorithmic systems in useOpen data, terms per city
Директива Канады об автоматизированном принятии решений и оценках алгоритмического воздействияMandatory impact assessments for federal automated decisionsOpen Government Licence, Canada
Доклады омбудсмена и контрольных органовInvestigations of automated decision systems in public servicesПубличные записи, условия каждого учреждения
Court judgments on automated public decisionsRulings on lawfulness of algorithmic systemsPublic records, terms per court
07Решения

Кто принимает решения и чему служит доказательная база.

«Управление ИИ и цифровыми технологиями» готовит доказательную базу. Приведённые ниже решения принимаются названными органами по их собственным правилам и никогда не принимаются платформой.

Кто принимает решениеВопросДоказательная база, которую обслуживает эта страница
Ministers and agency headsWhether to automate a decision and with what safeguardsImpact assessments, audit evidence and lessons from comparable systems
Органы по защите данныхЗаконность обработки и автоматизированных решенийAssessment records and complaints
Ombudsmen and audit officesWhether to investigate a system and what to recommendAppeals, complaints and outcome data
Courts and tribunalsWhether a decision or system breached rights or lawЗаписи, представленные сторонами; страница служит только для контекста

Результаты, которые даёт эта тема

  • Comparative notes on algorithm registers and impact assessments
  • Guide to meaningful human review in automated decisions
  • Dialogue briefs on lessons from suspended public algorithms
  • Questions for agencies before deploying an automated decision system
08Ключевые вопросы

What experts ask about algorithmic public decisions.

  • What legal power authorises this use, and does the algorithm stay within it?
  • Can a person affected find out that an algorithm was used, understand how, and challenge the result?
  • Does the system perform differently for different groups, and is that justified?
  • What happens when the system is wrong, and how quickly is the error found and corrected?
09Механизмы

How algorithmic decisions go wrong.

Алгоритмы, обученные на исторических данных, могут воспроизводить исторические модели неблагополучия. Косвенная переменная, которая кажется нейтральной, например почтовый индекс, может коррелировать с защищёнными признаками. Ошибки в масштабе отличаются от индивидуальных ошибок: ошибочное правило, применённое ко всему массиву дел, вредит многим людям сразу и одинаковым образом, что может перегрузить системами.

The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.

Почему сейчас: автоматизированные системы используются для определения права на получение услуг, сортировки обращений и выявления мошенничества в государственных услугах, а суды и омбудсмены в ряде стран рассматривали случаи, когда эти системы ошибались. Платформа предназначена для сравнения механизмов пересмотра решений и возмещения ущерба и для фиксации того, что пострадавшие люди могут сделать на практике.

10Методы и ограничения

Safeguards and their limits.

  1. 01

    Public registers of algorithms

    Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.

  2. 02

    Explanation and notification

    Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.

  3. 03

    Проверка на справедливость

    Измерение результативности по группам с использованием методов машинного обучения . Ограничения: разные показатели справедливости могут вступать в противоречие, а выбор между ними является ценностным суждением.

  4. 04

    Обжалование и возмещение

    Routes to human review, appeal and remedy. Limits: depend on accessible processes and adequate staffing.

11Методы

Как это изучается и чего методы не могут сказать.

  1. Инженерная оценка ИИ и обеспечение уверенностиОхват стороннего аудита · Тестирование справедливости в государственных системах · Мониторинг после развёртыванияПрименяется здесь
  2. Наука о политике, институтах и решенияхСравнение режимов регулирования ИИ · Картирование подотчётности в цепочке создания стоимости · Картирование форумов и мандатовПрименяется здесь
  3. Искусственный интеллект и машинное обучениеКак модели дают сбои при развёртывании · Чтение документации моделей · Архитектуры агентовПрименяется здесь
  4. Цифровая идентичность и общественные цифровые системыУровни обеспечения уверенности для государственных услуг · Минимальное раскрытие · Анализ исключенияПрименяется здесь
12Вопросы

Вопросы и ответы.

Что такое оценка алгоритмического воздействия?
A structured review, before and during deployment, of the risks an automated system poses to people and how they are mitigated. Canada requires one for federal automated decisions.
What makes human review meaningful?
The reviewer has the time, competence, information and authority to depart from the system’s output, and does so in practice when warranted.
Do people have a right not to be subject to automated decisions?
Under the GDPR, people have rights concerning decisions based solely on automated processing that significantly affect them, with exceptions and safeguards. Other jurisdictions differ.
Can a public decision be made entirely by an algorithm?
That depends on the law of each jurisdiction. Many legal systems restrict fully automated decisions with significant effects on people and require human involvement and a right to contest.
Why can’t fairness be measured with one number?
Потому что существует несколько обоснованных определений справедливости, и математически их часто невозможно удовлетворить одновременно. Выбор между ними является политическим решением.
Does the platform take up individual cases?
No. Individual cases belong to the deploying body, ombudsmen, tribunals and courts.
Are algorithm registers required?
Некоторые юрисдикции и города публикуют их добровольно или в соответствии с политикой; требования различаются.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Управление ИИ и цифровыми технологиями

Вынесите вопрос управления на рассмотрение Форума.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация
Показать все 18 юридических документов

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.