GRF · Управление ИИ и цифровыми технологиями
Алгоритмические публичные решения
Governments use algorithms to assess benefit claims, detect fraud, allocate inspections, set risk scores in policing and migration, and support judges and caseworkers. These decisions affect rights and livelihoods at scale, and errors repeat across thousands of cases before anyone sees them. This page sets out how algorithmic public decisions go wrong and how safeguards work, the records that show them, and who decides whether and how a system is used.
Algorithmic public decisions in seven parts.
- 01The questionAlgorithmic public decisions: how the risk develops
- 02ИндикаторыЧто измеряется и насколько хорошо
- 03ИсточникиОткуда берётся доказательная база
- 04РешенияКто принимает решения и чему служит доказательная база
- 05Core questionsWhat experts ask about algorithmic public decisions
- 06MechanismsHow algorithmic decisions go wrong
- 07Methods and limitsSafeguards and their limits
Algorithmic public decisions: how the risk develops.
Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Errors scale silently
A flawed rule or model applies to every case it touches. Without monitoring of outcomes and appeals, a systematic error can wrongly deny or penalise many people before it is detected.
Bias enters through data and design
Historical data reflect past decisions and enforcement patterns. Proxies such as postcode or nationality can produce unequal outcomes even when protected characteristics are excluded.
Human review becomes rubber-stamping
Public servants asked to review automated outputs under time pressure tend to accept them. Meaningful review needs time, authority to overrule and information about how the output was produced.
Непрозрачность препятствует оспариванию
Люди не могут оспорить решение, о котором не знают, что оно автоматизировано, или которое не могут понять. От уведомления, обоснования и доступа к обжалованию зависит, будут ли ошибки исправлены.
Публичный реестр алгоритмов.
Экран, который команда использовала бы для отслеживания этой темы: её показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.
Публичный реестр алгоритмов
Algorithmic public decisions · Algorithm register · Quarter 1
Зарегистрированные системы
| Выявление мошенничества с пособиями | Социальная служба | Высокий | Отсутствует | Частично |
| Отбор разрешений | Планирование | Ограниченный | Готово | Да |
| Распределение по школам | Образование | Высокий | Готово | Да |
| Чат-помощник | Налоговая служба | Минимальный | Готово | n/a |
Надзорное действие
- Системная
- Выявление мошенничества с пособиями
- Обязательно
- оценка воздействия, порядок обжалования
- Срок
- 64 days
- Орган
- Надзорный орган
Жалобы на автоматизированные решения
Что измеряется и насколько хорошо.
Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.
| Индикатор | Единица | Периодичность | Тип источника | Метка |
|---|---|---|---|---|
| Public algorithmic systems in a transparency register | количество по ведомствам | on update | Algorithm registers | ЗАДЕКЛАРИРОВАНО |
| Algorithmic impact assessments published | количество | ежегодно | Государственные публикации | ЗАДЕКЛАРИРОВАНО |
| Обжалование автоматизированных решений | количество и доля удовлетворённых | ежегодно | Agency and tribunal records | Опубликованная статистика |
| Outcome disparity across groups | ratio of adverse outcome rates | на аудит | Independent audits | ОЦЕНЕНО |
| Systems suspended or withdrawn after review | количество | ежегодно | Government and court records | Опубликованная статистика |
| Жалобы омбудсмену на автоматизированные решения | количество | ежегодно | Ombudsman reports | Опубликованная статистика |
How algorithmic public decisions is governed: instruments, mandates and commitments.
Инструменты, мандаты, участники и механизмы подотчётности, с которыми работает политик, дипломат или агентство по развитию, со ссылками на соглашения, которые их устанавливают. Структуры следуют названным рамочным документам. Любое показанное состояние или прогресс иллюстративны, а не являются записью.
Матрица инструментов политики
Виды инструментов, доступных для алгоритмических публичных решений, по уровням власти и сотрудничества.
| Тип инструмента | Местный | Национальный уровень | Региональный | Глобальный уровень |
|---|---|---|---|---|
| Регуляторный | Зонирование, строительные нормы | Законы, стандарты, лицензирование | Согласованные правила | Конвенции и договоры |
| Экономические | Местные сборы, гранты | Бюджетные статьи, налоги, схемы страхования | Пулы рисков, региональные фонды | Механизмы финансирования |
| Информация | Местные предупреждения | Раскрытие информации, раннее предупреждение, статистика | Механизмы обмена данными | Глобальный мониторинг и отчётность |
| Институциональный | Местные комитеты | Ведущие ведомства, координационные советы | Региональные органы и секретариаты | Многосторонние мандаты |
| Кооперативный | Общинные соглашения | Партнёрские договорённости | Меморандумы и совместные программы | Соглашения и совместные обязательства |
Откуда берётся доказательная база.
Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.
| Источник | Что он даёт | Класс лицензии |
|---|---|---|
| UK Algorithmic Transparency Recording Standard records | Published records of algorithmic tools used by public bodies | Open Government Licence |
| Amsterdam and Helsinki algorithm registers | City registers of algorithmic systems in use | Open data, terms per city |
| Директива Канады об автоматизированном принятии решений и оценках алгоритмического воздействия | Mandatory impact assessments for federal automated decisions | Open Government Licence, Canada |
| Доклады омбудсмена и контрольных органов | Investigations of automated decision systems in public services | Публичные записи, условия каждого учреждения |
| Court judgments on automated public decisions | Rulings on lawfulness of algorithmic systems | Public records, terms per court |
Кто принимает решения и чему служит доказательная база.
«Управление ИИ и цифровыми технологиями» готовит доказательную базу. Приведённые ниже решения принимаются названными органами по их собственным правилам и никогда не принимаются платформой.
| Кто принимает решение | Вопрос | Доказательная база, которую обслуживает эта страница |
|---|---|---|
| Ministers and agency heads | Whether to automate a decision and with what safeguards | Impact assessments, audit evidence and lessons from comparable systems |
| Органы по защите данных | Законность обработки и автоматизированных решений | Assessment records and complaints |
| Ombudsmen and audit offices | Whether to investigate a system and what to recommend | Appeals, complaints and outcome data |
| Courts and tribunals | Whether a decision or system breached rights or law | Записи, представленные сторонами; страница служит только для контекста |
Результаты, которые даёт эта тема
- Comparative notes on algorithm registers and impact assessments
- Guide to meaningful human review in automated decisions
- Dialogue briefs on lessons from suspended public algorithms
- Questions for agencies before deploying an automated decision system
What experts ask about algorithmic public decisions.
- What legal power authorises this use, and does the algorithm stay within it?
- Can a person affected find out that an algorithm was used, understand how, and challenge the result?
- Does the system perform differently for different groups, and is that justified?
- What happens when the system is wrong, and how quickly is the error found and corrected?
How algorithmic decisions go wrong.
Алгоритмы, обученные на исторических данных, могут воспроизводить исторические модели неблагополучия. Косвенная переменная, которая кажется нейтральной, например почтовый индекс, может коррелировать с защищёнными признаками. Ошибки в масштабе отличаются от индивидуальных ошибок: ошибочное правило, применённое ко всему массиву дел, вредит многим людям сразу и одинаковым образом, что может перегрузить системами.
The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.
Почему сейчас: автоматизированные системы используются для определения права на получение услуг, сортировки обращений и выявления мошенничества в государственных услугах, а суды и омбудсмены в ряде стран рассматривали случаи, когда эти системы ошибались. Платформа предназначена для сравнения механизмов пересмотра решений и возмещения ущерба и для фиксации того, что пострадавшие люди могут сделать на практике.
Safeguards and their limits.
- 01
Public registers of algorithms
Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.
- 02
Explanation and notification
Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.
- 03
Проверка на справедливость
Измерение результативности по группам с использованием методов машинного обучения . Ограничения: разные показатели справедливости могут вступать в противоречие, а выбор между ними является ценностным суждением.
- 04
Обжалование и возмещение
Routes to human review, appeal and remedy. Limits: depend on accessible processes and adequate staffing.
Как это изучается и чего методы не могут сказать.
- 01Инженерная оценка ИИ и обеспечение уверенностиОхват стороннего аудита · Тестирование справедливости в государственных системах · Мониторинг после развёртыванияПрименяется здесь
- 02Наука о политике, институтах и решенияхСравнение режимов регулирования ИИ · Картирование подотчётности в цепочке создания стоимости · Картирование форумов и мандатовПрименяется здесь
- 03Искусственный интеллект и машинное обучениеКак модели дают сбои при развёртывании · Чтение документации моделей · Архитектуры агентовПрименяется здесь
- 04Цифровая идентичность и общественные цифровые системыУровни обеспечения уверенности для государственных услуг · Минимальное раскрытие · Анализ исключенияПрименяется здесь
Вопросы и ответы.
Что такое оценка алгоритмического воздействия?
What makes human review meaningful?
Do people have a right not to be subject to automated decisions?
Can a public decision be made entirely by an algorithm?
Why can’t fairness be measured with one number?
Does the platform take up individual cases?
Are algorithm registers required?
Поделитесь доказательствами с этой страницы.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
- Электронная почтаШлюз GW-GRFОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Вынесите вопрос управления на рассмотрение Форума.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Показать все 18 юридических документов
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.