Skip to content

GRF · Управление ИИ и цифровыми технологиями

Автономные агенты и ответственность

ИИ-агенты теперь планируют и совершают действия в программных, платёжных и физических системами при ограниченном участии человека. Когда агент причиняет вред, действующие правила ответственности должны определить, кто платит: разработчик, внедряющая сторона, пользователь или оператор платформы, на которой действовал агент. На этой странице изложено, как автономность осложняет ответственность и надзор, какие записи это показывают и кто решает, как распределяется ответственность.

01Реестр

Autonomous agents and liability on the record.

02Вопрос

Autonomous agents and liability: how the risk develops.

Action boundaries and accountability. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Механизм

Actions outrun intent

An agent pursuing a goal can take steps its user did not foresee or authorise. Fault-based liability struggles when no person intended or could reasonably foresee the harmful action.

Механизм

Many hands, unclear fault

The model, the agent framework, tool providers, the deploying firm and the user all contribute. Proving which defect caused harm is costly for claimants without access to records.

Механизм

Permissions define exposure

What an agent can access, spend or change sets the size of possible harm. Limits, confirmations and kill switches are governance choices made at deployment.

Механизм

Law adapts slowly

Product liability, contract and tort law are being reinterpreted for software and AI. Until courts and legislatures settle questions, uncertainty itself shapes deployment.

03Мониторинг

Публичный реестр алгоритмов.

Экран, который команда использовала бы для отслеживания этой темы: её показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.

Публичный реестр алгоритмов

Autonomous agents and liability · Algorithm register · Quarter 2

Две системы высокого риска без оценкиGRF · Управление ИИ и цифровыми технологиями

Зарегистрированные системы

Выявление мошенничества с пособиямиСоциальная службаВысокийОтсутствуетЧастично
Отбор разрешенийПланированиеОграниченныйГотовоДа
Распределение по школамОбразованиеВысокийГотовоДа
Чат-помощникНалоговая службаМинимальныйГотовоn/a

Надзорное действие

Системная
Выявление мошенничества с пособиями
Обязательно
оценка воздействия, порядок обжалования
Срок
77 days
Орган
Надзорный орган

Жалобы на автоматизированные решения

Public algorithm register: the screen’s structure, terms and states for Autonomous agents and liability.Example names and illustrative values; a design, not a record or a live system.
04Индикаторы

Что измеряется и насколько хорошо.

Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.

ИндикаторЕдиницаПериодичностьТип источникаМетка
Jurisdictions treating software as a product for liabilityколичествопри измененииЗаконодательствоОпубликованная статистика
Court decisions on AI-caused harmколичество по типамежегодноCase law databasesОпубликованная статистика
Agent incidents reportedколичество по типам вредаежемесячноБазы данных инцидентовСООБЩЕНО
Развёртывания с документально закреплёнными ограничениями разрешенийshare of surveyed deploymentsпериодическиSurveys and auditsЗАДЕКЛАРИРОВАНО
Insurance products covering AI liabilitycount of offeringsежегодноMarket reportsСООБЩЕНО
Regulatory guidance on agentic AIcount of documentsежегодноRegulator publicationsОпубликованная статистика
05Инструменты и обязательства

How autonomous agents and liability is governed: instruments, mandates and commitments.

Инструменты, мандаты, участники и механизмы подотчётности, с которыми работает политик, дипломат или агентство по развитию, со ссылками на соглашения, которые их устанавливают. Структуры следуют названным рамочным документам. Любое показанное состояние или прогресс иллюстративны, а не являются записью.

Матрица инструментов политики

The kinds of instrument available on autonomous agents and liability, by level of government and cooperation.

Тип инструментаМестныйНациональный уровеньРегиональныйГлобальный уровень
РегуляторныйЗонирование, строительные нормыЗаконы, стандарты, лицензированиеСогласованные правилаКонвенции и договоры
ЭкономическиеМестные сборы, грантыБюджетные статьи, налоги, схемы страхованияПулы рисков, региональные фондыМеханизмы финансирования
ИнформацияМестные предупрежденияРаскрытие информации, раннее предупреждение, статистикаМеханизмы обмена даннымиГлобальный мониторинг и отчётность
ИнституциональныйМестные комитетыВедущие ведомства, координационные советыРегиональные органы и секретариатыМногосторонние мандаты
КооперативныйОбщинные соглашенияПартнёрские договорённостиМеморандумы и совместные программыСоглашения и совместные обязательства
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Сендайская рамочная программа по снижению риска бедствий на 2015–2030 годы · УСРБ ООНПарижское соглашение · РКИК ООНПовестка дня на период до 2030 года и цели в области устойчивого развития · Организация Объединённых НацийМеждународные медико-санитарные правила · ВОЗ
06Источники

Откуда берётся доказательная база.

Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.

ИсточникЧто он даётКласс лицензии
EU revised Product Liability DirectiveLiability rules including software and AI systems as productsПублично, условия повторного использования ЕС
Law commission and parliamentary reports on AI liabilityAnalysis of liability options for AI and automated systemsПубличные записи, условия каждого органа
OECD AI Incidents MonitorRecorded incidents involving AI systemsБесплатно, условия ОЭСР
UK Automated and Electric Vehicles Act and Automated Vehicles ActLiability allocation for automated vehiclesOpen Government Licence
Court judgment databasesDecisions on harm involving automated systemsPublic records, terms per court
07Решения

Кто принимает решения и чему служит доказательная база.

«Управление ИИ и цифровыми технологиями» готовит доказательную базу. Приведённые ниже решения принимаются названными органами по их собственным правилам и никогда не принимаются платформой.

Кто принимает решениеВопросДоказательная база, которую обслуживает эта страница
Legislatures and law commissionsHow liability rules apply to autonomous systemsComparative regimes and case evidence
Организации-внедренцыWhat an agent may do and what controls applyControl practice and incident evidence
СтраховщикиWhether and how to cover AI liabilityIncident patterns and legal developments
СудыWho is liable for harm in a specific caseЗаписи, представленные сторонами; страница служит только для контекста

Результаты, которые даёт эта тема

  • Comparative notes on liability rules for software and AI
  • Guide to permission limits and controls for agent deployments
  • Dialogue briefs on allocating responsibility in multi-party AI chains
  • Questions for legislatures on agent liability
08Ключевые вопросы

What experts ask about autonomous agents.

  • What actions is this agent permitted to take, and how are those limits enforced technically?
  • When an agent causes harm, who is liable: the developer, the deployer, the user?
  • How can an agent’s actions be traced, reviewed and reversed?
  • How should agents interact with other agents, and who governs those interactions?
09Механизмы

Why agents raise new governance questions.

Most governance frameworks were built for systems that advise a person who then acts. Agents collapse that gap, and with it one of the main points at which errors were caught. Why now: AI agents that act on behalf of people and organisations raise questions of liability that existing rules did not foresee, and legislators are still working through them. The platform is designed to compare emerging approaches and to record open questions for decision holders, without giving legal advice.

Autonomy

Action without review

Агенты могут действовать быстрее и чаще, чем люди успевают проверять их действия, поэтому ошибки могут множиться раньше, чем кто-либо их заметит.

Interaction

Agents meeting agents

Interactions between automated systems can produce outcomes no one designed, as seen in automated trading.

Liability

Unclear responsibility

Existing liability rules assume a human or company acted; agents complicate who that is.

10Методы и ограничения

Инструменты для ограничения агентов.

  1. 01

    Контроль разрешений и области действия

    Technical limits on what agents can access and do, studied under AI evaluation and assurance engineering. Limits: agents may find unintended routes around controls.

  2. 02

    Logging and reversibility

    Recording actions and designing them to be undoable where possible. Limits: some actions cannot be reversed.

  3. 03

    Human approval thresholds

    Requiring human sign-off above defined risk levels. Limits: can slow operations and invite approval fatigue.

  4. 04

    Liability analysis

    Сравнение того, как правовые системами распределяют ответственность. Ограничения: право всё ещё развивается.

11Методы

Как это изучается и чего методы не могут сказать.

  1. Инженерная оценка ИИ и обеспечение уверенностиОхват стороннего аудита · Тестирование справедливости в государственных системах · Мониторинг после развёртыванияПрименяется здесь
  2. Искусственный интеллект и машинное обучениеКак модели дают сбои при развёртывании · Чтение документации моделей · Архитектуры агентовПрименяется здесь
  3. Наука о политике, институтах и решенияхСравнение режимов регулирования ИИ · Картирование подотчётности в цепочке создания стоимости · Картирование форумов и мандатовПрименяется здесь
  4. Цифровая идентичность и общественные цифровые системыУровни обеспечения уверенности для государственных услуг · Минимальное раскрытие · Анализ исключенияПрименяется здесь
12Вопросы

Вопросы и ответы.

Что такое ИИ-агент?
An AI system that pursues goals by planning and taking actions, such as calling tools, browsing, writing code or making payments, with limited step-by-step human direction.
Кто несёт ответственность, когда агент ИИ причиняет вред?
It depends on the jurisdiction and facts. Product liability, contract, negligence and sector rules may apply to developers, deployers or users; many questions are unsettled.
What controls limit agent harm?
Restricted permissions, spending limits, human confirmation for consequential actions, logging, monitoring and the ability to stop the agent.
Can an AI agent be legally responsible?
Under current law in most jurisdictions, no. Responsibility rests with people and organisations. How it is divided among them is still being worked out.
How can agent actions be kept within bounds?
Through technical permission limits, monitoring, human approval for high-risk actions and the ability to stop and reverse actions.
Does the platform test agents?
No. Technical evaluation is done at GCRI; the platform compares governance.
Why do agent interactions matter?
Because when many automated systems react to each other, small errors can amplify quickly, as sudden market moves driven by automated trading have shown.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Управление ИИ и цифровыми технологиями

Вынесите вопрос управления на рассмотрение Форума.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация
Показать все 18 юридических документов

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.