Skip to content

GRF · Gouvernance de l'IA et du numérique

Agents autonomes et responsabilité

Les agents d'IA planifient et exécutent désormais des actions dans les logiciels, les paiements et les systèmes physiques avec peu d'intervention humaine. Lorsqu'un agent cause un préjudice, les règles de responsabilité existantes doivent déterminer qui paie : le développeur, le déployeur, l'utilisateur ou l'exploitant de la plateforme sur laquelle il a agi. Cette page expose comment l'autonomie met à l'épreuve la responsabilité et la supervision, les enregistrements qui le montrent, et qui décide de la répartition des responsabilités.

01Registre

Agents autonomes et responsabilité, dans les faits.

02La question

Autonomous agents and liability: how the risk develops.

Action boundaries and accountability. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mécanisme

Actions outrun intent

An agent pursuing a goal can take steps its user did not foresee or authorise. Fault-based liability struggles when no person intended or could reasonably foresee the harmful action.

Mécanisme

Une multitude d'acteurs, une responsabilité floue

Le modèle, le cadre d'agents, les fournisseurs d'outils, l'entreprise qui le déploie et l'utilisateur y contribuent tous. Prouver quel défaut a causé le préjudice est coûteux pour les demandeurs qui n'ont pas accès aux enregistrements.

Mécanisme

Les permissions définissent l'exposition

What an agent can access, spend or change sets the size of possible harm. Limits, confirmations and kill switches are governance choices made at deployment.

Mécanisme

Law adapts slowly

Le droit de la responsabilité du fait des produits, des contrats et de la responsabilité délictuelle est réinterprété pour les logiciels et l'IA. Tant que les tribunaux et les législateurs n'ont pas tranché, l'incertitude elle-même façonne le déploiement.

03Suivi

Registre public des algorithmes.

L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.

Registre public des algorithmes

Agents autonomes et responsabilité · Registre des algorithmes · Trimestre 2

Deux systèmes à haut risque sans évaluationGRF · Gouvernance de l'IA et du numérique

Systèmes enregistrés

Signalement de fraude aux prestationsAction socialeÉlevéManquantPartiel
Tri des demandes de permisPlanificationLimitéTerminéOui
Affectation scolaireÉducationÉlevéTerminéOui
Assistant conversationnelAdministration fiscaleMinimalTerminén/a

Mesure de contrôle

Système
Signalement de fraude aux prestations
Obligatoire
évaluation d'impact, voie de recours
Échéance
77 days
Autorité
Organe de contrôle

Réclamations concernant les décisions automatisées

Public algorithm register: the screen’s structure, terms and states for Autonomous agents and liability.Example names and illustrative values; a design, not a record or a live system.
04Indicateurs

Ce qui est mesuré, et avec quelle qualité.

Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.

IndicateurUnitéFréquenceType de sourceÉtiquette
Juridictions qui traitent les logiciels comme un produit aux fins de la responsabiliténombreen cas de changementLégislationStatistiques publiées
Décisions de justice relatives aux dommages causés par l'IAnombre par typeannuelCase law databasesStatistiques publiées
Incidents d'agents signalésnombre par type de préjudicemensuelBases de données d'incidentsDÉCLARÉ
Déploiements dont les limites d'autorisation sont documentéespart des déploiements enquêtéspériodiqueEnquêtes et auditsDÉCLARÉ
Insurance products covering AI liabilitynombre d'offresannuelMarket reportsDÉCLARÉ
Orientations réglementaires sur l'IA agentiquenombre de documentsannuelRegulator publicationsStatistiques publiées
05Instruments et engagements

How autonomous agents and liability is governed: instruments, mandates and commitments.

Les instruments, mandats, acteurs et dispositifs de redevabilité avec lesquels travaillent un décideur public, un diplomate ou une agence de développement, avec mention des accords qui les établissent. Les structures suivent les cadres nommés. Tout état ou progrès représenté est illustratif, non un relevé.

Matrice des instruments de politique

The kinds of instrument available on autonomous agents and liability, by level of government and cooperation.

Type d'instrumentLocalNationalRégionalMondial
RéglementaireZonage, codes du bâtimentLois, normes, octroi de licencesRègles harmoniséesConventions et traités
ÉconomiquePrélèvements locaux, subventionsLignes budgétaires, impôts, régimes d'assuranceMécanismes de mutualisation des risques, fonds régionauxMécanismes de financement
InformationAlertes localesDivulgation, alerte précoce, statistiquesAccords de partage des donnéesSuivi et établissement de rapports à l'échelle mondiale
InstitutionnelComités locauxOrganismes chefs de file, conseils de coordinationOrganismes régionaux et secrétariatsMandats multilatéraux
CoopératifAccords communautairesPactes de partenariatProtocoles d'accord et programmes conjointsAccords et engagements conjoints
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Cadre de Sendai pour la réduction des risques de catastrophe · UNDRRAccord de Paris · CCNUCCProgramme de développement durable à l'horizon 2030 et objectifs de développement durable · Nations UniesRèglement sanitaire international · OMS
06Sources

D'où proviennent les données probantes.

Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.

SourcesCe qu'elle apporteCatégorie de licence
Directive révisée de l'UE sur la responsabilité du fait des produits défectueuxLiability rules including software and AI systems as productsPublic, conditions de réutilisation de l'UE
Rapports des commissions du droit et des parlements sur la responsabilité en matière d'IAAnalysis of liability options for AI and automated systemsRegistres publics, conditions propres à chaque organisme
Observatoire des incidents d'IA de l'OCDEIncidents enregistrés impliquant des systèmes d'IAGratuit, conditions de l'OCDE
UK Automated and Electric Vehicles Act and Automated Vehicles ActLiability allocation for automated vehiclesOpen Government Licence
Court judgment databasesDecisions on harm involving automated systemsPublic records, terms per court
07Décisions

Qui décide, et à quoi servent les données probantes.

Gouvernance de l'IA et du numérique prépare des données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.

Qui décideLa questionDonnées probantes servies par cette page
Législatures et commissions de réforme du droitHow liability rules apply to autonomous systemsRégimes comparés et données probantes issues de cas
Organisations de déploiementCe qu'un agent peut faire et les contrôles applicablesPratiques de contrôle et données probantes sur les incidents
AssureursFaut-il couvrir la responsabilité liée à l'IA, et commentSchémas d'incidents et évolutions juridiques
TribunauxWho is liable for harm in a specific caseRegistres présentés par les parties ; la page ne sert que de contexte

Résultats que produit ce thème

  • Notes comparatives sur les règles de responsabilité applicables aux logiciels et à l'IA
  • Guide to permission limits and controls for agent deployments
  • Notes de dialogue sur la répartition des responsabilités dans les chaînes d'IA à acteurs multiples
  • Questions for legislatures on agent liability
08Questions essentielles

What experts ask about autonomous agents.

  • What actions is this agent permitted to take, and how are those limits enforced technically?
  • Lorsqu'un agent cause un dommage, qui est responsable : le développeur, le déployeur ou l'utilisateur ?
  • How can an agent’s actions be traced, reviewed and reversed?
  • How should agents interact with other agents, and who governs those interactions?
09Mécanismes

Why agents raise new governance questions.

La plupart des cadres de gouvernance ont été conçus pour des systèmes qui conseillent une personne, laquelle agit ensuite. Les agents suppriment cet écart, et avec lui l'un des principaux points où les erreurs étaient détectées. Pourquoi maintenant : les agents d'IA qui agissent au nom de personnes et d'organisations soulèvent des questions de responsabilité que les règles existantes n'avaient pas prévues, et les législateurs y travaillent encore. La plateforme est conçue pour comparer les approches émergentes et consigner les questions ouvertes à l'intention des décideurs, sans donner de conseil juridique.

Autonomy

Action sans examen

Les agents peuvent agir plus vite et plus souvent que les personnes ne peuvent contrôler, de sorte que les erreurs peuvent se multiplier avant que quiconque s'en aperçoive.

Interaction

Agents meeting agents

Interactions between automated systems can produce outcomes no one designed, as seen in automated trading.

Liability

Responsabilité floue

Existing liability rules assume a human or company acted; agents complicate who that is.

10Méthodes et limites

Instruments pour encadrer les agents.

  1. 01

    Permission and scope controls

    Limites techniques à ce que les agents peuvent consulter et faire, étudiées dans le cadre de Ingénierie de l'évaluation et de l'assurance de l'IA. Limites : les agents peuvent trouver des voies imprévues pour contourner les contrôles.

  2. 02

    Logging and reversibility

    Recording actions and designing them to be undoable where possible. Limits: some actions cannot be reversed.

  3. 03

    Seuils d'approbation humaine

    Exiger une validation humaine au-delà de niveaux de risque définis. Limites : peut ralentir les opérations et favoriser une lassitude à l'égard des approbations.

  4. 04

    Liability analysis

    Comparing how legal systems allocate responsibility. Limits: law is still developing.

12Questions

Questions et réponses.

Qu'est-ce qu'un agent d'IA ?
Système d'IA qui poursuit des objectifs en planifiant et en exécutant des actions, comme appeler des outils, naviguer sur le web, écrire du code ou effectuer des paiements, avec une direction humaine limitée étape par étape.
Qui est responsable lorsqu'un agent d'IA cause un préjudice ?
Cela dépend de la juridiction et des faits. La responsabilité du fait des produits, le droit des contrats, la négligence et les règles sectorielles peuvent s'appliquer aux développeurs, aux déployeurs ou aux utilisateurs ; de nombreuses questions ne sont pas tranchées.
What controls limit agent harm?
Permissions restreintes, plafonds de dépenses, confirmation humaine pour les actions lourdes de conséquences, journalisation, suivi et capacité d'arrêter l'agent.
Can an AI agent be legally responsible?
Under current law in most jurisdictions, no. Responsibility rests with people and organisations. How it is divided among them is still being worked out.
Comment maintenir les actions des agents dans des limites définies ?
Through technical permission limits, monitoring, human approval for high-risk actions and the ability to stop and reverse actions.
Does the platform test agents?
Non. L'évaluation technique est réalisée à GCRI; la plateforme compare la gouvernance.
Why do agent interactions matter?
Parce que, lorsque de nombreux systèmes automatisés réagissent les uns aux autres, de petites erreurs peuvent s'amplifier rapidement, comme l'ont montré les mouvements de marché soudains provoqués par le trading automatisé.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Gouvernance de l'IA et du numérique

Soumettez une question de gouvernance au Forum.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.