GRF · Gouvernance de l'IA et du numérique
Agents autonomes et responsabilité
Les agents d'IA planifient et exécutent désormais des actions dans les logiciels, les paiements et les systèmes physiques avec peu d'intervention humaine. Lorsqu'un agent cause un préjudice, les règles de responsabilité existantes doivent déterminer qui paie : le développeur, le déployeur, l'utilisateur ou l'exploitant de la plateforme sur laquelle il a agi. Cette page expose comment l'autonomie met à l'épreuve la responsabilité et la supervision, les enregistrements qui le montrent, et qui décide de la répartition des responsabilités.
Agents autonomes et responsabilité, dans les faits.
Autonomous agents and liability: how the risk develops.
Action boundaries and accountability. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Actions outrun intent
An agent pursuing a goal can take steps its user did not foresee or authorise. Fault-based liability struggles when no person intended or could reasonably foresee the harmful action.
Une multitude d'acteurs, une responsabilité floue
Le modèle, le cadre d'agents, les fournisseurs d'outils, l'entreprise qui le déploie et l'utilisateur y contribuent tous. Prouver quel défaut a causé le préjudice est coûteux pour les demandeurs qui n'ont pas accès aux enregistrements.
Les permissions définissent l'exposition
What an agent can access, spend or change sets the size of possible harm. Limits, confirmations and kill switches are governance choices made at deployment.
Law adapts slowly
Le droit de la responsabilité du fait des produits, des contrats et de la responsabilité délictuelle est réinterprété pour les logiciels et l'IA. Tant que les tribunaux et les législateurs n'ont pas tranché, l'incertitude elle-même façonne le déploiement.
Registre public des algorithmes.
L'écran qu'une équipe utiliserait pour suivre ce sujet : ses mesures, ses états et ses décisions. Les noms sont des exemples et les valeurs sont illustratives.
Registre public des algorithmes
Agents autonomes et responsabilité · Registre des algorithmes · Trimestre 2
Systèmes enregistrés
| Signalement de fraude aux prestations | Action sociale | Élevé | Manquant | Partiel |
| Tri des demandes de permis | Planification | Limité | Terminé | Oui |
| Affectation scolaire | Éducation | Élevé | Terminé | Oui |
| Assistant conversationnel | Administration fiscale | Minimal | Terminé | n/a |
Mesure de contrôle
- Système
- Signalement de fraude aux prestations
- Obligatoire
- évaluation d'impact, voie de recours
- Échéance
- 77 days
- Autorité
- Organe de contrôle
Réclamations concernant les décisions automatisées
Ce qui est mesuré, et avec quelle qualité.
Chaque indicateur porte son unité, sa périodicité, le type de source qui le sous-tend et l'étiquette de preuve que porterait une valeur. Aucune valeur n'est affichée : un programme les fournit sous sa propre autorité.
| Indicateur | Unité | Fréquence | Type de source | Étiquette |
|---|---|---|---|---|
| Juridictions qui traitent les logiciels comme un produit aux fins de la responsabilité | nombre | en cas de changement | Législation | Statistiques publiées |
| Décisions de justice relatives aux dommages causés par l'IA | nombre par type | annuel | Case law databases | Statistiques publiées |
| Incidents d'agents signalés | nombre par type de préjudice | mensuel | Bases de données d'incidents | DÉCLARÉ |
| Déploiements dont les limites d'autorisation sont documentées | part des déploiements enquêtés | périodique | Enquêtes et audits | DÉCLARÉ |
| Insurance products covering AI liability | nombre d'offres | annuel | Market reports | DÉCLARÉ |
| Orientations réglementaires sur l'IA agentique | nombre de documents | annuel | Regulator publications | Statistiques publiées |
How autonomous agents and liability is governed: instruments, mandates and commitments.
Les instruments, mandats, acteurs et dispositifs de redevabilité avec lesquels travaillent un décideur public, un diplomate ou une agence de développement, avec mention des accords qui les établissent. Les structures suivent les cadres nommés. Tout état ou progrès représenté est illustratif, non un relevé.
Matrice des instruments de politique
The kinds of instrument available on autonomous agents and liability, by level of government and cooperation.
| Type d'instrument | Local | National | Régional | Mondial |
|---|---|---|---|---|
| Réglementaire | Zonage, codes du bâtiment | Lois, normes, octroi de licences | Règles harmonisées | Conventions et traités |
| Économique | Prélèvements locaux, subventions | Lignes budgétaires, impôts, régimes d'assurance | Mécanismes de mutualisation des risques, fonds régionaux | Mécanismes de financement |
| Information | Alertes locales | Divulgation, alerte précoce, statistiques | Accords de partage des données | Suivi et établissement de rapports à l'échelle mondiale |
| Institutionnel | Comités locaux | Organismes chefs de file, conseils de coordination | Organismes régionaux et secrétariats | Mandats multilatéraux |
| Coopératif | Accords communautaires | Pactes de partenariat | Protocoles d'accord et programmes conjoints | Accords et engagements conjoints |
D'où proviennent les données probantes.
Jeux de données publics et registres institutionnels nommés, chacun avec sa catégorie de licence. Les sources fournies dans le cadre d'accords ne sont utilisées que selon leurs conditions et ne sont jamais republiées.
| Sources | Ce qu'elle apporte | Catégorie de licence |
|---|---|---|
| Directive révisée de l'UE sur la responsabilité du fait des produits défectueux | Liability rules including software and AI systems as products | Public, conditions de réutilisation de l'UE |
| Rapports des commissions du droit et des parlements sur la responsabilité en matière d'IA | Analysis of liability options for AI and automated systems | Registres publics, conditions propres à chaque organisme |
| Observatoire des incidents d'IA de l'OCDE | Incidents enregistrés impliquant des systèmes d'IA | Gratuit, conditions de l'OCDE |
| UK Automated and Electric Vehicles Act and Automated Vehicles Act | Liability allocation for automated vehicles | Open Government Licence |
| Court judgment databases | Decisions on harm involving automated systems | Public records, terms per court |
Qui décide, et à quoi servent les données probantes.
Gouvernance de l'IA et du numérique prépare des données probantes. Les décisions ci-dessous sont prises par les autorités nommées, selon leurs propres règles, et jamais par la plateforme.
| Qui décide | La question | Données probantes servies par cette page |
|---|---|---|
| Législatures et commissions de réforme du droit | How liability rules apply to autonomous systems | Régimes comparés et données probantes issues de cas |
| Organisations de déploiement | Ce qu'un agent peut faire et les contrôles applicables | Pratiques de contrôle et données probantes sur les incidents |
| Assureurs | Faut-il couvrir la responsabilité liée à l'IA, et comment | Schémas d'incidents et évolutions juridiques |
| Tribunaux | Who is liable for harm in a specific case | Registres présentés par les parties ; la page ne sert que de contexte |
Résultats que produit ce thème
- Notes comparatives sur les règles de responsabilité applicables aux logiciels et à l'IA
- Guide to permission limits and controls for agent deployments
- Notes de dialogue sur la répartition des responsabilités dans les chaînes d'IA à acteurs multiples
- Questions for legislatures on agent liability
What experts ask about autonomous agents.
- What actions is this agent permitted to take, and how are those limits enforced technically?
- Lorsqu'un agent cause un dommage, qui est responsable : le développeur, le déployeur ou l'utilisateur ?
- How can an agent’s actions be traced, reviewed and reversed?
- How should agents interact with other agents, and who governs those interactions?
Why agents raise new governance questions.
La plupart des cadres de gouvernance ont été conçus pour des systèmes qui conseillent une personne, laquelle agit ensuite. Les agents suppriment cet écart, et avec lui l'un des principaux points où les erreurs étaient détectées. Pourquoi maintenant : les agents d'IA qui agissent au nom de personnes et d'organisations soulèvent des questions de responsabilité que les règles existantes n'avaient pas prévues, et les législateurs y travaillent encore. La plateforme est conçue pour comparer les approches émergentes et consigner les questions ouvertes à l'intention des décideurs, sans donner de conseil juridique.
Action sans examen
Les agents peuvent agir plus vite et plus souvent que les personnes ne peuvent contrôler, de sorte que les erreurs peuvent se multiplier avant que quiconque s'en aperçoive.
Agents meeting agents
Interactions between automated systems can produce outcomes no one designed, as seen in automated trading.
Responsabilité floue
Existing liability rules assume a human or company acted; agents complicate who that is.
Instruments pour encadrer les agents.
- 01
Permission and scope controls
Limites techniques à ce que les agents peuvent consulter et faire, étudiées dans le cadre de Ingénierie de l'évaluation et de l'assurance de l'IA. Limites : les agents peuvent trouver des voies imprévues pour contourner les contrôles.
- 02
Logging and reversibility
Recording actions and designing them to be undoable where possible. Limits: some actions cannot be reversed.
- 03
Seuils d'approbation humaine
Exiger une validation humaine au-delà de niveaux de risque définis. Limites : peut ralentir les opérations et favoriser une lassitude à l'égard des approbations.
- 04
Liability analysis
Comparing how legal systems allocate responsibility. Limits: law is still developing.
Comment c'est étudié, et ce que les méthodes ne peuvent pas dire.
- 01Ingénierie de l'évaluation et de l'assurance de l'IAPérimètre des audits par des tiers · Tests d'équité des systèmes publics · Surveillance après déploiementAppliqué ici
- 02Intelligence artificielle et apprentissage automatiqueComment les modèles échouent en déploiement · Lire la documentation d'un modèle · Les architectures d'agents expliquéesAppliqué ici
- 03Science des politiques, des institutions et de la décisionComparaison des régimes de l'IA · Cartographie de la redevabilité le long de la chaîne de valeur · Cartographie des forums et des mandatsAppliqué ici
- 04Identité numérique et systèmes numériques publicsNiveaux de garantie pour les services publics · Divulgation minimale · Analyse de l'exclusionAppliqué ici
Questions et réponses.
Qu'est-ce qu'un agent d'IA ?
Qui est responsable lorsqu'un agent d'IA cause un préjudice ?
What controls limit agent harm?
Can an AI agent be legally responsible?
Comment maintenir les actions des agents dans des limites définies ?
Does the platform test agents?
Why do agent interactions matter?
Apportez des éléments de preuve depuis cette page.
Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.
- E-mailPasserelle GW-GRFL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Soumettez une question de gouvernance au Forum.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Afficher les 18 documents juridiques
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.