GRF · KI und digitale Governance
Autonome Agenten und Haftung
KI-Agenten planen und führen inzwischen mit begrenztem menschlichem Zutun Handlungen in Software, Zahlungsverkehr und physischen Systeme aus. Verursacht ein Agent einen Schaden, müssen die geltenden Haftungsregeln entscheiden, wer zahlt: der Entwickler, der Betreiber des Einsatzes, der Nutzer oder der Betreiber der Plattform, auf der der Agent gehandelt hat. Diese Seite legt dar, wie Autonomie Haftung und Aufsicht belastet, welche Aufzeichnungen dies belegen und wer über die Zuweisung der Verantwortung entscheidet.
Autonome Agenten und Haftung auf dem Prüfstand.
Autonomous agents and liability: how the risk develops.
Handlungsgrenzen und Rechenschaft. Das folgende Dossier zeigt, wie sich das Risiko entwickelt, was gemessen wird, woher die Daten stammen, wie modelliert wird und wer entscheidet.
Actions outrun intent
Ein Agent, der ein Ziel verfolgt, kann Schritte unternehmen, die sein Nutzer weder vorhergesehen noch autorisiert hat. Die Verschuldenshaftung stößt an Grenzen, wenn niemand die schädliche Handlung beabsichtigt hat oder vernünftigerweise vorhersehen konnte.
Viele Hände, unklare Schuld
Das Modell, das Agenten-Framework, die Toolanbieter, das einsetzende Unternehmen und die Nutzer tragen alle bei. Den Nachweis, welcher Mangel den Schaden verursacht hat, zu erbringen, ist für Anspruchsteller ohne Zugang zu Aufzeichnungen kostspielig.
Permissions define exposure
What an agent can access, spend or change sets the size of possible harm. Limits, confirmations and kill switches are governance choices made at deployment.
Law adapts slowly
Produkthaftungs-, Vertrags- und Deliktsrecht werden für Software und KI neu ausgelegt. Solange Gerichte und Gesetzgeber die Fragen nicht klären, prägt die Unsicherheit selbst den Einsatz.
Öffentliches Algorithmenregister.
Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.
Öffentliches Algorithmenregister
Autonome Agenten und Haftung · Algorithmenregister · Quartal 2
Registrierte Systeme
| Kennzeichnung von Leistungsbetrug | Soziale Handlungsfähigkeit | Hoch | Fehlend | Teilweise |
| Triage von Genehmigungen | Planung | Begrenzt | Erledigt | Ja |
| Schulplatzvergabe | Bildung | Hoch | Erledigt | Ja |
| Chat-Assistent | Steuerbehörde | Minimal | Erledigt | n/a |
Aufsichtsmaßnahme
- System
- Kennzeichnung von Leistungsbetrug
- Erforderlich
- Folgenabschätzung, Rechtsbehelf
- Frist
- 77 days
- Befugnis
- Aufsichtsgremium
Beschwerden über automatisierte Entscheidungen
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Rechtsordnungen, die Software für die Haftung als Produkt behandeln | Anzahl | bei Änderung | Gesetzgebung | Veröffentlichte Statistiken |
| Gerichtsentscheidungen zu durch KI verursachten Schäden | Anzahl nach Typ | jährlich | Rechtsprechungsdatenbanken | Veröffentlichte Statistiken |
| Gemeldete Vorfälle mit Agenten | Anzahl nach Schadensart | monatlich | Vorfalldatenbanken | BERICHTET |
| Einsätze mit dokumentierten Berechtigungsgrenzen | Anteil der befragten Einsätze | periodisch | Erhebungen und Audits | DEKLARIERT |
| Insurance products covering AI liability | Anzahl der Angebote | jährlich | Market reports | BERICHTET |
| Regulatorische Leitlinien zu agentischer KI | Anzahl der Dokumente | jährlich | Regulator publications | Veröffentlichte Statistiken |
Wie autonome Agenten und Haftung geregelt sind: Instrumente, Mandate und Verpflichtungen.
Die Instrumente, Mandate, Akteure und Rechenschaftsregelungen, mit denen Politikgestaltende, Diplomatinnen und Diplomaten oder Entwicklungsagenturen arbeiten, unter Angabe der Abkommen, die sie begründen. Die Strukturen folgen den genannten Rahmenwerken. Jeder dargestellte Stand oder Fortschritt ist illustrativ, keine Aufzeichnung.
Matrix der Politikinstrumente
Die verfügbaren Instrumentarten zu autonomen Agenten und Haftung, nach Regierungsebene und Zusammenarbeit.
| Instrumententyp | Lokal | National | Regional | Global |
|---|---|---|---|---|
| Regulatorisch | Flächennutzungsplanung, Bauvorschriften | Gesetze, Normen, Zulassung | Harmonisierte Regeln | Übereinkommen und Verträge |
| Wirtschaftlich | Lokale Abgaben, Zuweisungen | Haushaltslinien, Steuern, Versicherungssysteme | Risikopools, regionale Fonds | Finanzierungsmechanismen |
| Information | Lokale Warnungen | Offenlegung, Frühwarnung, Statistik | Vereinbarungen zum Datenaustausch | Globale Überwachung und Berichterstattung |
| Institutionell | Lokale Ausschüsse | Federführende Behörden, Koordinierungsräte | Regionale Gremien und Sekretariate | Multilaterale Mandate |
| Kooperativ | Gemeinschaftsvereinbarungen | Partnerschaftsvereinbarungen | Absichtserklärungen und gemeinsame Programme | Vereinbarungen und gemeinsame Verpflichtungen |
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| Überarbeitete EU-Produkthaftungsrichtlinie | Haftungsregeln, die Software und KI- Systeme als Produkte einbeziehen | Öffentlich, Weiterverwendungsbedingungen der EU |
| Berichte von Rechtskommissionen und Parlamenten zur KI-Haftung | Analyse von Haftungsoptionen für KI und automatisierte Systeme | Öffentliche Aufzeichnungen, Bedingungen je Gremium |
| OECD AI Incidents Monitor | Erfasste Vorfälle mit KI-Systemen | Kostenlos, OECD-Bedingungen |
| UK Automated and Electric Vehicles Act and Automated Vehicles Act | Haftungszuordnung bei automatisierten Fahrzeugen | Open Government Licence |
| Datenbanken für Gerichtsurteile | Decisions on harm involving automated systems | Public records, terms per court |
Wer entscheidet und wozu die Evidenz dient.
KI und digitale Governance bereitet Evidenz vor. Die folgenden Entscheidungen treffen die genannten Behörden nach ihren eigenen Regeln und niemals die Plattform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Gesetzgebungsorgane und Rechtskommissionen | Wie Haftungsregeln auf autonome Systeme | Vergleichende Regime und Fallevidenz |
| Einsetzende Organisationen | Was ein Agent tun darf und welche Kontrollen gelten | Control practice and incident evidence |
| Versicherer | Ob und wie die KI-Haftung abgedeckt werden soll | Vorfallmuster und rechtliche Entwicklungen |
| Gerichte | Wer in einem konkreten Fall für einen Schaden haftet | Von Beteiligten vorgelegte Aufzeichnungen; die Seite dient nur dem Kontext |
Ergebnisse, die dieses Thema hervorbringt
- Comparative notes on liability rules for software and AI
- Leitfaden zu Berechtigungsgrenzen und Kontrollen für den Einsatz von Agenten
- Dialogpapiere zur Zuordnung von Verantwortung in KI-Ketten mit mehreren Beteiligten
- Fragen an Gesetzgeber zur Haftung von Agenten
What experts ask about autonomous agents.
- Welche Handlungen darf dieser Agent ausführen, und wie werden diese Grenzen technisch durchgesetzt?
- Wer haftet, wenn ein Agent Schaden verursacht: der Entwickler, der Betreiber oder der Nutzer?
- How can an agent’s actions be traced, reviewed and reversed?
- How should agents interact with other agents, and who governs those interactions?
Why agents raise new governance questions.
Die meisten Governance-Rahmenwerke wurden für Systeme entwickelt, die eine Person beraten, welche dann handelt. Agenten heben diese Lücke auf und damit eine der wichtigsten Stellen, an denen Fehler abgefangen wurden. Warum jetzt: KI-Agenten, die im Namen von Personen und Organisationen handeln, werfen Haftungsfragen auf, die bestehende Regeln nicht vorhergesehen haben und mit denen sich Gesetzgeber noch befassen. Die Plattform soll entstehende Ansätze vergleichen und offene Fragen für Entscheidungsträger festhalten, ohne Rechtsberatung zu geben.
Handeln ohne Überprüfung
Agents can act faster and more often than people can review, so errors can multiply before anyone notices.
Agenten treffen auf Agenten
Interactions between automated systems can produce outcomes no one designed, as seen in automated trading.
Unklare Verantwortung
Bestehende Haftungsregeln setzen voraus, dass ein Mensch oder ein Unternehmen gehandelt hat; Agenten erschweren die Frage, wer das ist.
Instrumente zur Eingrenzung von Agenten.
- 01
Permission and scope controls
Technische Grenzen dafür, worauf Agenten zugreifen und was sie tun können, untersucht unter Engineering für KI-Evaluierung und -Assurance. Grenzen: Agenten können unbeabsichtigte Wege um Kontrollen herum finden.
- 02
Protokollierung und Umkehrbarkeit
Handlungen aufzeichnen und sie, wo möglich, umkehrbar gestalten. Grenzen: Manche Handlungen lassen sich nicht rückgängig machen.
- 03
Human approval thresholds
Menschliche Freigabe ab definierten Risikostufen verlangen. Grenzen: kann Abläufe verlangsamen und zu Genehmigungsmüdigkeit führen.
- 04
Haftungsanalyse
Vergleich, wie Rechts Systeme Verantwortung zuweisen. Grenzen: Das Recht entwickelt sich noch.
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Engineering für KI-Evaluierung und -AssuranceUmfang von Prüfungen durch Dritte · Fairnesstests in öffentlichen Systemen · Überwachung nach dem EinsatzHier angewandt
- 02Künstliche Intelligenz und maschinelles LernenWie Modelle im Einsatz versagen · Modelldokumentation lesen · Agentenarchitekturen erklärtHier angewandt
- 03Politik-, Institutionen- und EntscheidungswissenschaftVergleich von KI-Regimen · Kartierung der Verantwortlichkeit in Wertschöpfungsketten · Kartierung von Foren und MandatenHier angewandt
- 04Digitale Identität und öffentliche digitale SystemeVertrauensniveaus für öffentliche Dienste · Minimale Offenlegung · AusgrenzungsanalyseHier angewandt
Fragen und Antworten.
Was ist ein KI-Agent?
Wer haftet, wenn ein KI-Agent Schaden verursacht?
Welche Kontrollen begrenzen Schäden durch Agenten?
Can an AI agent be legally responsible?
Wie lassen sich die Handlungen von Agenten in Grenzen halten?
Testet die Plattform Agenten?
Warum sind Interaktionen zwischen Agenten wichtig?
Evidenz von dieser Seite aus beitragen.
Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.
- EmailGateway GW-GRFSend it from this pageEvidence, a correction, a case, a method, a review, a translation or profile input. It arrives tagged with this page, so the editor who owns it receives it.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Governance-Frage in das Forum ein.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Alle 18 Rechtsdokumente anzeigen
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.