Skip to content

GRF · KI und digitale Governance

Autonome Agenten und Haftung

KI-Agenten planen und führen inzwischen mit begrenztem menschlichem Zutun Handlungen in Software, Zahlungsverkehr und physischen Systeme aus. Verursacht ein Agent einen Schaden, müssen die geltenden Haftungsregeln entscheiden, wer zahlt: der Entwickler, der Betreiber des Einsatzes, der Nutzer oder der Betreiber der Plattform, auf der der Agent gehandelt hat. Diese Seite legt dar, wie Autonomie Haftung und Aufsicht belastet, welche Aufzeichnungen dies belegen und wer über die Zuweisung der Verantwortung entscheidet.

01Registrieren

Autonome Agenten und Haftung auf dem Prüfstand.

02Die Frage

Autonomous agents and liability: how the risk develops.

Handlungsgrenzen und Rechenschaft. Das folgende Dossier zeigt, wie sich das Risiko entwickelt, was gemessen wird, woher die Daten stammen, wie modelliert wird und wer entscheidet.

Mechanismus

Actions outrun intent

Ein Agent, der ein Ziel verfolgt, kann Schritte unternehmen, die sein Nutzer weder vorhergesehen noch autorisiert hat. Die Verschuldenshaftung stößt an Grenzen, wenn niemand die schädliche Handlung beabsichtigt hat oder vernünftigerweise vorhersehen konnte.

Mechanismus

Viele Hände, unklare Schuld

Das Modell, das Agenten-Framework, die Toolanbieter, das einsetzende Unternehmen und die Nutzer tragen alle bei. Den Nachweis, welcher Mangel den Schaden verursacht hat, zu erbringen, ist für Anspruchsteller ohne Zugang zu Aufzeichnungen kostspielig.

Mechanismus

Permissions define exposure

What an agent can access, spend or change sets the size of possible harm. Limits, confirmations and kill switches are governance choices made at deployment.

Mechanismus

Law adapts slowly

Produkthaftungs-, Vertrags- und Deliktsrecht werden für Software und KI neu ausgelegt. Solange Gerichte und Gesetzgeber die Fragen nicht klären, prägt die Unsicherheit selbst den Einsatz.

03Monitoring

Öffentliches Algorithmenregister.

Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.

Öffentliches Algorithmenregister

Autonome Agenten und Haftung · Algorithmenregister · Quartal 2

Zwei Hochrisikosysteme ohne BewertungGRF · KI und digitale Governance

Registrierte Systeme

Kennzeichnung von LeistungsbetrugSoziale HandlungsfähigkeitHochFehlendTeilweise
Triage von GenehmigungenPlanungBegrenztErledigtJa
SchulplatzvergabeBildungHochErledigtJa
Chat-AssistentSteuerbehördeMinimalErledigtn/a

Aufsichtsmaßnahme

System
Kennzeichnung von Leistungsbetrug
Erforderlich
Folgenabschätzung, Rechtsbehelf
Frist
77 days
Befugnis
Aufsichtsgremium

Beschwerden über automatisierte Entscheidungen

Public algorithm register: the screen’s structure, terms and states for Autonomous agents and liability.Example names and illustrative values; a design, not a record or a live system.
04Indikatoren

Was gemessen wird und wie gut.

Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.

IndikatorEinheitTaktQuellentypKennzeichnung
Rechtsordnungen, die Software für die Haftung als Produkt behandelnAnzahlbei ÄnderungGesetzgebungVeröffentlichte Statistiken
Gerichtsentscheidungen zu durch KI verursachten SchädenAnzahl nach TypjährlichRechtsprechungsdatenbankenVeröffentlichte Statistiken
Gemeldete Vorfälle mit AgentenAnzahl nach SchadensartmonatlichVorfalldatenbankenBERICHTET
Einsätze mit dokumentierten BerechtigungsgrenzenAnteil der befragten EinsätzeperiodischErhebungen und AuditsDEKLARIERT
Insurance products covering AI liabilityAnzahl der AngebotejährlichMarket reportsBERICHTET
Regulatorische Leitlinien zu agentischer KIAnzahl der DokumentejährlichRegulator publicationsVeröffentlichte Statistiken
05Instrumente und Verpflichtungen

Wie autonome Agenten und Haftung geregelt sind: Instrumente, Mandate und Verpflichtungen.

Die Instrumente, Mandate, Akteure und Rechenschaftsregelungen, mit denen Politikgestaltende, Diplomatinnen und Diplomaten oder Entwicklungsagenturen arbeiten, unter Angabe der Abkommen, die sie begründen. Die Strukturen folgen den genannten Rahmenwerken. Jeder dargestellte Stand oder Fortschritt ist illustrativ, keine Aufzeichnung.

Matrix der Politikinstrumente

Die verfügbaren Instrumentarten zu autonomen Agenten und Haftung, nach Regierungsebene und Zusammenarbeit.

InstrumententypLokalNationalRegionalGlobal
RegulatorischFlächennutzungsplanung, BauvorschriftenGesetze, Normen, ZulassungHarmonisierte RegelnÜbereinkommen und Verträge
WirtschaftlichLokale Abgaben, ZuweisungenHaushaltslinien, Steuern, VersicherungssystemeRisikopools, regionale FondsFinanzierungsmechanismen
InformationLokale WarnungenOffenlegung, Frühwarnung, StatistikVereinbarungen zum DatenaustauschGlobale Überwachung und Berichterstattung
InstitutionellLokale AusschüsseFederführende Behörden, KoordinierungsräteRegionale Gremien und SekretariateMultilaterale Mandate
KooperativGemeinschaftsvereinbarungenPartnerschaftsvereinbarungenAbsichtserklärungen und gemeinsame ProgrammeVereinbarungen und gemeinsame Verpflichtungen
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Sendai-Rahmenwerk für Katastrophenvorsorge · UNDRRÜbereinkommen von Paris · UNFCCCAgenda 2030 und die Ziele für nachhaltige Entwicklung · Vereinte NationenInternationale Gesundheitsvorschriften · WHO
06Quellen

Woher die Evidenz stammt.

Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.

QuelleWas es liefertLizenzklasse
Überarbeitete EU-ProdukthaftungsrichtlinieHaftungsregeln, die Software und KI- Systeme als Produkte einbeziehenÖffentlich, Weiterverwendungsbedingungen der EU
Berichte von Rechtskommissionen und Parlamenten zur KI-HaftungAnalyse von Haftungsoptionen für KI und automatisierte SystemeÖffentliche Aufzeichnungen, Bedingungen je Gremium
OECD AI Incidents MonitorErfasste Vorfälle mit KI-SystemenKostenlos, OECD-Bedingungen
UK Automated and Electric Vehicles Act and Automated Vehicles ActHaftungszuordnung bei automatisierten FahrzeugenOpen Government Licence
Datenbanken für GerichtsurteileDecisions on harm involving automated systemsPublic records, terms per court
07Entscheidungen

Wer entscheidet und wozu die Evidenz dient.

KI und digitale Governance bereitet Evidenz vor. Die folgenden Entscheidungen treffen die genannten Behörden nach ihren eigenen Regeln und niemals die Plattform.

Wer entscheidetDie FrageEvidenz, der diese Seite dient
Gesetzgebungsorgane und RechtskommissionenWie Haftungsregeln auf autonome SystemeVergleichende Regime und Fallevidenz
Einsetzende OrganisationenWas ein Agent tun darf und welche Kontrollen geltenControl practice and incident evidence
VersichererOb und wie die KI-Haftung abgedeckt werden sollVorfallmuster und rechtliche Entwicklungen
GerichteWer in einem konkreten Fall für einen Schaden haftetVon Beteiligten vorgelegte Aufzeichnungen; die Seite dient nur dem Kontext

Ergebnisse, die dieses Thema hervorbringt

  • Comparative notes on liability rules for software and AI
  • Leitfaden zu Berechtigungsgrenzen und Kontrollen für den Einsatz von Agenten
  • Dialogpapiere zur Zuordnung von Verantwortung in KI-Ketten mit mehreren Beteiligten
  • Fragen an Gesetzgeber zur Haftung von Agenten
08Kernfragen

What experts ask about autonomous agents.

  • Welche Handlungen darf dieser Agent ausführen, und wie werden diese Grenzen technisch durchgesetzt?
  • Wer haftet, wenn ein Agent Schaden verursacht: der Entwickler, der Betreiber oder der Nutzer?
  • How can an agent’s actions be traced, reviewed and reversed?
  • How should agents interact with other agents, and who governs those interactions?
09Mechanismen

Why agents raise new governance questions.

Die meisten Governance-Rahmenwerke wurden für Systeme entwickelt, die eine Person beraten, welche dann handelt. Agenten heben diese Lücke auf und damit eine der wichtigsten Stellen, an denen Fehler abgefangen wurden. Warum jetzt: KI-Agenten, die im Namen von Personen und Organisationen handeln, werfen Haftungsfragen auf, die bestehende Regeln nicht vorhergesehen haben und mit denen sich Gesetzgeber noch befassen. Die Plattform soll entstehende Ansätze vergleichen und offene Fragen für Entscheidungsträger festhalten, ohne Rechtsberatung zu geben.

Autonomy

Handeln ohne Überprüfung

Agents can act faster and more often than people can review, so errors can multiply before anyone notices.

Interaction

Agenten treffen auf Agenten

Interactions between automated systems can produce outcomes no one designed, as seen in automated trading.

Liability

Unklare Verantwortung

Bestehende Haftungsregeln setzen voraus, dass ein Mensch oder ein Unternehmen gehandelt hat; Agenten erschweren die Frage, wer das ist.

10Methoden und Grenzen

Instrumente zur Eingrenzung von Agenten.

  1. 01

    Permission and scope controls

    Technische Grenzen dafür, worauf Agenten zugreifen und was sie tun können, untersucht unter Engineering für KI-Evaluierung und -Assurance. Grenzen: Agenten können unbeabsichtigte Wege um Kontrollen herum finden.

  2. 02

    Protokollierung und Umkehrbarkeit

    Handlungen aufzeichnen und sie, wo möglich, umkehrbar gestalten. Grenzen: Manche Handlungen lassen sich nicht rückgängig machen.

  3. 03

    Human approval thresholds

    Menschliche Freigabe ab definierten Risikostufen verlangen. Grenzen: kann Abläufe verlangsamen und zu Genehmigungsmüdigkeit führen.

  4. 04

    Haftungsanalyse

    Vergleich, wie Rechts Systeme Verantwortung zuweisen. Grenzen: Das Recht entwickelt sich noch.

12Fragen

Fragen und Antworten.

Was ist ein KI-Agent?
Ein KI-System, das Ziele verfolgt, indem es plant und Handlungen ausführt, etwa Werkzeuge aufruft, im Web surft, Code schreibt oder Zahlungen vornimmt, bei nur begrenzter schrittweiser menschlicher Anleitung.
Wer haftet, wenn ein KI-Agent Schaden verursacht?
Das hängt von der Rechtsordnung und den Umständen ab. Produkthaftung, Vertragsrecht, Fahrlässigkeit und Branchenregeln können für Entwickler, Betreiber oder Nutzer gelten; viele Fragen sind ungeklärt.
Welche Kontrollen begrenzen Schäden durch Agenten?
Eingeschränkte Berechtigungen, Ausgabenlimits, menschliche Bestätigung bei folgenreichen Handlungen, Protokollierung, Überwachung und die Möglichkeit, den Agenten zu stoppen.
Can an AI agent be legally responsible?
Nach geltendem Recht in den meisten Rechtsordnungen nein. Die Verantwortung liegt bei Personen und Organisationen. Wie sie sich unter diesen aufteilt, wird noch geklärt.
Wie lassen sich die Handlungen von Agenten in Grenzen halten?
Durch technische Berechtigungsgrenzen, Überwachung, menschliche Freigabe bei Hochrisikoaktionen und die Möglichkeit, Aktionen zu stoppen und rückgängig zu machen.
Testet die Plattform Agenten?
No. Technical evaluation is done at GCRI; the platform compares governance.
Warum sind Interaktionen zwischen Agenten wichtig?
Weil sich kleine Fehler schnell verstärken können, wenn viele automatisierte Systeme aufeinander reagieren, wie plötzliche Marktbewegungen durch automatisierten Handel gezeigt haben.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
KI und digitale Governance

Bringen Sie eine Governance-Frage in das Forum ein.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.