Skip to content

GRF · KI und digitale Governance

KI-Aufsicht und Rechenschaftspflicht

Wenn ein KI-System Schaden verursacht, muss jemand herausfinden können, was geschehen ist, und dafür Rechenschaft ablegen. Die Aufsicht stützt sich auf Dokumentation, Protokollierung, Audit, Vorfallmeldung und Behörden mit den Befugnissen und Fähigkeiten, diese zu nutzen. Die Rechenschaftspflicht verteilt sich auf Entwickler, Betreiber, Leitungsgremien und Aufsichtsbehörden und kann sich zwischen ihnen auflösen. Diese Seite legt dar, wie die KI-Aufsicht greift oder versagt, welche Aufzeichnungen dies belegen und wer jede Entscheidung verantwortet.

02Die Frage

Aufsicht und Rechenschaftspflicht bei KI: wie sich das Risiko entwickelt.

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mechanismus

Die Verantwortung verteilt sich entlang der Kette

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

Mechanismus

Records decide what can be reviewed

Ohne technische Dokumentation, Protokolle und Änderungsnachweise können Prüfer und Aufsichtsbehörden nicht nachvollziehen, wie ein System zu einem Ergebnis gelangt ist. Aufzeichnungspflichten ermöglichen die spätere Aufsicht.

Mechanismus

Den Behörden fehlt die Kapazität

Marktaufsicht, Datenschutz- und Sektoraufsichtsbehörden benötigen technisches Personal, Zugang zu Systeme und Befugnisse, diese zu prüfen. Bei dünner Kapazität werden Regeln zur Selbstbewertung.

Mechanismus

Vorfälle werden nicht gemeldet

Ausfälle werden eher durch Beschwerden, Journalismus und Rechtsstreitigkeiten sichtbar als durch Berichterstattung. Verpflichtende Vorfallsmeldungen und gemeinsame Vorfalldatenbanken machen Muster über Einsatzkontexte hinweg erkennbar.

03Monitoring

Öffentliches Algorithmenregister.

Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.

Öffentliches Algorithmenregister

AI oversight and accountability · Algorithm register · Quarter 2

Zwei Hochrisikosysteme ohne BewertungGRF · KI und digitale Governance

Registrierte Systeme

Kennzeichnung von LeistungsbetrugSoziale HandlungsfähigkeitHochFehlendTeilweise
Triage von GenehmigungenPlanungBegrenztErledigtJa
SchulplatzvergabeBildungHochErledigtJa
Chat-AssistentSteuerbehördeMinimalErledigtn/a

Aufsichtsmaßnahme

System
Kennzeichnung von Leistungsbetrug
Erforderlich
Folgenabschätzung, Rechtsbehelf
Frist
73 days
Befugnis
Aufsichtsgremium

Beschwerden über automatisierte Entscheidungen

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04Indikatoren

Was gemessen wird und wie gut.

Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.

IndikatorEinheitTaktQuellentypKennzeichnung
Benannte KI-Aufsichts- oder Marktüberwachungsbehördeyes or no, with legal basisbei ÄnderungNationale Rechtsvorschriften und NotifizierungenVeröffentlichte Statistiken
Technisches Personal in KI-relevanten BehördenVollzeitäquivalentejährlichJahresberichte der BehördenBERICHTET
Serious incidents reported under AI rulesAnzahl nach SektorjährlichÖffentliche AufzeichnungenVeröffentlichte Statistiken
Publicly recorded AI incidentsAnzahl nach SchadensartmonatlichVorfalldatenbankenBERICHTET
Durchsetzungsmaßnahmen im Zusammenhang mit KI- SystemeAnzahl nach Behörde und TypjährlichDurchsetzungsregister der AufsichtsbehördenVeröffentlichte Statistiken
Ausgestellte Zertifikate nach ISO/IEC 42001AnzahljährlichAufzeichnungen der ZertifizierungsstellenBERICHTET
05Politikszenarien

Instrumente vergleichen: Regeln, Anreize und Information.

Drei Instrumentenfamilien im Vergleich zum Referenzszenario, jede mit eigener Verzögerung und Annahmegeschwindigkeit, unter der von Ihnen gesetzten Abdeckung und Regeleinhaltung; Effektgrößen sind Lehrwerte, die durch Evidenz zu ersetzen sind. Szenario: benannte Annahmen über die Zukunft, keine Prognose.

Steuerung

Basistrend des Ergebnisses
2,0 % pro Jahr
Abdeckung des Instruments
70%
Einhaltung
75%
Effektgröße, gegenüber dem Lehrwert
100%
Jahre voraus
20 Jahre

Messwerte

Größte Verringerung am Zeithorizont
Regulierung
Seine Verringerung gegenüber dem Referenzwert
21%
Zahlen, Methoden und Quellen
JahrAusgangslageRegulierungWirtschaftlicher AnreizInformation und Kapazität
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

Methoden

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Fächer der Unsicherheit (Parameter-Monte-Carlo) Spiegelhalter, Pearson und Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

Daten

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
Instrumente vergleichen: Regeln, Anreize und Information. Illustratives Lehrmodell: Es läuft mit den durch die Regler gesetzten Werten, nicht mit gemessenen Daten. Methoden: Tools of government (Hood (1983), The Tools of Government, Macmillan); Carrots, sticks and sermons (Bemelmans-Videc, Rist und Vedung (1998), Transaction); Diffusion of innovations (Rogers (2003), Diffusion of Innovations, Free Press).
06Quellen

Woher die Evidenz stammt.

Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.

QuelleWas es liefertLizenzklasse
OECD.AI Policy ObservatoryNationale KI-Strategien, Governance-Gremien und der AI Incidents MonitorKostenlos, OECD-Bedingungen
AI Incident DatabaseCrowdsourcing-Erfassung von Schäden im Zusammenhang mit KI- SystemeOffen, Lizenz zu prüfen
European Data Protection Board and national authority decisionsEntscheidungen zu automatisierter Verarbeitung und KI-bezogenen BeschwerdenÖffentliche, EU- und nationale Nachnutzungsbedingungen
Stanford AI Index ReportDaten zu KI-Entwicklung, Politik und VorfällenFrei lesbar, Lizenz zur Prüfung
Jahresberichte der AufsichtsbehördenPersonalausstattung, Prioritäten und Durchsetzung der KI-AufsichtsbehördenÖffentliche Aufzeichnungen, Bedingungen je Behörde
07Umsetzung

Vom Mandat zur Evaluierung, nach Säulen.

Die Schritte, die ein Instrument vom Mandat bis zur Evaluierung durchläuft, jeweils mit der Säule, die es durchführt, und den Entscheidungen, die bei der Behörde bleiben. Lehrmodell mit ausdrücklich genannten illustrativen Werten, keine Vorhersage.

  1. Mandat und Problemrahmung Zuständige Behörde (außerhalb des Programms)
    Eine zuständige Behörde rahmt Problem und Mandat nach ihren eigenen Regeln. Howlett, Ramesh und Perl (2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. Übung mit Beteiligten Universum
    Die Optionen werden in einer Übung mit denen erprobt, die sie umsetzen und tragen würden. OECD (2014), Grundsatz 3
  5. Standard or guidance drafted Nexus Standards
    What works is codified as a standard or guidance, open to comment. Nexus Standards process
  6. Entscheidung der Behörde Zuständige Behörde (außerhalb des Programms)
    Die Behörde entscheidet außerhalb des Programms auf Grundlage der aktenkundigen Evidenz. Howlett, Ramesh und Perl (2009)
  7. Capacity and training Risk Academy
    Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2
  8. Überwachung und öffentlicher Bericht Berichte
    Indikatoren werden mit Quellen, Grenzen und Korrekturen veröffentlicht. OECD (2014), Grundsatz 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

Methoden

  1. Politikzyklus Howlett, Ramesh und Perl (2009), Studying Public Policy, Oxford University Press
  2. Governance of critical risks OECD (2014), Recommendation of the Council on the Governance of Critical Risks
  3. Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
Vom Mandat zur Evaluierung, nach Säulen: die Schritte wie erfasst, jeweils mit ihrer Säule; Quellen wie bei jedem Schritt angegeben.
08Entscheidungen

Wer entscheidet und wozu die Evidenz dient.

KI und digitale Governance bereitet Evidenz vor. Die folgenden Entscheidungen treffen die genannten Behörden nach ihren eigenen Regeln und niemals die Plattform.

Wer entscheidetDie FrageEvidenz, der diese Seite dient
ParlamenteWelche Pflichten für Entwickler, Betreiber und Anbieter von Allzweckmodellen geltenVergleichende Regelungen und Evidenz aus Vorfällen
Marktüberwachung und SektoraufsichtsbehördenWelche Systeme zu prüfen sind und welche Befugnisse dabei genutzt werdenVorfallsaufzeichnungen, Risikokategorien und Durchsetzungspraxis
Boards of deploying organisationsWer das KI-Risiko verantwortet und welche Absicherung er verlangtGovernance practice and management system standards
GerichteWer für Schäden verantwortlich ist, die mit einem KI-System verursacht werdenRecords and expert evidence presented by parties; the page serves context only

Ergebnisse, die dieses Thema hervorbringt

  • Verantwortlichkeitskarten über die KI-Wertschöpfungskette für eine gegebene Nutzung
  • Vergleichende Hinweise zu KI-Aufsichtsbehörden und ihren Befugnissen
  • Leitfaden zu Meldesystemen und Datenbanken für KI-Vorfälle
  • Fragen an Aufsichtsräte und Aufsichtsbehörden zur KI-Aufsicht
09Instrumente und Verpflichtungen

Wie Aufsicht und Rechenschaftspflicht bei KI geregelt sind: Instrumente, Mandate und Verpflichtungen.

Die Instrumente, Mandate, Akteure und Rechenschaftsregelungen, mit denen Politikgestaltende, Diplomatinnen und Diplomaten oder Entwicklungsagenturen arbeiten, unter Angabe der Abkommen, die sie begründen. Die Strukturen folgen den genannten Rahmenwerken. Jeder dargestellte Stand oder Fortschritt ist illustrativ, keine Aufzeichnung.

Rechenschaftszyklus

Wie Verpflichtungen zur Aufsicht über KI und zur Rechenschaftspflicht eingefordert werden, von der Verpflichtung bis zur Korrektur.

  1. VerpflichtenRegierungEine Verpflichtung mit Mandat und Rechtsgrundlage.
  2. PlanenFederführende BehördeEin nationaler Plan mit Verantwortlichen und Meilensteinen.
  3. RessourcenFinanzministeriumEine erfasste Haushaltslinie oder Finanzierung.
  4. UmsetzenBehörden und KommunalverwaltungenUmsetzung gemessen am Plan.
  5. BerichtStatistikamtIndikatoren, berichtet nach vereinbarten Definitionen.
  6. PrüfungParlament, Rechnungsprüfung, ZivilgesellschaftUnabhängige Überprüfung von Ergebnissen und Lücken.
  7. KorrigierenRegierungÄnderungen am Plan, mit Begründung veröffentlicht.
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
Sendai-Rahmenwerk für Katastrophenvorsorge · UNDRRÜbereinkommen von Paris · UNFCCCAgenda 2030 und die Ziele für nachhaltige Entwicklung · Vereinte NationenInternationale Gesundheitsvorschriften · WHO
10Kernfragen

Was Institutionen zur Aufsicht fragen.

  • Wer in der Institution verantwortet die Entscheidung, dieses System einzusetzen, und wer steht ein, wenn es Schaden verursacht?
  • Has the system been validated for this specific use and population, by someone independent of its developers?
  • Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
  • Wie wird die Leistung überwacht, sobald das System in Betrieb ist, und was löst eine Aussetzung aus?
11Mechanismen

Warum Rechenschaftspflicht erodiert.

Verantwortlichkeit löst sich meist schrittweise auf. Jeder Akteur in einer langen Kette aus Entwicklern, Integratoren, Betreibern und Managern kann berechtigterweise auf einen anderen als verantwortlich verweisen, bis niemand mehr verantwortlich ist. Warum jetzt: Pflichten zur menschliche Aufsicht werden gesetzlich verankert, unter anderem im KI-Gesetz der Europäischen Union (2024), und öffentliche Stellen müssen nachweisen, wer ein automatisiertes Ergebnis verstehen und außer Kraft setzen kann. Die Plattform soll diese Stellen zusammenbringen und die Aufsicht in Universum anhand eines Szenarios üben, in dem ein System mit großer Sicherheit falsch liegt.

Automation bias

Reine Abnickprüfung

People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.

Diffusion

Viele Hände

Entwickler, Anbieter, Integratoren und Nutzer verantworten jeweils einen Teil des Systems, und keiner verantwortet das Ergebnis.

Drift

Sich wandelnde Leistung

Models degrade as the world changes, and without monitoring the degradation goes unnoticed.

12Methoden und Grenzen

Instrumente der Aufsicht.

  1. 01

    Folgenabschätzungen

    Strukturierte Analyse der Risiken für Rechte und Ergebnisse vor dem Einsatz. Grenzen: kann zur Formalität werden, wenn sie nicht an Entscheidungen gebunden ist.

  2. 02

    Unabhängige Validierung

    Tests durch Personen, die von den Entwicklern unabhängig sind, mithilfe von Engineering für KI-Evaluierung und -Assurance. Grenzen: Tests zeigen die Leistung auf Testdaten, nicht in jeder realen Situation.

  3. 03

    Meaningful human review

    Prüfer mit der Befugnis, der Zeit, den Informationen und der Schulung, um Entscheidungen zu überstimmen. Grenzen: kostspielig und im großen Maßstab schwer aufrechtzuerhalten.

  4. 04

    Prüfpfade und Überwachung

    Protokolle von Eingaben, Ausgaben und Entscheidungen, mit über die Zeit verfolgter Leistung. Grenzen: nur nützlich, wenn jemand sie prüft.

13Methoden

Wie es untersucht wird und was die Methoden nicht sagen können.

  1. Engineering für KI-Evaluierung und -AssuranceUmfang von Prüfungen durch Dritte · Fairnesstests in öffentlichen Systemen · Überwachung nach dem EinsatzHier angewandt
  2. Politik-, Institutionen- und EntscheidungswissenschaftVergleich von KI-Regimen · Kartierung der Verantwortlichkeit in Wertschöpfungsketten · Kartierung von Foren und MandatenHier angewandt
  3. Künstliche Intelligenz und maschinelles LernenWie Modelle im Einsatz versagen · Modelldokumentation lesen · Agentenarchitekturen erklärtHier angewandt
14Fragen

Fragen und Antworten.

Was ist der Unterschied zwischen einem KI-Anbieter und einem Betreiber?
Im EU-KI-Gesetz entwickelt ein Anbieter ein KI-System oder -Modell und bringt es in Verkehr; ein Betreiber setzt es in eigener Verantwortung ein. Beide haben unterschiedliche Pflichten.
Why does logging matter for AI oversight?
Logs and documentation let auditors, regulators and courts reconstruct how a system behaved. Without them, accountability depends on what the operator chooses to disclose.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Is having a human in the loop enough?
Nicht allein dadurch. Eine Überprüfung ist nur dann aussagekräftig, wenn die prüfende Person die Befugnis, die Zeit, die Informationen und die Kompetenz hat, dem System zu widersprechen, und dies bei Bedarf auch tut.
Wer sollte ein KI-System validieren?
Eine Person, die von denjenigen unabhängig ist, die es entwickelt oder verkauft haben, mit Zugang zu den relevanten Daten und der Fachkenntnis, es für den vorgesehenen Zweck zu prüfen.
Does the platform audit AI systems?
Nein. Sie vergleicht Governance-Praktiken und prüft oder zertifiziert kein System.
Was sollte die Aussetzung eines Systems auslösen?
Institutions set their own triggers, typically including evidence of error rates above an agreed level, unexplained shifts in outputs or credible complaints of harm.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
KI und digitale Governance

Bringen Sie eine Governance-Frage in das Forum ein.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.