GRF · KI und digitale Governance
KI-Aufsicht und Rechenschaftspflicht
Wenn ein KI-System Schaden verursacht, muss jemand herausfinden können, was geschehen ist, und dafür Rechenschaft ablegen. Die Aufsicht stützt sich auf Dokumentation, Protokollierung, Audit, Vorfallmeldung und Behörden mit den Befugnissen und Fähigkeiten, diese zu nutzen. Die Rechenschaftspflicht verteilt sich auf Entwickler, Betreiber, Leitungsgremien und Aufsichtsbehörden und kann sich zwischen ihnen auflösen. Diese Seite legt dar, wie die KI-Aufsicht greift oder versagt, welche Aufzeichnungen dies belegen und wer jede Entscheidung verantwortet.
Aufsicht und Rechenschaftspflicht bei KI in sieben Teilen.
- 01Die FrageKI-Aufsicht und Rechenschaftspflicht: wie sich das Risiko entwickelt
- 02IndikatorenWas gemessen wird und wie gut
- 03QuellenWoher die Evidenz stammt
- 04EntscheidungenWer entscheidet und wozu die Evidenz dient
- 05KernfragenWas Institutionen zur Aufsicht fragen
- 06MechanismsWhy accountability erodes
- 07Methoden und GrenzenInstrumente der Aufsicht
Aufsicht und Rechenschaftspflicht bei KI: wie sich das Risiko entwickelt.
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Die Verantwortung verteilt sich entlang der Kette
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
Records decide what can be reviewed
Ohne technische Dokumentation, Protokolle und Änderungsnachweise können Prüfer und Aufsichtsbehörden nicht nachvollziehen, wie ein System zu einem Ergebnis gelangt ist. Aufzeichnungspflichten ermöglichen die spätere Aufsicht.
Den Behörden fehlt die Kapazität
Marktaufsicht, Datenschutz- und Sektoraufsichtsbehörden benötigen technisches Personal, Zugang zu Systeme und Befugnisse, diese zu prüfen. Bei dünner Kapazität werden Regeln zur Selbstbewertung.
Vorfälle werden nicht gemeldet
Ausfälle werden eher durch Beschwerden, Journalismus und Rechtsstreitigkeiten sichtbar als durch Berichterstattung. Verpflichtende Vorfallsmeldungen und gemeinsame Vorfalldatenbanken machen Muster über Einsatzkontexte hinweg erkennbar.
Öffentliches Algorithmenregister.
Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.
Öffentliches Algorithmenregister
AI oversight and accountability · Algorithm register · Quarter 2
Registrierte Systeme
| Kennzeichnung von Leistungsbetrug | Soziale Handlungsfähigkeit | Hoch | Fehlend | Teilweise |
| Triage von Genehmigungen | Planung | Begrenzt | Erledigt | Ja |
| Schulplatzvergabe | Bildung | Hoch | Erledigt | Ja |
| Chat-Assistent | Steuerbehörde | Minimal | Erledigt | n/a |
Aufsichtsmaßnahme
- System
- Kennzeichnung von Leistungsbetrug
- Erforderlich
- Folgenabschätzung, Rechtsbehelf
- Frist
- 73 days
- Befugnis
- Aufsichtsgremium
Beschwerden über automatisierte Entscheidungen
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Benannte KI-Aufsichts- oder Marktüberwachungsbehörde | yes or no, with legal basis | bei Änderung | Nationale Rechtsvorschriften und Notifizierungen | Veröffentlichte Statistiken |
| Technisches Personal in KI-relevanten Behörden | Vollzeitäquivalente | jährlich | Jahresberichte der Behörden | BERICHTET |
| Serious incidents reported under AI rules | Anzahl nach Sektor | jährlich | Öffentliche Aufzeichnungen | Veröffentlichte Statistiken |
| Publicly recorded AI incidents | Anzahl nach Schadensart | monatlich | Vorfalldatenbanken | BERICHTET |
| Durchsetzungsmaßnahmen im Zusammenhang mit KI- Systeme | Anzahl nach Behörde und Typ | jährlich | Durchsetzungsregister der Aufsichtsbehörden | Veröffentlichte Statistiken |
| Ausgestellte Zertifikate nach ISO/IEC 42001 | Anzahl | jährlich | Aufzeichnungen der Zertifizierungsstellen | BERICHTET |
Instrumente vergleichen: Regeln, Anreize und Information.
Drei Instrumentenfamilien im Vergleich zum Referenzszenario, jede mit eigener Verzögerung und Annahmegeschwindigkeit, unter der von Ihnen gesetzten Abdeckung und Regeleinhaltung; Effektgrößen sind Lehrwerte, die durch Evidenz zu ersetzen sind. Szenario: benannte Annahmen über die Zukunft, keine Prognose.
Steuerung
- Basistrend des Ergebnisses
- 2,0 % pro Jahr
- Abdeckung des Instruments
- 70%
- Einhaltung
- 75%
- Effektgröße, gegenüber dem Lehrwert
- 100%
- Jahre voraus
- 20 Jahre
Messwerte
- Größte Verringerung am Zeithorizont
- Regulierung
- Seine Verringerung gegenüber dem Referenzwert
- 21%
Zahlen, Methoden und Quellen
| Jahr | Ausgangslage | Regulierung | Wirtschaftlicher Anreiz | Information und Kapazität |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Methoden
- Tools of government Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
- Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
- Fächer der Unsicherheit (Parameter-Monte-Carlo) Spiegelhalter, Pearson und Short (2011), Visualising uncertainty about the future, Science 333
- One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Daten
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Borders Natural Earth
- Cities Natural Earth
Über die sechs Säulen, unter Leitung von Nexus Consortium
- Experimente Labore
- Erstellt in KI und digitale Governance in Foundry
- Getestet am KI und digitale Governance in Universe
- Kodifiziert in Digitales, Cyber und KI in Standards
- Veröffentlicht in KI und digitale Governance in Reports
- Gelehrt in Fakultät für Technologie und digitale Systeme in der Akademie
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| OECD.AI Policy Observatory | Nationale KI-Strategien, Governance-Gremien und der AI Incidents Monitor | Kostenlos, OECD-Bedingungen |
| AI Incident Database | Crowdsourcing-Erfassung von Schäden im Zusammenhang mit KI- Systeme | Offen, Lizenz zu prüfen |
| European Data Protection Board and national authority decisions | Entscheidungen zu automatisierter Verarbeitung und KI-bezogenen Beschwerden | Öffentliche, EU- und nationale Nachnutzungsbedingungen |
| Stanford AI Index Report | Daten zu KI-Entwicklung, Politik und Vorfällen | Frei lesbar, Lizenz zur Prüfung |
| Jahresberichte der Aufsichtsbehörden | Personalausstattung, Prioritäten und Durchsetzung der KI-Aufsichtsbehörden | Öffentliche Aufzeichnungen, Bedingungen je Behörde |
Vom Mandat zur Evaluierung, nach Säulen.
Die Schritte, die ein Instrument vom Mandat bis zur Evaluierung durchläuft, jeweils mit der Säule, die es durchführt, und den Entscheidungen, die bei der Behörde bleiben. Lehrmodell mit ausdrücklich genannten illustrativen Werten, keine Vorhersage.
- Mandat und Problemrahmung Zuständige Behörde (außerhalb des Programms)
Eine zuständige Behörde rahmt Problem und Mandat nach ihren eigenen Regeln. Howlett, Ramesh und Perl (2009) - Evidence and system model Foundry
The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2 - Options appraised with scenarios Foundry
Instruments are compared under scenarios, with uncertainty shown. Hood (1983) - Übung mit Beteiligten Universum
Die Optionen werden in einer Übung mit denen erprobt, die sie umsetzen und tragen würden. OECD (2014), Grundsatz 3 - Standard or guidance drafted Nexus Standards
What works is codified as a standard or guidance, open to comment. Nexus Standards process - Entscheidung der Behörde Zuständige Behörde (außerhalb des Programms)
Die Behörde entscheidet außerhalb des Programms auf Grundlage der aktenkundigen Evidenz. Howlett, Ramesh und Perl (2009) - Capacity and training Risk Academy
Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2 - Überwachung und öffentlicher Bericht Berichte
Indikatoren werden mit Quellen, Grenzen und Korrekturen veröffentlicht. OECD (2014), Grundsatz 5 - Evaluation and revision Nexus Standards
Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)
Methoden
- Politikzyklus Howlett, Ramesh und Perl (2009), Studying Public Policy, Oxford University Press
- Governance of critical risks OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
Über die sechs Säulen, unter Leitung von Nexus Consortium
- Experimente Labore
- Erstellt in KI und digitale Governance in Foundry
- Getestet am KI und digitale Governance in Universe
- Kodifiziert in Digitales, Cyber und KI in Standards
- Veröffentlicht in KI und digitale Governance in Reports
- Gelehrt in Fakultät für Technologie und digitale Systeme in der Akademie
Wer entscheidet und wozu die Evidenz dient.
KI und digitale Governance bereitet Evidenz vor. Die folgenden Entscheidungen treffen die genannten Behörden nach ihren eigenen Regeln und niemals die Plattform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Parlamente | Welche Pflichten für Entwickler, Betreiber und Anbieter von Allzweckmodellen gelten | Vergleichende Regelungen und Evidenz aus Vorfällen |
| Marktüberwachung und Sektoraufsichtsbehörden | Welche Systeme zu prüfen sind und welche Befugnisse dabei genutzt werden | Vorfallsaufzeichnungen, Risikokategorien und Durchsetzungspraxis |
| Boards of deploying organisations | Wer das KI-Risiko verantwortet und welche Absicherung er verlangt | Governance practice and management system standards |
| Gerichte | Wer für Schäden verantwortlich ist, die mit einem KI-System verursacht werden | Records and expert evidence presented by parties; the page serves context only |
Ergebnisse, die dieses Thema hervorbringt
- Verantwortlichkeitskarten über die KI-Wertschöpfungskette für eine gegebene Nutzung
- Vergleichende Hinweise zu KI-Aufsichtsbehörden und ihren Befugnissen
- Leitfaden zu Meldesystemen und Datenbanken für KI-Vorfälle
- Fragen an Aufsichtsräte und Aufsichtsbehörden zur KI-Aufsicht
Wie Aufsicht und Rechenschaftspflicht bei KI geregelt sind: Instrumente, Mandate und Verpflichtungen.
Die Instrumente, Mandate, Akteure und Rechenschaftsregelungen, mit denen Politikgestaltende, Diplomatinnen und Diplomaten oder Entwicklungsagenturen arbeiten, unter Angabe der Abkommen, die sie begründen. Die Strukturen folgen den genannten Rahmenwerken. Jeder dargestellte Stand oder Fortschritt ist illustrativ, keine Aufzeichnung.
Rechenschaftszyklus
Wie Verpflichtungen zur Aufsicht über KI und zur Rechenschaftspflicht eingefordert werden, von der Verpflichtung bis zur Korrektur.
- VerpflichtenRegierungEine Verpflichtung mit Mandat und Rechtsgrundlage.
- PlanenFederführende BehördeEin nationaler Plan mit Verantwortlichen und Meilensteinen.
- RessourcenFinanzministeriumEine erfasste Haushaltslinie oder Finanzierung.
- UmsetzenBehörden und KommunalverwaltungenUmsetzung gemessen am Plan.
- BerichtStatistikamtIndikatoren, berichtet nach vereinbarten Definitionen.
- PrüfungParlament, Rechnungsprüfung, ZivilgesellschaftUnabhängige Überprüfung von Ergebnissen und Lücken.
- KorrigierenRegierungÄnderungen am Plan, mit Begründung veröffentlicht.
Was Institutionen zur Aufsicht fragen.
- Wer in der Institution verantwortet die Entscheidung, dieses System einzusetzen, und wer steht ein, wenn es Schaden verursacht?
- Has the system been validated for this specific use and population, by someone independent of its developers?
- Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
- Wie wird die Leistung überwacht, sobald das System in Betrieb ist, und was löst eine Aussetzung aus?
Warum Rechenschaftspflicht erodiert.
Verantwortlichkeit löst sich meist schrittweise auf. Jeder Akteur in einer langen Kette aus Entwicklern, Integratoren, Betreibern und Managern kann berechtigterweise auf einen anderen als verantwortlich verweisen, bis niemand mehr verantwortlich ist. Warum jetzt: Pflichten zur menschliche Aufsicht werden gesetzlich verankert, unter anderem im KI-Gesetz der Europäischen Union (2024), und öffentliche Stellen müssen nachweisen, wer ein automatisiertes Ergebnis verstehen und außer Kraft setzen kann. Die Plattform soll diese Stellen zusammenbringen und die Aufsicht in Universum anhand eines Szenarios üben, in dem ein System mit großer Sicherheit falsch liegt.
Reine Abnickprüfung
People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.
Viele Hände
Entwickler, Anbieter, Integratoren und Nutzer verantworten jeweils einen Teil des Systems, und keiner verantwortet das Ergebnis.
Sich wandelnde Leistung
Models degrade as the world changes, and without monitoring the degradation goes unnoticed.
Instrumente der Aufsicht.
- 01
Folgenabschätzungen
Strukturierte Analyse der Risiken für Rechte und Ergebnisse vor dem Einsatz. Grenzen: kann zur Formalität werden, wenn sie nicht an Entscheidungen gebunden ist.
- 02
Unabhängige Validierung
Tests durch Personen, die von den Entwicklern unabhängig sind, mithilfe von Engineering für KI-Evaluierung und -Assurance. Grenzen: Tests zeigen die Leistung auf Testdaten, nicht in jeder realen Situation.
- 03
Meaningful human review
Prüfer mit der Befugnis, der Zeit, den Informationen und der Schulung, um Entscheidungen zu überstimmen. Grenzen: kostspielig und im großen Maßstab schwer aufrechtzuerhalten.
- 04
Prüfpfade und Überwachung
Protokolle von Eingaben, Ausgaben und Entscheidungen, mit über die Zeit verfolgter Leistung. Grenzen: nur nützlich, wenn jemand sie prüft.
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Engineering für KI-Evaluierung und -AssuranceUmfang von Prüfungen durch Dritte · Fairnesstests in öffentlichen Systemen · Überwachung nach dem EinsatzHier angewandt
- 02Politik-, Institutionen- und EntscheidungswissenschaftVergleich von KI-Regimen · Kartierung der Verantwortlichkeit in Wertschöpfungsketten · Kartierung von Foren und MandatenHier angewandt
- 03Künstliche Intelligenz und maschinelles LernenWie Modelle im Einsatz versagen · Modelldokumentation lesen · Agentenarchitekturen erklärtHier angewandt
Fragen und Antworten.
Was ist der Unterschied zwischen einem KI-Anbieter und einem Betreiber?
Why does logging matter for AI oversight?
Does ISO/IEC 42001 certify that an AI system is safe?
Is having a human in the loop enough?
Wer sollte ein KI-System validieren?
Does the platform audit AI systems?
Was sollte die Aussetzung eines Systems auslösen?
Evidenz von dieser Seite aus beitragen.
Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.
- EmailGateway GW-GRFSend it from this pageEvidence, a correction, a case, a method, a review, a translation or profile input. It arrives tagged with this page, so the editor who owns it receives it.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Governance-Frage in das Forum ein.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Alle 18 Rechtsdokumente anzeigen
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.