GRF · KI und digitale Governance
Algorithmische öffentliche Entscheidungen
Regierungen setzen Algorithmen ein, um Leistungsanträge zu prüfen, Betrug aufzudecken, Kontrollen zuzuteilen, Risikobewertungen in Polizeiarbeit und Migration festzulegen und Richter und Sachbearbeiter zu unterstützen. Diese Entscheidungen berühren Rechte und Lebensgrundlagen im großen Maßstab, und Fehler wiederholen sich in Tausenden von Fällen, bevor jemand sie bemerkt. Diese Seite legt dar, wie algorithmische öffentliche Entscheidungen scheitern und wie Schutzmaßnahmen wirken, welche Aufzeichnungen sie belegen und wer darüber entscheidet, ob und wie ein System eingesetzt wird.
Algorithmic public decisions in seven parts.
- 01Die FrageAlgorithmische öffentliche Entscheidungen: wie sich das Risiko entwickelt
- 02IndikatorenWas gemessen wird und wie gut
- 03QuellenWoher die Evidenz stammt
- 04EntscheidungenWer entscheidet und wozu die Evidenz dient
- 05Core questionsWhat experts ask about algorithmic public decisions
- 06MechanismenWie algorithmische Entscheidungen fehlgehen
- 07Methoden und GrenzenSchutzvorkehrungen und ihre Grenzen
Algorithmische öffentliche Entscheidungen: wie sich das Risiko entwickelt.
Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Fehler skalieren unbemerkt
Eine fehlerhafte Regel oder ein fehlerhaftes Modell wirkt auf jeden Fall, den es erfasst. Ohne Überwachung der Ergebnisse und ohne Widerspruchsverfahren kann ein systematischer Fehler vielen Menschen zu Unrecht Leistungen verweigern oder Sanktionen auferlegen, bevor er erkannt wird.
Verzerrungen entstehen durch Daten und Gestaltung
Historische Daten spiegeln frühere Entscheidungen und Durchsetzungsmuster wider. Stellvertretermerkmale wie Postleitzahl oder Staatsangehörigkeit können zu ungleichen Ergebnissen führen, selbst wenn geschützte Merkmale ausgeschlossen sind.
Human review becomes rubber-stamping
Beschäftigte des öffentlichen Dienstes, die unter Zeitdruck automatisierte Ergebnisse prüfen sollen, neigen dazu, sie zu übernehmen. Sinnvolle Prüfung braucht Zeit, die Befugnis zur Korrektur und Informationen darüber, wie das Ergebnis zustande kam.
Intransparenz verhindert Anfechtung
Menschen können eine Entscheidung nicht anfechten, von der sie nicht wissen, dass sie automatisiert getroffen wurde, oder die sie nicht verstehen. Ob Fehler korrigiert werden, hängt von Mitteilung, Begründung und Zugang zu einem Rechtsbehelf ab.
Öffentliches Algorithmenregister.
Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.
Öffentliches Algorithmenregister
Algorithmische öffentliche Entscheidungen · Algorithmenregister · Quartal 1
Registrierte Systeme
| Kennzeichnung von Leistungsbetrug | Soziale Handlungsfähigkeit | Hoch | Fehlend | Teilweise |
| Triage von Genehmigungen | Planung | Begrenzt | Erledigt | Ja |
| Schulplatzvergabe | Bildung | Hoch | Erledigt | Ja |
| Chat-Assistent | Steuerbehörde | Minimal | Erledigt | n/a |
Aufsichtsmaßnahme
- System
- Kennzeichnung von Leistungsbetrug
- Erforderlich
- Folgenabschätzung, Rechtsbehelf
- Frist
- 64 days
- Befugnis
- Aufsichtsgremium
Beschwerden über automatisierte Entscheidungen
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Öffentliche algorithmische Systeme in einem Transparenzregister | Anzahl nach Behörde | bei Aktualisierung | Algorithmenregister | DEKLARIERT |
| Veröffentlichte algorithmische Folgenabschätzungen | Anzahl | jährlich | Regierungsveröffentlichungen | DEKLARIERT |
| Einsprüche gegen automatisierte Entscheidungen | Anzahl und Anteil bestätigter Fälle | jährlich | Akten von Behörden und Gerichten | Veröffentlichte Statistiken |
| Ergebnisunterschiede zwischen Gruppen | Verhältnis der Raten unerwünschter Ergebnisse | pro Audit | Unabhängige Audits | GESCHÄTZT |
| Nach Überprüfung ausgesetzte oder zurückgezogene Systeme | Anzahl | jährlich | Government and court records | Veröffentlichte Statistiken |
| Beschwerden beim Ombudsmann über automatisierte Entscheidungen | Anzahl | jährlich | Berichte der Ombudsstelle | Veröffentlichte Statistiken |
Wie die Governance algorithmischer öffentlicher Entscheidungen gestaltet ist: Instrumente, Mandate und Verpflichtungen.
Die Instrumente, Mandate, Akteure und Rechenschaftsregelungen, mit denen Politikgestaltende, Diplomatinnen und Diplomaten oder Entwicklungsagenturen arbeiten, unter Angabe der Abkommen, die sie begründen. Die Strukturen folgen den genannten Rahmenwerken. Jeder dargestellte Stand oder Fortschritt ist illustrativ, keine Aufzeichnung.
Matrix der Politikinstrumente
Die Arten von Instrumenten, die für algorithmische öffentliche Entscheidungen zur Verfügung stehen, nach Regierungsebene und Zusammenarbeit.
| Instrumententyp | Lokal | National | Regional | Global |
|---|---|---|---|---|
| Regulatorisch | Flächennutzungsplanung, Bauvorschriften | Gesetze, Normen, Zulassung | Harmonisierte Regeln | Übereinkommen und Verträge |
| Wirtschaftlich | Lokale Abgaben, Zuweisungen | Haushaltslinien, Steuern, Versicherungssysteme | Risikopools, regionale Fonds | Finanzierungsmechanismen |
| Information | Lokale Warnungen | Offenlegung, Frühwarnung, Statistik | Vereinbarungen zum Datenaustausch | Globale Überwachung und Berichterstattung |
| Institutionell | Lokale Ausschüsse | Federführende Behörden, Koordinierungsräte | Regionale Gremien und Sekretariate | Multilaterale Mandate |
| Kooperativ | Gemeinschaftsvereinbarungen | Partnerschaftsvereinbarungen | Absichtserklärungen und gemeinsame Programme | Vereinbarungen und gemeinsame Verpflichtungen |
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| Einträge des UK Algorithmic Transparency Recording Standard | Veröffentlichte Verzeichnisse algorithmischer Werkzeuge, die von öffentlichen Stellen eingesetzt werden | Open Government Licence |
| Algorithmenregister von Amsterdam und Helsinki | City registers of algorithmic systems in use | Open data, terms per city |
| Kanadische Richtlinie zu automatisierter Entscheidungsfindung und Algorithmische Folgenabschätzungen | Verpflichtende Folgenabschätzungen für automatisierte Entscheidungen des Bundes | Open Government Licence, Canada (Lizenz für offene Regierungsdaten, Kanada) |
| Berichte von Ombudsstellen und Rechnungsprüfungsbehörden | Investigations of automated decision systems in public services | Öffentliche Aufzeichnungen, Bedingungen je Stelle |
| Court judgments on automated public decisions | Rulings on lawfulness of algorithmic systems | Public records, terms per court |
Wer entscheidet und wozu die Evidenz dient.
KI und digitale Governance bereitet Evidenz vor. Die folgenden Entscheidungen treffen die genannten Behörden nach ihren eigenen Regeln und niemals die Plattform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Ministers and agency heads | Ob eine Entscheidung automatisiert werden soll und mit welchen Schutzvorkehrungen | Wirkungsanalysen, Prüfnachweise und Lehren aus vergleichbaren Systeme |
| Datenschutzbehörden | Ob die Verarbeitung und automatisierte Entscheidungen rechtmäßig sind | Bewertungsunterlagen und Beschwerden |
| Ombudsstellen und Rechnungsprüfungsbehörden | Ob ein System untersucht werden soll und was zu empfehlen ist | Widersprüche, Beschwerden und Ergebnisdaten |
| Gerichte und Tribunale | Ob eine Entscheidung oder ein System Rechte oder Gesetze verletzt hat | Von Beteiligten vorgelegte Aufzeichnungen; die Seite dient nur dem Kontext |
Ergebnisse, die dieses Thema hervorbringt
- Vergleichende Anmerkungen zu Algorithmenregistern und Folgenabschätzungen
- Leitfaden für eine sinnvolle menschliche Überprüfung bei automatisierten Entscheidungen
- Dialogpapiere zu Erkenntnissen aus ausgesetzten öffentlichen Algorithmen
- Questions for agencies before deploying an automated decision system
Was Fachleute zu algorithmischen öffentlichen Entscheidungen fragen.
- Welche rechtliche Befugnis ermächtigt zu dieser Verwendung, und bleibt der Algorithmus innerhalb dieser Befugnis?
- Kann eine betroffene Person erfahren, dass ein Algorithmus eingesetzt wurde, verstehen, wie, und das Ergebnis anfechten?
- Does the system perform differently for different groups, and is that justified?
- Was geschieht, wenn das System falsch liegt, und wie schnell wird der Fehler gefunden und korrigiert?
Wie algorithmische Entscheidungen scheitern.
Auf historischen Daten trainierte Algorithmen können historische Muster der Benachteiligung reproduzieren. Eine scheinbar neutrale Proxyvariable wie die Postleitzahl kann mit geschützten Merkmalen korrelieren. Fehler im großen Maßstab unterscheiden sich von Einzelfehlern: Eine fehlerhafte Regel, die auf einen gesamten Fallbestand angewendet wird, schadet vielen Menschen zugleich und auf dieselbe Weise, was Systeme.
The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.
Warum jetzt: Automatisierte Systeme werden für Anspruchsprüfung, Triage und Betrugserkennung in öffentlichen Diensten eingesetzt, und Gerichte und Ombudsstellen mehrerer Länder haben Fälle geprüft, in denen sie versagten. Die Plattform soll Überprüfungs- und Rechtsbehelfsregelungen vergleichen und festhalten, was Betroffene tatsächlich tun können.
Schutzmaßnahmen und ihre Grenzen.
- 01
Öffentliche Register von Algorithmen
Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.
- 02
Erläuterung und Benachrichtigung
Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.
- 03
Fairnesstests
Messung der Leistung über Gruppen hinweg mit Methoden des maschinellen Lernen . Grenzen: Verschiedene Fairnessmaße können einander widersprechen, und die Wahl zwischen ihnen ist ein Werturteil.
- 04
Widerspruch und Abhilfe
Wege zu menschlicher Überprüfung, Widerspruch und Abhilfe. Grenzen: abhängig von zugänglichen Verfahren und ausreichender Personalausstattung.
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Engineering für KI-Evaluierung und -AssuranceUmfang von Prüfungen durch Dritte · Fairnesstests in öffentlichen Systemen · Überwachung nach dem EinsatzHier angewandt
- 02Politik-, Institutionen- und EntscheidungswissenschaftVergleich von KI-Regimen · Kartierung der Verantwortlichkeit in Wertschöpfungsketten · Kartierung von Foren und MandatenHier angewandt
- 03Künstliche Intelligenz und maschinelles LernenWie Modelle im Einsatz versagen · Modelldokumentation lesen · Agentenarchitekturen erklärtHier angewandt
- 04Digitale Identität und öffentliche digitale SystemeVertrauensniveaus für öffentliche Dienste · Minimale Offenlegung · AusgrenzungsanalyseHier angewandt
Fragen und Antworten.
Was ist eine algorithmische Folgenabschätzung?
Was macht eine menschliche Überprüfung aussagekräftig?
Haben Menschen ein Recht, keinen automatisierten Entscheidungen unterworfen zu sein?
Kann eine öffentliche Entscheidung vollständig von einem Algorithmus getroffen werden?
Why can’t fairness be measured with one number?
Nimmt die Plattform Einzelfälle auf?
Sind Algorithmenregister vorgeschrieben?
Evidenz von dieser Seite aus beitragen.
Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.
- EmailGateway GW-GRFSend it from this pageEvidence, a correction, a case, a method, a review, a translation or profile input. It arrives tagged with this page, so the editor who owns it receives it.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ReportsGlobal Risks ForumSee every way to contributeThe contribution types, how each is reviewed, what credit you receive, the licence and what is never accepted.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Governance-Frage in das Forum ein.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Alle 18 Rechtsdokumente anzeigen
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.