Skip to content

GRF · KI und digitale Governance

Algorithmische öffentliche Entscheidungen

Regierungen setzen Algorithmen ein, um Leistungsanträge zu prüfen, Betrug aufzudecken, Kontrollen zuzuteilen, Risikobewertungen in Polizeiarbeit und Migration festzulegen und Richter und Sachbearbeiter zu unterstützen. Diese Entscheidungen berühren Rechte und Lebensgrundlagen im großen Maßstab, und Fehler wiederholen sich in Tausenden von Fällen, bevor jemand sie bemerkt. Diese Seite legt dar, wie algorithmische öffentliche Entscheidungen scheitern und wie Schutzmaßnahmen wirken, welche Aufzeichnungen sie belegen und wer darüber entscheidet, ob und wie ein System eingesetzt wird.

02Die Frage

Algorithmische öffentliche Entscheidungen: wie sich das Risiko entwickelt.

Contestability and transparency. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Mechanismus

Fehler skalieren unbemerkt

Eine fehlerhafte Regel oder ein fehlerhaftes Modell wirkt auf jeden Fall, den es erfasst. Ohne Überwachung der Ergebnisse und ohne Widerspruchsverfahren kann ein systematischer Fehler vielen Menschen zu Unrecht Leistungen verweigern oder Sanktionen auferlegen, bevor er erkannt wird.

Mechanismus

Verzerrungen entstehen durch Daten und Gestaltung

Historische Daten spiegeln frühere Entscheidungen und Durchsetzungsmuster wider. Stellvertretermerkmale wie Postleitzahl oder Staatsangehörigkeit können zu ungleichen Ergebnissen führen, selbst wenn geschützte Merkmale ausgeschlossen sind.

Mechanismus

Human review becomes rubber-stamping

Beschäftigte des öffentlichen Dienstes, die unter Zeitdruck automatisierte Ergebnisse prüfen sollen, neigen dazu, sie zu übernehmen. Sinnvolle Prüfung braucht Zeit, die Befugnis zur Korrektur und Informationen darüber, wie das Ergebnis zustande kam.

Mechanismus

Intransparenz verhindert Anfechtung

Menschen können eine Entscheidung nicht anfechten, von der sie nicht wissen, dass sie automatisiert getroffen wurde, oder die sie nicht verstehen. Ob Fehler korrigiert werden, hängt von Mitteilung, Begründung und Zugang zu einem Rechtsbehelf ab.

03Monitoring

Öffentliches Algorithmenregister.

Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.

Öffentliches Algorithmenregister

Algorithmische öffentliche Entscheidungen · Algorithmenregister · Quartal 1

Zwei Hochrisikosysteme ohne BewertungGRF · KI und digitale Governance

Registrierte Systeme

Kennzeichnung von LeistungsbetrugSoziale HandlungsfähigkeitHochFehlendTeilweise
Triage von GenehmigungenPlanungBegrenztErledigtJa
SchulplatzvergabeBildungHochErledigtJa
Chat-AssistentSteuerbehördeMinimalErledigtn/a

Aufsichtsmaßnahme

System
Kennzeichnung von Leistungsbetrug
Erforderlich
Folgenabschätzung, Rechtsbehelf
Frist
64 days
Befugnis
Aufsichtsgremium

Beschwerden über automatisierte Entscheidungen

Public algorithm register: the screen’s structure, terms and states for Algorithmic public decisions.Example names and illustrative values; a design, not a record or a live system.
04Indikatoren

Was gemessen wird und wie gut.

Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.

IndikatorEinheitTaktQuellentypKennzeichnung
Öffentliche algorithmische Systeme in einem TransparenzregisterAnzahl nach Behördebei AktualisierungAlgorithmenregisterDEKLARIERT
Veröffentlichte algorithmische FolgenabschätzungenAnzahljährlichRegierungsveröffentlichungenDEKLARIERT
Einsprüche gegen automatisierte EntscheidungenAnzahl und Anteil bestätigter FällejährlichAkten von Behörden und GerichtenVeröffentlichte Statistiken
Ergebnisunterschiede zwischen GruppenVerhältnis der Raten unerwünschter Ergebnissepro AuditUnabhängige AuditsGESCHÄTZT
Nach Überprüfung ausgesetzte oder zurückgezogene SystemeAnzahljährlichGovernment and court recordsVeröffentlichte Statistiken
Beschwerden beim Ombudsmann über automatisierte EntscheidungenAnzahljährlichBerichte der OmbudsstelleVeröffentlichte Statistiken
05Instrumente und Verpflichtungen

Wie die Governance algorithmischer öffentlicher Entscheidungen gestaltet ist: Instrumente, Mandate und Verpflichtungen.

Die Instrumente, Mandate, Akteure und Rechenschaftsregelungen, mit denen Politikgestaltende, Diplomatinnen und Diplomaten oder Entwicklungsagenturen arbeiten, unter Angabe der Abkommen, die sie begründen. Die Strukturen folgen den genannten Rahmenwerken. Jeder dargestellte Stand oder Fortschritt ist illustrativ, keine Aufzeichnung.

Matrix der Politikinstrumente

Die Arten von Instrumenten, die für algorithmische öffentliche Entscheidungen zur Verfügung stehen, nach Regierungsebene und Zusammenarbeit.

InstrumententypLokalNationalRegionalGlobal
RegulatorischFlächennutzungsplanung, BauvorschriftenGesetze, Normen, ZulassungHarmonisierte RegelnÜbereinkommen und Verträge
WirtschaftlichLokale Abgaben, ZuweisungenHaushaltslinien, Steuern, VersicherungssystemeRisikopools, regionale FondsFinanzierungsmechanismen
InformationLokale WarnungenOffenlegung, Frühwarnung, StatistikVereinbarungen zum DatenaustauschGlobale Überwachung und Berichterstattung
InstitutionellLokale AusschüsseFederführende Behörden, KoordinierungsräteRegionale Gremien und SekretariateMultilaterale Mandate
KooperativGemeinschaftsvereinbarungenPartnerschaftsvereinbarungenAbsichtserklärungen und gemeinsame ProgrammeVereinbarungen und gemeinsame Verpflichtungen
A typology after the OECD Recommendation on the Governance of Critical Risks; examples of instrument types, not an inventory of any country’s measures.
Sendai-Rahmenwerk für Katastrophenvorsorge · UNDRRÜbereinkommen von Paris · UNFCCCAgenda 2030 und die Ziele für nachhaltige Entwicklung · Vereinte NationenInternationale Gesundheitsvorschriften · WHO
06Quellen

Woher die Evidenz stammt.

Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.

QuelleWas es liefertLizenzklasse
Einträge des UK Algorithmic Transparency Recording StandardVeröffentlichte Verzeichnisse algorithmischer Werkzeuge, die von öffentlichen Stellen eingesetzt werdenOpen Government Licence
Algorithmenregister von Amsterdam und HelsinkiCity registers of algorithmic systems in useOpen data, terms per city
Kanadische Richtlinie zu automatisierter Entscheidungsfindung und Algorithmische FolgenabschätzungenVerpflichtende Folgenabschätzungen für automatisierte Entscheidungen des BundesOpen Government Licence, Canada (Lizenz für offene Regierungsdaten, Kanada)
Berichte von Ombudsstellen und RechnungsprüfungsbehördenInvestigations of automated decision systems in public servicesÖffentliche Aufzeichnungen, Bedingungen je Stelle
Court judgments on automated public decisionsRulings on lawfulness of algorithmic systemsPublic records, terms per court
07Entscheidungen

Wer entscheidet und wozu die Evidenz dient.

KI und digitale Governance bereitet Evidenz vor. Die folgenden Entscheidungen treffen die genannten Behörden nach ihren eigenen Regeln und niemals die Plattform.

Wer entscheidetDie FrageEvidenz, der diese Seite dient
Ministers and agency headsOb eine Entscheidung automatisiert werden soll und mit welchen SchutzvorkehrungenWirkungsanalysen, Prüfnachweise und Lehren aus vergleichbaren Systeme
DatenschutzbehördenOb die Verarbeitung und automatisierte Entscheidungen rechtmäßig sindBewertungsunterlagen und Beschwerden
Ombudsstellen und RechnungsprüfungsbehördenOb ein System untersucht werden soll und was zu empfehlen istWidersprüche, Beschwerden und Ergebnisdaten
Gerichte und TribunaleOb eine Entscheidung oder ein System Rechte oder Gesetze verletzt hatVon Beteiligten vorgelegte Aufzeichnungen; die Seite dient nur dem Kontext

Ergebnisse, die dieses Thema hervorbringt

  • Vergleichende Anmerkungen zu Algorithmenregistern und Folgenabschätzungen
  • Leitfaden für eine sinnvolle menschliche Überprüfung bei automatisierten Entscheidungen
  • Dialogpapiere zu Erkenntnissen aus ausgesetzten öffentlichen Algorithmen
  • Questions for agencies before deploying an automated decision system
08Kernfragen

Was Fachleute zu algorithmischen öffentlichen Entscheidungen fragen.

  • Welche rechtliche Befugnis ermächtigt zu dieser Verwendung, und bleibt der Algorithmus innerhalb dieser Befugnis?
  • Kann eine betroffene Person erfahren, dass ein Algorithmus eingesetzt wurde, verstehen, wie, und das Ergebnis anfechten?
  • Does the system perform differently for different groups, and is that justified?
  • Was geschieht, wenn das System falsch liegt, und wie schnell wird der Fehler gefunden und korrigiert?
09Mechanismen

Wie algorithmische Entscheidungen scheitern.

Auf historischen Daten trainierte Algorithmen können historische Muster der Benachteiligung reproduzieren. Eine scheinbar neutrale Proxyvariable wie die Postleitzahl kann mit geschützten Merkmalen korrelieren. Fehler im großen Maßstab unterscheiden sich von Einzelfehlern: Eine fehlerhafte Regel, die auf einen gesamten Fallbestand angewendet wird, schadet vielen Menschen zugleich und auf dieselbe Weise, was Systeme.

The burden of proof often shifts silently. When a system flags someone as high-risk, that person may need to prove a negative, without knowing what evidence the system used. Well-documented failures of automated benefits and fraud systems show that the greatest harm comes when automated flags are treated as findings rather than prompts for human investigation.

Warum jetzt: Automatisierte Systeme werden für Anspruchsprüfung, Triage und Betrugserkennung in öffentlichen Diensten eingesetzt, und Gerichte und Ombudsstellen mehrerer Länder haben Fälle geprüft, in denen sie versagten. Die Plattform soll Überprüfungs- und Rechtsbehelfsregelungen vergleichen und festhalten, was Betroffene tatsächlich tun können.

10Methoden und Grenzen

Schutzmaßnahmen und ihre Grenzen.

  1. 01

    Öffentliche Register von Algorithmen

    Listing systems used by public bodies and their purposes. Limits: registers are often incomplete and vary in detail.

  2. 02

    Erläuterung und Benachrichtigung

    Telling people when an algorithm was used and why it produced a result. Limits: explanations of complex models can be partial.

  3. 03

    Fairnesstests

    Messung der Leistung über Gruppen hinweg mit Methoden des maschinellen Lernen . Grenzen: Verschiedene Fairnessmaße können einander widersprechen, und die Wahl zwischen ihnen ist ein Werturteil.

  4. 04

    Widerspruch und Abhilfe

    Wege zu menschlicher Überprüfung, Widerspruch und Abhilfe. Grenzen: abhängig von zugänglichen Verfahren und ausreichender Personalausstattung.

12Fragen

Fragen und Antworten.

Was ist eine algorithmische Folgenabschätzung?
Eine strukturierte Prüfung vor und während des Einsatzes, welche Risiken ein automatisiertes System für Menschen birgt und wie sie gemindert werden. Kanada verlangt sie für automatisierte Entscheidungen des Bundes.
Was macht eine menschliche Überprüfung aussagekräftig?
The reviewer has the time, competence, information and authority to depart from the system’s output, and does so in practice when warranted.
Haben Menschen ein Recht, keinen automatisierten Entscheidungen unterworfen zu sein?
Under the GDPR, people have rights concerning decisions based solely on automated processing that significantly affect them, with exceptions and safeguards. Other jurisdictions differ.
Kann eine öffentliche Entscheidung vollständig von einem Algorithmus getroffen werden?
Das hängt vom Recht der jeweiligen Rechtsordnung ab. Viele Rechtsordnungen beschränken vollautomatisierte Entscheidungen mit erheblichen Auswirkungen auf Personen und verlangen menschliche Beteiligung sowie ein Recht auf Anfechtung.
Why can’t fairness be measured with one number?
Weil es mehrere vertretbare Definitionen von Fairness gibt und sich diese mathematisch oft nicht alle gleichzeitig erfüllen lassen. Die Wahl zwischen ihnen ist eine politische Entscheidung.
Nimmt die Plattform Einzelfälle auf?
Nein. Einzelfälle gehören in die Zuständigkeit der einsetzenden Stelle, von Ombudsstellen, Tribunalen und Gerichten.
Sind Algorithmenregister vorgeschrieben?
Einige Rechtsordnungen und Städte veröffentlichen sie freiwillig oder aufgrund von Vorgaben; die Anforderungen unterscheiden sich.
BerichteBeitragen

Evidenz von dieser Seite aus beitragen.

Reports ist die vierteljährliche Publikation des Konsortiums. Was Sie über dieses Thema wissen, kann in der nächsten Ausgabe zu Evidenz, einem Fall oder einer Korrektur werden, Ihnen zugeschrieben und unter CC BY 4.0 veröffentlicht, soweit es Ihr eigenes Werk ist.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
KI und digitale Governance

Bringen Sie eine Governance-Frage in das Forum ein.

Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.