How models fail in deployment
Distribution shift, spurious correlations and feedback loops are explained with public case records, so oversight bodies know what to ask about a system’s behaviour after deployment.
GRF · KI und digitale Governance
Künstliche Intelligenz und maschinelles Lernen für KI- und digitale Governance
Artificial intelligence and machine learning are the Systeme this field governs. On this platform the methods are explained so that oversight bodies, legislators and the public understand what models do, how they fail and what evidence about them can be trusted.
01Inhalt
Artificial intelligence and machine learning for AI and digital governance in five parts.
02Antrag
Was künstliche Intelligenz und maschinelles Lernen hier leisten.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence, digital public infrastructure and cyber and digital resilience, machine learning can scale detection and forecasting across interconnected Systeme. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on das MINT-Gemeingut.
Reading model documentation
Model cards, data sheets and system cards are read for what they disclose and omit about training data, evaluation and limits.
Agent architectures explained
How agents chain model calls, tools and memory is described, so that permission and liability questions can be placed at the right point.
03Monitoring
Modelltraining.
Die Ansicht, die ein Team nutzen würde, um diese Methode zu verfolgen: ihre Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.
Modelltraining
AI and digital governance · Artificial intelligence · Run R-6213
Drift in einer TeilmengeGRF · KI und digitale Governance
Evaluation nach Teilmenge
| Alle | 0.85 | 0.04 | 4407 | Bestanden |
| Region A | 0.78 | 0.04 | 1829 | Prüfung |
| Region B | 0.65 | 0.07 | 444 | Prüfung |
| Seltene Klasse | 0.74 | 0.14 | 124 | Unter dem Schwellenwert |
Methodenkarte
- Methode
- Künstliche Intelligenz und maschinelles Lernen
- Aufteilung
- zeitbasiert, ohne Datenleck
- Merkmale
- 55
- Kennzeichnung
- MODELLIERT
Stabilität der Population
04Daten
Was die Methode verwendet.
Datensätze und Aufzeichnungen, die künstliche Intelligenz und maschinelles Lernen auf dieser Plattform nutzen, mit der Rolle, die jeder spielt, und der Kennzeichnung, die seine Werte tragen. Die Quellen sind in dem Quellenregister.
| Daten | Rolle | Kennzeichnung |
|---|---|---|
| Model and system cards | Disclosed capabilities and limits | DEKLARIERT |
| Benchmark results | Comparative capability | BERICHTET |
| Incident records | Observed failures | BERICHTET |
| Research literature | Methoden und Evidenz | BERICHTET |
05Politikszenarien
Instrumente vergleichen: Regeln, Anreize und Information.
Drei Instrumentenfamilien im Vergleich zum Referenzszenario, jede mit eigener Verzögerung und Annahmegeschwindigkeit, unter der von Ihnen gesetzten Abdeckung und Regeleinhaltung; Effektgrößen sind Lehrwerte, die durch Evidenz zu ersetzen sind. Szenario: benannte Annahmen über die Zukunft, keine Prognose.
Steuerung
- Basistrend des Ergebnisses
- 2,0 % pro Jahr
- Abdeckung des Instruments
- 70%
- Einhaltung
- 75%
- Effektgröße, gegenüber dem Lehrwert
- 100%
- Jahre voraus
- 20 Jahre
Messwerte
- Größte Verringerung am Zeithorizont
- Regulierung
- Seine Verringerung gegenüber dem Referenzwert
- 21%
Zahlen, Methoden und Quellen
| Jahr | Ausgangslage | Regulierung | Wirtschaftlicher Anreiz | Information und Kapazität |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
Methoden
- Instrumente staatlichen Handelns Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist und Vedung (1998), Transaction
- Diffusion von Innovationen Rogers (2003), Diffusion of Innovations, Free Press
- Fächer der Unsicherheit (Parameter-Monte-Carlo) Spiegelhalter, Pearson und Short (2011), Visualising uncertainty about the future, Science 333
- Sensitivität mit jeweils einem Faktor (Tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Daten
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Grenzen Natural Earth
- Städte Natural Earth
Über die sechs Säulen, unter Leitung von Nexus Consortium
- Experimente Labore
- Erstellt in KI und digitale Governance in Foundry
- Getestet am KI und digitale Governance in Universe
- Kodifiziert in Digitales, Cyber und KI in Standards
- Veröffentlicht in KI und digitale Governance in Reports
- Gelehrt in Fakultät für Technologie und digitale Systeme in der Akademie
06Validierung
Wie Ergebnisse geprüft werden.
Modelle werden an zurückgehaltenen Daten evaluiert, die räumliche, zeitliche und Gruppenstrukturen berücksichtigen. Robustheit, Kalibrierung und Fairness werden neben der Genauigkeit getestet.
| Prüfen | Wie es gemacht wird |
|---|---|
| Claims against evidence | Capability claims are checked against published evaluations |
| Context of benchmarks | Benchmark results are read with their task and data limits stated |
| Deployment conditions | Behaviour is described for the conditions in which the system is used |
Die Leistung verschlechtert sich, wenn die Einsatzbedingungen von den Trainingsdaten abweichen. Modelle können Verzerrungen kodieren und bei seltenen Ereignissen ohne klare Warnung versagen.
07Umsetzung
Vom Mandat zur Evaluierung, nach Säulen.
Die Schritte, die ein Instrument vom Mandat bis zur Evaluierung durchläuft, jeweils mit der Säule, die es durchführt, und den Entscheidungen, die bei der Behörde bleiben. Lehrmodell mit ausdrücklich genannten illustrativen Werten, keine Vorhersage.
- Mandat und Problemrahmung Zuständige Behörde (außerhalb des Programms)
Eine zuständige Behörde rahmt Problem und Mandat nach ihren eigenen Regeln. Howlett, Ramesh und Perl (2009) - Evidenz und Systemmodell Foundry
Das System wird mit seinen Rückkopplungen, Daten und angegebenen Grenzen modelliert. OECD (2014), Grundsatz 2 - Optionen mit Szenarien bewertet Foundry
Instrumente werden unter Szenarien verglichen, mit ausgewiesener Unsicherheit. Hood (1983) - Übung mit Beteiligten Universum
Die Optionen werden in einer Übung mit denen erprobt, die sie umsetzen und tragen würden. OECD (2014), Grundsatz 3 - Standard oder Leitfaden entworfen Nexus Standards
Was funktioniert, wird als Standard oder Leitfaden kodifiziert und zur Kommentierung geöffnet. Verfahren von Nexus Standards - Entscheidung der Behörde Zuständige Behörde (außerhalb des Programms)
Die Behörde entscheidet außerhalb des Programms auf Grundlage der aktenkundigen Evidenz. Howlett, Ramesh und Perl (2009) - Kapazität und Schulung Risk Academy
Wer umsetzt, wird zum beschlossenen Instrument und seinen Daten geschult. Sendai-Rahmenwerk für Katastrophenvorsorge (2015), Priorität 2 - Überwachung und öffentlicher Bericht Berichte
Indikatoren werden mit Quellen, Grenzen und Korrekturen veröffentlicht. OECD (2014), Grundsatz 5 - Evaluierung und Überarbeitung Nexus Standards
Die Ergebnisse fließen in den Standard und das Modell zurück: Der Zyklus schließt sich. Howlett, Ramesh und Perl (2009)
Methoden
- Politikzyklus Howlett, Ramesh und Perl (2009), Studying Public Policy, Oxford University Press
- Steuerung kritischer Risiken OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- Layered drawing of directed graphs Sugiyama, Tagawa und Toda (1981), IEEE SMC 11
Über die sechs Säulen, unter Leitung von Nexus Consortium
- Experimente Labore
- Erstellt in KI und digitale Governance in Foundry
- Getestet am KI und digitale Governance in Universe
- Kodifiziert in Digitales, Cyber und KI in Standards
- Veröffentlicht in KI und digitale Governance in Reports
- Gelehrt in Fakultät für Technologie und digitale Systeme in der Akademie
08Verbindungen
Themen, die sich auf diese Methode stützen.
09Instrumente und Verpflichtungen
Instrumente, Mandate und Verpflichtungen.
Die Instrumente, Mandate, Akteure und Rechenschaftsregelungen, mit denen Politikgestaltende, Diplomatinnen und Diplomaten oder Entwicklungsagenturen arbeiten, unter Angabe der Abkommen, die sie begründen. Die Strukturen folgen den genannten Rahmenwerken. Jeder dargestellte Stand oder Fortschritt ist illustrativ, keine Aufzeichnung.
Matrix der Politikinstrumente
The kinds of instrument available on Artificial intelligence and machine learning for AI and digital governance, by level of government and cooperation.
| Instrumententyp | Lokal | National | Regional | Global |
|---|---|---|---|---|
| Regulatorisch | Flächennutzungsplanung, Bauvorschriften | Gesetze, Normen, Zulassung | Harmonisierte Regeln | Übereinkommen und Verträge |
| Wirtschaftlich | Lokale Abgaben, Zuweisungen | Haushaltslinien, Steuern, Versicherungssysteme | Risikopools, regionale Fonds | Finanzierungsmechanismen |
| Information | Lokale Warnungen | Offenlegung, Frühwarnung, Statistik | Vereinbarungen zum Datenaustausch | Globale Überwachung und Berichterstattung |
| Institutionell | Lokale Ausschüsse | Federführende Behörden, Koordinierungsräte | Regionale Gremien und Sekretariate | Multilaterale Mandate |
| Kooperativ | Gemeinschaftsvereinbarungen | Partnerschaftsvereinbarungen | Absichtserklärungen und gemeinsame Programme | Vereinbarungen und gemeinsame Verpflichtungen |
Sendai-Rahmenwerk für Katastrophenvorsorge · UNDRRÜbereinkommen von Paris · UNFCCCAgenda 2030 und die Ziele für nachhaltige Entwicklung · Vereinte NationenInternationale Gesundheitsvorschriften · WHO
10Treuhänderschaft
Wer die Methode pflegt.
Künstliche Intelligenz und autonome Systeme ist Sachwalter von künstlicher Intelligenz und maschinellem Lernen für das Consortium und prüft, wie sie plattformübergreifend angewandt werden.
11Verbunden
Wohin diese Seite im Konsortium führt.
12Fragen
Fragen und Antworten.
Wo liegen die Grenzen von künstlicher Intelligenz und maschinellem Lernen in diesem Fachgebiet?
Die Leistung verschlechtert sich, wenn die Einsatzbedingungen von den Trainingsdaten abweichen. Modelle können Verzerrungen kodieren und bei seltenen Ereignissen ohne klare Warnung versagen.
Wie werden Ergebnisse geprüft?
Modelle werden an zurückgehaltenen Daten evaluiert, die räumliche, zeitliche und Gruppenstrukturen berücksichtigen. Robustheit, Kalibrierung und Fairness werden neben der Genauigkeit getestet.
Sind die Werte auf dieser Seite echt?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Wo wird diese Methode sonst angewandt?
Das kanonische Methodenseite listet jede Plattform auf, die sie anwendet.
BerichteBeitragen
Evidenz von dieser Seite aus beitragen.
Berichte is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks ForumKI und digitale GovernanceExponentielle TechnologieEvidenzpapier
- E-MailGateway GW-GRFVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOffene HinterlegungHinterlegen und bei der Community einreichenVeröffentlichen Sie Ihren eigenen Eintrag auf Zenodo mit Ihrer ORCID iD und reichen Sie ihn dort bei der Reports-Community ein. Kuratorinnen und Kuratoren prüfen ihn; der DOI bleibt bei Ihnen.
- BerichteGlobal Risks ForumAlle Wege zum Beitragen ansehenDie Beitragsarten, wie jede geprüft wird, welche Nennung Sie erhalten, die Lizenz und was nie angenommen wird.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
KI und digitale Governance
Bringen Sie eine Governance-Frage in das Forum ein.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliches
Rechtliche Dokumente.
Alle 18 Rechtsdokumente anzeigen
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.