How models fail in deployment
Distribution shift, spurious correlations and feedback loops are explained with public case records, so oversight bodies know what to ask about a system’s behaviour after deployment.
GRF · هوش مصنوعی و حکمرانی دیجیتال
Artificial intelligence and machine learning for AI and digital governance
Artificial intelligence and machine learning are the سامانه‌های this field governs. On this platform the methods are explained so that oversight bodies, legislators and the public understand what models do, how they fail and what evidence about them can be trusted.
01فهرست مطالب
Artificial intelligence and machine learning for AI and digital governance in five parts.
02درخواست
What artificial intelligence and machine learning does here.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence, digital public infrastructure and cyber and digital resilience, machine learning can scale detection and forecasting across interconnected سامانه‌های. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on STEM Commons.
Reading model documentation
Model cards, data sheets and system cards are read for what they disclose and omit about training data, evaluation and limits.
Agent architectures explained
How agents chain model calls, tools and memory is described, so that permission and liability questions can be placed at the right point.
03پایش
Model training.
The screen a team would use to follow this method: its measures, states and decisions. Names are examples and values are illustrative.
Model training
AI and digital governance · Artificial intelligence · Run R-6213
Drift on one sliceGRF · هوش مصنوعی و حکمرانی دیجیتال
Evaluation by slice
| همه | 0.85 | 0.04 | 4407 | قبول |
| Region A | 0.78 | 0.04 | 1829 | بازبینی |
| Region B | 0.65 | 0.07 | 444 | بازبینی |
| Rare class | 0.74 | 0.14 | 124 | Below bar |
Method card
- روش
- هوش مصنوعی و یادگیری ماشین
- Split
- time-based, no leakage
- Features
- 55
- برچسب
- مدل‌سازی‌شده
Population stability
04داده
What the method consumes.
Datasets and records used by artificial intelligence and machine learning on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| داده | نقش | برچسب |
|---|---|---|
| Model and system cards | Disclosed capabilities and limits | DECLARED |
| Benchmark results | Comparative capability | گزارش‌شده |
| Incident records | Observed failures | گزارش‌شده |
| Research literature | روش‌ها و شواهد | گزارش‌شده |
05سناریوهای سیاستی
مقایسهٔ ابزارها: قواعد، انگیزه‌ها و اطلاعات.
سه خانوادهٔ ابزار در کنار هم در برابر خط پایه، هر یک با تأخیر و سرعت پذیرش خود، تحت پوشش و انطباقی که تعیین می‌کنید؛ اندازهٔ اثرها مقادیر آموزشی‌اند که باید با شواهد جایگزین شوند. سناریو: مفروضات نام‌برده دربارهٔ آینده، نه پیش‌بینی.
کنترل‌ها
- روند خط پایهٔ پیامد
- 2.0% در سال
- پوشش ابزار
- 70%
- انطباق
- 75%
- اندازهٔ اثر، در برابر مقدار آموزشی
- 100%
- سال‌های پیش رو
- 20 سال
خروجی‌ها
- بیشترین کاهش در افق
- مقررات‌گذاری
- کاهش آن نسبت به خط پایه
- 21%
اعداد، روش‌ها و منابع
| سال | خط پایه | مقررات‌گذاری | انگیزهٔ اقتصادی | اطلاعات و ظرفیت |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
روش‌ها
- ابزارهای حکومت Hood (1983), The Tools of Government, Macmillan
- هویج، چماق و موعظه Bemelmans-Videc, Rist and Vedung (1998), Transaction
- انتشار نوآوری‌ها Rogers (2003), Diffusion of Innovations, Free Press
- بادبزن عدم قطعیت (مونت‌کارلوی پارامتری) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- حساسیت‌سنجی یک‌به‌یک (گردبادی) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
داده
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- مرزها Natural Earth
- شهرها Natural Earth
در سراسر شش رکن، به رهبری Nexus Consortium
- آزمایش‌ها آزمایشگاه‌ها
- درون‌ساخت هوش مصنوعی و حکمرانی دیجیتال در Foundry
- آزموده‌شده در هوش مصنوعی و حکمرانی دیجیتال در Universe
- مدوّن در دیجیتال، سایبری و هوش مصنوعی در استانداردها
- منتشرشده در هوش مصنوعی و حکمرانی دیجیتال در Reports
- زبان تدریس دانشکدهٔ فناوری و سامانه‌های دیجیتال در Academy
06اعتبارسنجی
How results are checked.
Models are evaluated on held-out data that respects spatial, temporal and group structure. Robustness, calibration and fairness are tested alongside accuracy.
| بررسی | How it is done |
|---|---|
| Claims against evidence | Capability claims are checked against published evaluations |
| Context of benchmarks | Benchmark results are read with their task and data limits stated |
| Deployment conditions | Behaviour is described for the conditions in which the system is used |
Performance degrades when deployment conditions differ from training data. Models can encode biases and fail without clear warning on rare events.
07اجرا
از مأموریت تا ارزیابی، به تفکیک رکن.
گام‌هایی که یک ابزار از مأموریت تا ارزیابی طی می‌کند، هر یک با رکنی که آن را اجرا می‌کند، و تصمیم‌هایی که با مرجع باقی می‌مانند. مدل آموزشی با مقادیر گویای اعلام‌شده، نه پیش‌بینی.
- مأموریت و چارچوب‌بندی مسئله مرجع صلاحیت‌دار (بیرون از برنامه)
مرجع صلاحیت‌دار مسئله و مأموریت را بر پایهٔ قواعد خود چارچوب‌بندی می‌کند. Howlett, Ramesh and Perl (2009) - شواهد و مدل سامانه Foundry
سامانه با بازخوردها، داده‌ها و محدودیت‌های اعلام‌شده‌اش مدل‌سازی می‌شود. OECD (2014), principle 2 - گزینه‌ها با سناریوها ارزیابی می‌شوند Foundry
ابزارها تحت سناریوها مقایسه می‌شوند و عدم قطعیت نشان داده می‌شود. Hood (1983) - مانور با ذی‌نفعان جهان
گزینه‌ها در یک مانور با کسانی آزموده می‌شوند که آن‌ها را اجرا می‌کنند و بار آن‌ها را به دوش می‌کشند. OECD (2014), principle 3 - استاندارد یا رهنمود تدوین شد Nexus Standards
آنچه کارآمد است به‌صورت استاندارد یا رهنمود مدوّن می‌شود و برای نظرخواهی باز است. فرایند Nexus Standards - تصمیم مرجع مرجع صلاحیت‌دار (بیرون از برنامه)
مرجع، بیرون از برنامه و با شواهد ثبت‌شده تصمیم می‌گیرد. Howlett, Ramesh and Perl (2009) - ظرفیت و آموزش Risk Academy
مجریان دربارهٔ ابزار تصمیم‌گرفته‌شده و داده‌های آن آموزش می‌بینند. Sendai Framework (2015), priority 2 - پایش و گزارش عمومی گزارش‌ها
نشانگرها با منابع، محدودیت‌ها و اصلاحات منتشر می‌شوند. OECD (2014), principle 5 - ارزیابی و بازنگری Nexus Standards
نتایج به استاندارد و مدل بازمی‌گردد: چرخه بسته می‌شود. Howlett, Ramesh and Perl (2009)
روش‌ها
- چرخهٔ سیاست‌گذاری Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- حکمرانی ریسک‌های حیاتی OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- ترسیم لایه‌ای گراف‌های جهت‌دار Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
در سراسر شش رکن، به رهبری Nexus Consortium
- آزمایش‌ها آزمایشگاه‌ها
- درون‌ساخت هوش مصنوعی و حکمرانی دیجیتال در Foundry
- آزموده‌شده در هوش مصنوعی و حکمرانی دیجیتال در Universe
- مدوّن در دیجیتال، سایبری و هوش مصنوعی در استانداردها
- منتشرشده در هوش مصنوعی و حکمرانی دیجیتال در Reports
- زبان تدریس دانشکدهٔ فناوری و سامانه‌های دیجیتال در Academy
08Connections
Topics that rely on this method.
09ابزارها و تعهدها
Instruments, mandates and commitments.
ابزارها، مأموریت‌ها، کنشگران و ترتیبات پاسخگویی‌ای که یک سیاست‌گذار، دیپلمات یا نهاد توسعه با آن‌ها کار می‌کند، با ذکر توافق‌هایی که آن‌ها را تعیین کرده‌اند. ساختارها از چارچوب‌های نام‌برده پیروی می‌کنند. هر وضعیت یا پیشرفتی که ترسیم شده گویاست، نه سابقه.
ماتریس ابزارهای سیاستی
The kinds of instrument available on Artificial intelligence and machine learning for AI and digital governance, by level of government and cooperation.
| نوع ابزار | محلی | ملی | منطقه‌ای | جهانی |
|---|---|---|---|---|
| مقرراتی | پهنه‌بندی، مقررات ساختمانی | قوانین، استانداردها، پروانه‌دهی | قواعد همساز | کنوانسیون‌ها و معاهدات |
| اقتصادی | عوارض و کمک‌های محلی | سطرهای بودجه، مالیات‌ها، طرح‌های بیمه | صندوق‌های ریسک، صندوق‌های منطقه‌ای | سازوکارهای تأمین مالی |
| اطلاعات | هشدارهای محلی | افشا، هشدار زودهنگام، آمار | ترتیبات تسهیم داده | پایش و گزارش‌دهی جهانی |
| نهادی | کمیته‌های محلی | نهادهای راهبر، شوراهای هماهنگی | نهادها و دبیرخانه‌های منطقه‌ای | مأموریت‌های چندجانبه |
| تعاونی | توافق‌های اجتماعی | موافقت‌نامه‌های مشارکت | تفاهم‌نامه‌ها و برنامه‌های مشترک | توافق‌ها و تعهدهای مشترک |
چارچوب سندای برای کاهش ریسک سوانح · UNDRRParis Agreement · UNFCCCدستور کار 2030 و اهداف توسعهٔ پایدار · سازمان ملل متحدInternational Health Regulations · WHO
10تولیت
Who maintains the method.
هوش مصنوعی و سامانه‌های خودگردان stewards artificial intelligence and machine learning for the Consortium and reviews how it is applied across platforms.
11متصل
جایی که این صفحه در سراسر کنسرسیوم به آن می‌رسد.
12پرسش‌ها
پرسش و پاسخ.
What are the limits of artificial intelligence and machine learning in this field?
Performance degrades when deployment conditions differ from training data. Models can encode biases and fail without clear warning on rare events.
How are results checked?
Models are evaluated on held-out data that respects spatial, temporal and group structure. Robustness, calibration and fairness are tested alongside accuracy.
Are the values on this page real?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Where else is this method applied?
رصدخانهٔ canonical method page lists every platform that applies it.
گزارش‌هامشارکت
از همین صفحه شواهد بیفزایید.
گزارش‌ها is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
Global Risks Forumهوش مصنوعی و حکمرانی دیجیتالفناوری نماییگزارش مختصر شواهد
- رایانامهGateway GW-GRFاز همین صفحه ارسال کنیدشواهد، اصلاحیه، مورد پژوهی، روش، بازبینی، ترجمه یا ورودی نمایه. با برچسب این صفحه می‌رسد تا ویراستار مسئول آن را دریافت کند.
- Zenodoسپردهٔ بازآن را سپرده و به جامعه ارسال کنیدسابقهٔ خود را با شناسهٔ ORCID iD خود در Zenodo منتشر کنید و سپس آن را در همانجا به جامعهٔ Reports ارسال کنید. متصدیان آن را داوری می‌کنند؛ DOI از آنِ شما میماند.
- گزارش‌هاGlobal Risks Forumهمهٔ راه‌های مشارکت را ببینیدانواع مشارکت، نحوهٔ بررسی هر یک، اعتباری که دریافت می‌کنید، مجوز و آنچه هرگز پذیرفته نمیشود.
هرگز داده‌های شخصی، جزئیات حساس زیرساختی یا چیزی را که حق تسهیم آن را ندارید نفرستید. مشارکت پیش از استفاده بازبینی می‌شود؛ ارسال آن هیچ حق تألیف یا ویراستاری ایجاد نمی‌کند و حمایت مالی هرگز یافته‌ای را نمی‌خرد.
هوش مصنوعی و حکمرانی دیجیتال
پرسش حکمرانی خود را نزد Forum بیاورید.
اطلاعات و پرسش‌ها از امروز باز است. هر پرسش شمارهٔ مرجعی می‌گیرد و گام بعد را نام می‌برد؛ درخواست‌ها، پرداخت‌ها، تخصیص توان رایانشی و ثبت‌نام‌ها تنها زمانی باز می‌شوند که تیم، شرایط و ظرفیت بررسی آن‌ها فراهم باشد.
حقوقی
اسناد حقوقی.
نمایش هر 18 سند حقوقی
نقشه‌ها، داده‌ها و شکل‌های این سایت برای زمینه و اطلاعات عمومی نشان داده می‌شوند. آن‌ها توصیه، پیش‌بینی یا هشدار نیستند؛ حدود اطلاعات در سلب مسئولیت‌ها و اطلاعیه‌های داده بیان شده است.