GRF · هوش مصنوعی و حکمرانی دیجیتال
نظارت و پاسخگویی هوش مصنوعی
وقتی یک سامانهٔ هوش مصنوعی آسیب میزند، باید کسی بتواند دریابد چه رخ داده و پاسخگو باشد. نظارت بر مستندسازی، ثبت رویداد، ممیزی، گزارشدهی حوادث و مراجعی تکیه دارد که اختیارات و مهارت لازم برای بهکارگیری آنها را دارند. پاسخگویی میان توسعهدهندگان، بهرهبرداران، هیئتمدیرهها و تنظیمگران پخش میشود و ممکن است میان آنها از میان برود. این صفحه توضیح میدهد نظارت بر هوش مصنوعی چگونه برقرار میماند یا شکست میخورد، چه سوابقی آن را نشان میدهد و هر تصمیم بر عهدهٔ کیست.
AI oversight and accountability in seven parts.
- 01The questionAI oversight and accountability: how the risk develops
- 02نشانگرهاچه چیزی سنجیده میشود و تا چه حد خوب
- 03منابعشواهد از کجا میآید
- 04تصمیمهاچه کسی تصمیم میگیرد و شواهد در خدمت چیست
- 05Core questionsWhat institutions ask about oversight
- 06MechanismsWhy accountability erodes
- 07Methods and limitsInstruments of oversight
AI oversight and accountability: how the risk develops.
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Responsibility diffuses along the chain
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
Records decide what can be reviewed
Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.
Authorities lack capacity
Market surveillance, data protection and sector regulators need technical staff, access to systems and powers to test them. Thin capacity turns rules into self-assessment.
Incidents go unreported
Failures surface through complaints, journalism and litigation rather than reporting. Mandatory incident reporting and shared incident databases let patterns be seen across deployments.
فهرست عمومی الگوریتمها.
صفحهای که یک تیم برای پیگیری این موضوع به کار میبرد: سنجهها، وضعیتها و تصمیمهای آن. نامها نمونهاند و مقادیر نمایشی.
فهرست عمومی الگوریتمها
AI oversight and accountability · Algorithm register · Quarter 2
سامانههای ثبتشده
| نشانهگذاری تقلب در مزایا | کنشگری اجتماعی | زیاد | ناموجود | جزئی |
| اولویتبندی مجوزها | برنامهریزی | محدود | انجام شد | بله |
| جایابی مدرسه | آموزش | زیاد | انجام شد | بله |
| دستیار گفتوگو | اداره مالیات | حداقلی | انجام شد | ناموجود |
اقدام نظارتی
- سامانه
- نشانهگذاری تقلب در مزایا
- الزامی
- ارزیابی اثر، مسیر تجدیدنظر
- مهلت
- 73 days
- مرجع
- نهاد نظارت
شکایت دربارهٔ تصمیمهای خودکار
چه چیزی اندازهگیری میشود و با چه کیفیتی.
هر نشانگر واحد، بسامد بهروزرسانی، نوع منبع پشت آن و برچسب شواهدی را که یک مقدار میداشت، همراه دارد. هیچ مقداری نشان داده نمیشود: یک برنامه آنها را تحت اختیار خود فراهم میکند.
| نشانگر | واحد | تناوب | نوع منبع | برچسب |
|---|---|---|---|---|
| مرجع تعیینشدهٔ نظارت بر هوش مصنوعی یا نظارت بر بازار | yes or no, with legal basis | هنگام تغییر | National legislation and notifications | آمارهای منتشرشده |
| Technical staff in AI-relevant authorities | معادل تماموقت | سالانه | گزارشهای سالانهٔ مراجع | گزارششده |
| Serious incidents reported under AI rules | count by sector | سالانه | سوابق عمومی | آمارهای منتشرشده |
| Publicly recorded AI incidents | شمار به تفکیک نوع آسیب | ماهانه | پایگاههای داده رخدادها | گزارششده |
| Enforcement actions concerning AI systems | count by authority and type | سالانه | ثبتهای اجرای قانون نهادهای تنظیمگر | آمارهای منتشرشده |
| ISO/IEC 42001 certificates issued | شمارش | سالانه | Certification body records | گزارششده |
مقایسهٔ ابزارها: قواعد، انگیزهها و اطلاعات.
سه خانوادهٔ ابزار در کنار هم در برابر خط پایه، هر یک با تأخیر و سرعت پذیرش خود، تحت پوشش و انطباقی که تعیین میکنید؛ اندازهٔ اثرها مقادیر آموزشیاند که باید با شواهد جایگزین شوند. سناریو: مفروضات نامبرده دربارهٔ آینده، نه پیشبینی.
کنترلها
- روند خط پایهٔ پیامد
- 2.0% در سال
- پوشش ابزار
- 70%
- انطباق
- 75%
- اندازهٔ اثر، در برابر مقدار آموزشی
- 100%
- سالهای پیش رو
- 20 سال
خروجیها
- بیشترین کاهش در افق
- مقرراتگذاری
- کاهش آن نسبت به خط پایه
- 21%
اعداد، روشها و منابع
| سال | خط پایه | مقرراتگذاری | انگیزهٔ اقتصادی | اطلاعات و ظرفیت |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
روشها
- Tools of government Hood (1983), The Tools of Government, Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
- Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
- Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
- One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
داده
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- Borders Natural Earth
- Cities Natural Earth
در سراسر شش رکن، به رهبری Nexus Consortium
- آزمایشها آزمایشگاهها
- درونساخت هوش مصنوعی و حکمرانی دیجیتال در Foundry
- آزمودهشده در هوش مصنوعی و حکمرانی دیجیتال در Universe
- مدوّن در دیجیتال، سایبری و هوش مصنوعی در استانداردها
- منتشرشده در هوش مصنوعی و حکمرانی دیجیتال در Reports
- زبان تدریس دانشکدهٔ فناوری و سامانههای دیجیتال در Academy
شواهد از کجا میآیند.
مجموعهدادههای عمومی و سوابق نهادی نامبرده، هر یک با ردهٔ پروانهٔ خود. منابع مبتنی بر توافق تنها بر پایهٔ شرایطشان به کار میروند و هرگز بازنشر نمیشوند.
| منبع | آنچه فراهم میکند | رستهٔ پروانه |
|---|---|---|
| OECD.AI Policy Observatory | National AI policies, governance bodies and the AI Incidents Monitor | رایگان، شرایط OECD |
| AI Incident Database | Crowd-sourced records of harms involving AI systems | باز، پروانه در انتظار بررسی |
| European Data Protection Board and national authority decisions | Decisions on automated processing and AI-related complaints | Public, EU and national reuse terms |
| Stanford AI Index Report | دادههای توسعه، سیاستگذاری و رخدادهای هوش مصنوعی | Free to read, licence to check |
| Regulator annual reports | Staffing, priorities and enforcement of authorities supervising AI | سوابق عمومی، شرایط به تفکیک مرجع |
از مأموریت تا ارزیابی، به تفکیک رکن.
گامهایی که یک ابزار از مأموریت تا ارزیابی طی میکند، هر یک با رکنی که آن را اجرا میکند، و تصمیمهایی که با مرجع باقی میمانند. مدل آموزشی با مقادیر گویای اعلامشده، نه پیشبینی.
- Mandate and problem framing Competent authority (outside the programme)
A competent authority frames the problem and the mandate under its own rules. Howlett, Ramesh and Perl (2009) - Evidence and system model Foundry
The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2 - Options appraised with scenarios Foundry
Instruments are compared under scenarios, with uncertainty shown. Hood (1983) - Exercise with stakeholders Universe
The options are tested in an exercise with those who would implement and bear them. OECD (2014), principle 3 - استاندارد یا رهنمود تدوین شد Nexus Standards
آنچه کارآمد است بهصورت استاندارد یا رهنمود مدوّن میشود و برای نظرخواهی باز است. فرایند Nexus Standards - Decision by the authority Competent authority (outside the programme)
The authority decides, outside the programme, with the evidence on record. Howlett, Ramesh and Perl (2009) - Capacity and training Risk Academy
Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2 - Monitoring and public report Reports
Indicators are published with sources, limits and corrections. OECD (2014), principle 5 - Evaluation and revision Nexus Standards
Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)
روشها
- Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
- Governance of critical risks OECD (2014), Recommendation of the Council on the Governance of Critical Risks
- Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
در سراسر شش رکن، به رهبری Nexus Consortium
- آزمایشها آزمایشگاهها
- درونساخت هوش مصنوعی و حکمرانی دیجیتال در Foundry
- آزمودهشده در هوش مصنوعی و حکمرانی دیجیتال در Universe
- مدوّن در دیجیتال، سایبری و هوش مصنوعی در استانداردها
- منتشرشده در هوش مصنوعی و حکمرانی دیجیتال در Reports
- زبان تدریس دانشکدهٔ فناوری و سامانههای دیجیتال در Academy
چه کسی تصمیم میگیرد و شواهد در خدمت چیست.
هوش مصنوعی و حکمرانی دیجیتال شواهد را آماده میکند. تصمیمهای زیر را مراجع نامبرده بر پایهٔ قواعد خود میگیرند، و هرگز سکو.
| چه کسی تصمیم میگیرد | پرسش | شواهدی که این صفحه به آنها خدمت میکند |
|---|---|---|
| مجالس قانونگذاری | Which obligations attach to developers, deployers and providers of general-purpose models | Comparative regimes and evidence from incidents |
| Market surveillance and sector regulators | Which systems to inspect and what powers to use | Incident records, risk categories and enforcement practice |
| Boards of deploying organisations | چه کسی مالک ریسک هوش مصنوعی است و چه اطمینانبخشیای را میطلبد | Governance practice and management system standards |
| دادگاهها | Who is responsible for harm caused with an AI system | Records and expert evidence presented by parties; the page serves context only |
خروجیهایی که این موضوع تولید میکند
- Maps of accountability across the AI value chain for a given use
- Comparative notes on AI supervisory authorities and their powers
- Guide to AI incident reporting regimes and databases
- Questions for boards and regulators on AI oversight
How AI oversight and accountability is governed: instruments, mandates and commitments.
ابزارها، مأموریتها، کنشگران و ترتیبات پاسخگوییای که یک سیاستگذار، دیپلمات یا نهاد توسعه با آنها کار میکند، با ذکر توافقهایی که آنها را تعیین کردهاند. ساختارها از چارچوبهای نامبرده پیروی میکنند. هر وضعیت یا پیشرفتی که ترسیم شده گویاست، نه سابقه.
چرخهٔ پاسخگویی
How commitments on AI oversight and accountability are held to account, from commitment to correction.
- تعهددولتتعهدی دارای مأموریت و مبنای قانونی.
- برنامهنهاد راهبربرنامهای ملی با مسئولان و نقاط عطف.
- منبعوزارت داراییسطر بودجه یا تأمین مالی ثبتشده.
- اجرانهادها و حکومت محلیاجرا در برابر برنامه.
- گزارشادارهٔ آمارنشانگرهای گزارششده با تعریفهای توافقشده.
- بازبینیقوهٔ مقننه، حسابرسی، جامعهٔ مدنیبازبینی مستقل نتایج و شکافها.
- اصلاحدولتتغییرات طرح، همراه با دلایل منتشر میشود.
What institutions ask about oversight.
- چه کسی در نهاد مالک تصمیم به بهکارگیری این سامانه است و در صورت وارد شدن آسیب، چه کسی پاسخگوست؟
- آیا این سامانه برای این کاربرد و جمعیت مشخص، توسط فردی مستقل از توسعهدهندگانش اعتبارسنجی شده است؟
- Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
- How will performance be monitored once the system is in use, and what triggers suspension?
Why accountability erodes.
Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.
Rubber-stamp review
People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.
دستهای بسیار
Developers, vendors, integrators and users each own part of the system and none owns the outcome.
عملکرد در حال تغییر
Models degrade as the world changes, and without monitoring the degradation goes unnoticed.
Instruments of oversight.
- 01
Impact assessments
Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.
- 02
اعتبارسنجی مستقل
Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.
- 03
بازبینی معنادار انسانی
Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.
- 04
ردپای ممیزی و پایش
Logs of inputs, outputs and decisions, with performance tracked over time. Limits: only useful if someone reviews them.
چگونه مطالعه میشود و آنچه روشها نمیتوانند بگویند.
- 01مهندسی ارزیابی و اطمینانبخشی هوش مصنوعیدامنهٔ حسابرسی شخص ثالث · آزمون انصاف در سامانههای عمومی · پایش پس از بهکارگیریکاربرد در اینجا
- 02علم سیاستگذاری، نهادها و تصمیممقایسهٔ نظامهای هوش مصنوعی · نقشهبرداری پاسخگویی در زنجیرهٔ ارزش · نقشهبرداری مجامع و مأموریتهاکاربرد در اینجا
- 03هوش مصنوعی و یادگیری ماشینمدلها در بهکارگیری چگونه شکست میخورند · خواندن مستندات مدل · توضیح معماریهای عاملکاربرد در اینجا
پرسش و پاسخ.
What is the difference between an AI provider and a deployer?
Why does logging matter for AI oversight?
Does ISO/IEC 42001 certify that an AI system is safe?
Is having a human in the loop enough?
Who should validate an AI system?
Does the platform audit AI systems?
What should trigger suspending a system?
از همین صفحه شواهد بیفزایید.
Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع میدانید میتواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.
- EmailGateway GW-GRFSend it from this pageEvidence, a correction, a case, a method, a review, a translation or profile input. It arrives tagged with this page, so the editor who owns it receives it.
- Zenodoسپردهٔ بازآن را سپرده و به جامعه ارسال کنیدسابقهٔ خود را با شناسهٔ ORCID iD خود در Zenodo منتشر کنید و سپس آن را در همانجا به جامعهٔ Reports ارسال کنید. متصدیان آن را داوری میکنند؛ DOI از آنِ شما میماند.
- گزارشهاGlobal Risks Forumهمهٔ راههای مشارکت را ببینیدانواع مشارکت، نحوهٔ بررسی هر یک، اعتباری که دریافت میکنید، مجوز و آنچه هرگز پذیرفته نمیشود.
هرگز دادههای شخصی، جزئیات حساس زیرساختی یا چیزی را که حق تسهیم آن را ندارید نفرستید. مشارکت پیش از استفاده بازبینی میشود؛ ارسال آن هیچ حق تألیف یا ویراستاری ایجاد نمیکند و حمایت مالی هرگز یافتهای را نمیخرد.
پرسش حکمرانی خود را نزد Forum بیاورید.
اطلاعات و پرسشها از امروز باز است. هر پرسش شمارهٔ مرجعی میگیرد و گام بعد را نام میبرد؛ درخواستها، پرداختها، تخصیص توان رایانشی و ثبتنامها تنها زمانی باز میشوند که تیم، شرایط و ظرفیت بررسی آنها فراهم باشد.
اسناد حقوقی.
نمایش هر 18 سند حقوقی
نقشهها، دادهها و شکلهای این سایت برای زمینه و اطلاعات عمومی نشان داده میشوند. آنها توصیه، پیشبینی یا هشدار نیستند؛ حدود اطلاعات در سلب مسئولیتها و اطلاعیههای داده بیان شده است.