Skip to content

GRF · هوش مصنوعی و حکمرانی دیجیتال

نظارت و پاسخگویی هوش مصنوعی

وقتی یک سامانهٔ هوش مصنوعی آسیب می‌زند، باید کسی بتواند دریابد چه رخ داده و پاسخگو باشد. نظارت بر مستندسازی، ثبت رویداد، ممیزی، گزارش‌دهی حوادث و مراجعی تکیه دارد که اختیارات و مهارت لازم برای به‌کارگیری آن‌ها را دارند. پاسخگویی میان توسعه‌دهندگان، بهره‌برداران، هیئت‌مدیره‌ها و تنظیم‌گران پخش می‌شود و ممکن است میان آن‌ها از میان برود. این صفحه توضیح می‌دهد نظارت بر هوش مصنوعی چگونه برقرار می‌ماند یا شکست می‌خورد، چه سوابقی آن را نشان می‌دهد و هر تصمیم بر عهدهٔ کیست.

02پرسش

AI oversight and accountability: how the risk develops.

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

سازوکار

Responsibility diffuses along the chain

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

سازوکار

Records decide what can be reviewed

Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.

سازوکار

Authorities lack capacity

Market surveillance, data protection and sector regulators need technical staff, access to systems and powers to test them. Thin capacity turns rules into self-assessment.

سازوکار

Incidents go unreported

Failures surface through complaints, journalism and litigation rather than reporting. Mandatory incident reporting and shared incident databases let patterns be seen across deployments.

03پایش

فهرست عمومی الگوریتم‌ها.

صفحه‌ای که یک تیم برای پیگیری این موضوع به کار می‌برد: سنجه‌ها، وضعیت‌ها و تصمیم‌های آن. نام‌ها نمونه‌اند و مقادیر نمایشی.

فهرست عمومی الگوریتم‌ها

AI oversight and accountability · Algorithm register · Quarter 2

دو سامانهٔ پرریسک بدون ارزیابیGRF · هوش مصنوعی و حکمرانی دیجیتال

سامانه‌های ثبت‌شده

نشانه‌گذاری تقلب در مزایاکنشگری اجتماعیزیادناموجودجزئی
اولویت‌بندی مجوزهابرنامه‌ریزیمحدودانجام شدبله
جایابی مدرسهآموزشزیادانجام شدبله
دستیار گفت‌وگواداره مالیاتحداقلیانجام شدناموجود

اقدام نظارتی

سامانه
نشانه‌گذاری تقلب در مزایا
الزامی
ارزیابی اثر، مسیر تجدیدنظر
مهلت
73 days
مرجع
نهاد نظارت

شکایت دربارهٔ تصمیم‌های خودکار

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04نشانگرها

چه چیزی اندازه‌گیری می‌شود و با چه کیفیتی.

هر نشانگر واحد، بسامد به‌روزرسانی، نوع منبع پشت آن و برچسب شواهدی را که یک مقدار می‌داشت، همراه دارد. هیچ مقداری نشان داده نمی‌شود: یک برنامه آن‌ها را تحت اختیار خود فراهم می‌کند.

نشانگرواحدتناوبنوع منبعبرچسب
مرجع تعیین‌شدهٔ نظارت بر هوش مصنوعی یا نظارت بر بازارyes or no, with legal basisهنگام تغییرNational legislation and notificationsآمارهای منتشرشده
Technical staff in AI-relevant authoritiesمعادل تمام‌وقتسالانهگزارش‌های سالانهٔ مراجعگزارش‌شده
Serious incidents reported under AI rulescount by sectorسالانهسوابق عمومیآمارهای منتشرشده
Publicly recorded AI incidentsشمار به تفکیک نوع آسیبماهانهپایگاه‌های داده رخدادهاگزارش‌شده
Enforcement actions concerning AI systemscount by authority and typeسالانهثبت‌های اجرای قانون نهادهای تنظیم‌گرآمارهای منتشرشده
ISO/IEC 42001 certificates issuedشمارشسالانهCertification body recordsگزارش‌شده
05سناریوهای سیاستی

مقایسهٔ ابزارها: قواعد، انگیزه‌ها و اطلاعات.

سه خانوادهٔ ابزار در کنار هم در برابر خط پایه، هر یک با تأخیر و سرعت پذیرش خود، تحت پوشش و انطباقی که تعیین می‌کنید؛ اندازهٔ اثرها مقادیر آموزشی‌اند که باید با شواهد جایگزین شوند. سناریو: مفروضات نام‌برده دربارهٔ آینده، نه پیش‌بینی.

کنترل‌ها

روند خط پایهٔ پیامد
2.0% در سال
پوشش ابزار
70%
انطباق
75%
اندازهٔ اثر، در برابر مقدار آموزشی
100%
سال‌های پیش رو
20 سال

خروجی‌ها

بیشترین کاهش در افق
مقررات‌گذاری
کاهش آن نسبت به خط پایه
21%
اعداد، روش‌ها و منابع
سالخط پایهمقررات‌گذاریانگیزهٔ اقتصادیاطلاعات و ظرفیت
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

روش‌ها

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

داده

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
مقایسهٔ ابزارها: قواعد، انگیزه‌ها و اطلاعات. مدل آموزشی گویا: با مقادیر تنظیم‌شده توسط کنترل‌ها اجرا می‌شود، نه با داده‌های اندازه‌گیری‌شده. روش‌ها: ابزارهای حکومت (Hood (1983), The Tools of Government, Macmillan)؛ هویج، چماق و موعظه (Bemelmans-Videc, Rist and Vedung (1998), Transaction)؛ انتشار نوآوری‌ها (Rogers (2003), Diffusion of Innovations, Free Press).
06منابع

شواهد از کجا می‌آیند.

مجموعه‌داده‌های عمومی و سوابق نهادی نام‌برده، هر یک با ردهٔ پروانهٔ خود. منابع مبتنی بر توافق تنها بر پایهٔ شرایطشان به کار می‌روند و هرگز بازنشر نمی‌شوند.

منبعآنچه فراهم می‌کندرستهٔ پروانه
OECD.AI Policy ObservatoryNational AI policies, governance bodies and the AI Incidents Monitorرایگان، شرایط OECD
AI Incident DatabaseCrowd-sourced records of harms involving AI systemsباز، پروانه در انتظار بررسی
European Data Protection Board and national authority decisionsDecisions on automated processing and AI-related complaintsPublic, EU and national reuse terms
Stanford AI Index Reportداده‌های توسعه، سیاست‌گذاری و رخدادهای هوش مصنوعیFree to read, licence to check
Regulator annual reportsStaffing, priorities and enforcement of authorities supervising AIسوابق عمومی، شرایط به تفکیک مرجع
07اجرا

از مأموریت تا ارزیابی، به تفکیک رکن.

گام‌هایی که یک ابزار از مأموریت تا ارزیابی طی می‌کند، هر یک با رکنی که آن را اجرا می‌کند، و تصمیم‌هایی که با مرجع باقی می‌مانند. مدل آموزشی با مقادیر گویای اعلام‌شده، نه پیش‌بینی.

  1. Mandate and problem framing Competent authority (outside the programme)
    A competent authority frames the problem and the mandate under its own rules. Howlett, Ramesh and Perl (2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. Exercise with stakeholders Universe
    The options are tested in an exercise with those who would implement and bear them. OECD (2014), principle 3
  5. استاندارد یا رهنمود تدوین شد ⁨Nexus Standards⁩
    آنچه کارآمد است به‌صورت استاندارد یا رهنمود مدوّن می‌شود و برای نظرخواهی باز است. فرایند Nexus Standards
  6. Decision by the authority Competent authority (outside the programme)
    The authority decides, outside the programme, with the evidence on record. Howlett, Ramesh and Perl (2009)
  7. Capacity and training Risk Academy
    Those who implement are trained on the decided instrument and its data. Sendai Framework (2015), priority 2
  8. Monitoring and public report Reports
    Indicators are published with sources, limits and corrections. OECD (2014), principle 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

روش‌ها

  1. Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
  2. Governance of critical risks OECD (2014), Recommendation of the Council on the Governance of Critical Risks
  3. Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
از مأموریت تا ارزیابی، به تفکیک رکن: گام‌ها همان‌گونه که ثبت شده‌اند، هر یک با رکن خود؛ منابع همان‌گونه که در هر گام ذکر شده‌اند.
08تصمیم‌ها

چه کسی تصمیم می‌گیرد و شواهد در خدمت چیست.

هوش مصنوعی و حکمرانی دیجیتال شواهد را آماده می‌کند. تصمیم‌های زیر را مراجع نام‌برده بر پایهٔ قواعد خود می‌گیرند، و هرگز سکو.

چه کسی تصمیم می‌گیردپرسششواهدی که این صفحه به آن‌ها خدمت می‌کند
مجالس قانون‌گذاریWhich obligations attach to developers, deployers and providers of general-purpose modelsComparative regimes and evidence from incidents
Market surveillance and sector regulatorsWhich systems to inspect and what powers to useIncident records, risk categories and enforcement practice
Boards of deploying organisationsچه کسی مالک ریسک هوش مصنوعی است و چه اطمینان‌بخشی‌ای را می‌طلبدGovernance practice and management system standards
دادگاه‌هاWho is responsible for harm caused with an AI systemRecords and expert evidence presented by parties; the page serves context only

خروجی‌هایی که این موضوع تولید می‌کند

  • Maps of accountability across the AI value chain for a given use
  • Comparative notes on AI supervisory authorities and their powers
  • Guide to AI incident reporting regimes and databases
  • Questions for boards and regulators on AI oversight
09ابزارها و تعهدها

How AI oversight and accountability is governed: instruments, mandates and commitments.

ابزارها، مأموریت‌ها، کنشگران و ترتیبات پاسخگویی‌ای که یک سیاست‌گذار، دیپلمات یا نهاد توسعه با آن‌ها کار می‌کند، با ذکر توافق‌هایی که آن‌ها را تعیین کرده‌اند. ساختارها از چارچوب‌های نام‌برده پیروی می‌کنند. هر وضعیت یا پیشرفتی که ترسیم شده گویاست، نه سابقه.

چرخهٔ پاسخگویی

How commitments on AI oversight and accountability are held to account, from commitment to correction.

  1. تعهددولتتعهدی دارای مأموریت و مبنای قانونی.
  2. برنامهنهاد راهبربرنامه‌ای ملی با مسئولان و نقاط عطف.
  3. منبعوزارت داراییسطر بودجه یا تأمین مالی ثبت‌شده.
  4. اجرانهادها و حکومت محلیاجرا در برابر برنامه.
  5. گزارشادارهٔ آمارنشانگرهای گزارش‌شده با تعریف‌های توافق‌شده.
  6. بازبینیقوهٔ مقننه، حسابرسی، جامعهٔ مدنیبازبینی مستقل نتایج و شکاف‌ها.
  7. اصلاحدولتتغییرات طرح، همراه با دلایل منتشر می‌شود.
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
Sendai Framework for Disaster Risk Reduction · UNDRRParis Agreement · UNFCCC2030 Agenda and the Sustainable Development Goals · United NationsInternational Health Regulations · WHO
10پرسش‌های اصلی

What institutions ask about oversight.

  • چه کسی در نهاد مالک تصمیم به به‌کارگیری این سامانه است و در صورت وارد شدن آسیب، چه کسی پاسخگوست؟
  • آیا این سامانه برای این کاربرد و جمعیت مشخص، توسط فردی مستقل از توسعه‌دهندگانش اعتبارسنجی شده است؟
  • Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
  • How will performance be monitored once the system is in use, and what triggers suspension?
11سازوکارها

Why accountability erodes.

Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.

Automation bias

Rubber-stamp review

People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.

Diffusion

دست‌های بسیار

Developers, vendors, integrators and users each own part of the system and none owns the outcome.

رانش

عملکرد در حال تغییر

Models degrade as the world changes, and without monitoring the degradation goes unnoticed.

12روش‌ها و محدودیت‌ها

Instruments of oversight.

  1. 01

    Impact assessments

    Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.

  2. 02

    اعتبارسنجی مستقل

    Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.

  3. 03

    بازبینی معنادار انسانی

    Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.

  4. 04

    ردپای ممیزی و پایش

    Logs of inputs, outputs and decisions, with performance tracked over time. Limits: only useful if someone reviews them.

13روش‌ها

چگونه مطالعه می‌شود و آنچه روش‌ها نمی‌توانند بگویند.

14پرسش‌ها

پرسش و پاسخ.

What is the difference between an AI provider and a deployer?
In the EU AI Act, a provider develops an AI system or model and places it on the market; a deployer uses it under its authority. Each carries different obligations.
Why does logging matter for AI oversight?
گزارش‌های ثبت‌شده و مستندات به حسابرسان، تنظیم‌گران و دادگاه‌ها امکان می‌دهند رفتار یک سامانه را بازسازی کنند. بدون آن‌ها، پاسخ‌گویی به آنچه بهره‌بردار برای افشا برمی‌گزیند وابسته است.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Is having a human in the loop enough?
Not by itself. Review is meaningful only if the reviewer has the authority, time, information and competence to disagree with the system and does so when warranted.
Who should validate an AI system?
Someone independent of those who developed or sold it, with access to relevant data and the expertise to test it for the intended use.
Does the platform audit AI systems?
No. It compares governance practices and does not test or certify any system.
What should trigger suspending a system?
Institutions set their own triggers, typically including evidence of error rates above an agreed level, unexplained shifts in outputs or credible complaints of harm.
گزارش‌هامشارکت

از همین صفحه شواهد بیفزایید.

Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع می‌دانید می‌تواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.

⁨Global Risks Forum⁩هوش مصنوعی و حکمرانی دیجیتالفناوری نماییگزارش مختصر شواهد
هوش مصنوعی و حکمرانی دیجیتال

پرسش حکمرانی خود را نزد Forum بیاورید.

اطلاعات و پرسش‌ها از امروز باز است. هر پرسش شمارهٔ مرجعی می‌گیرد و گام بعد را نام می‌برد؛ درخواست‌ها، پرداخت‌ها، تخصیص توان رایانشی و ثبت‌نام‌ها تنها زمانی باز می‌شوند که تیم، شرایط و ظرفیت بررسی آن‌ها فراهم باشد.