Skip to content

GRF · حوكمة الذكاء الاصطناعي والمجال الرقمي

الرقابة على الذكاء الاصطناعي والمساءلة

When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.

02السؤال

AI oversight and accountability: how the risk develops.

Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

الآلية

Responsibility diffuses along the chain

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

الآلية

Records decide what can be reviewed

Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.

الآلية

Authorities lack capacity

تحتاج جهات الرقابة على الأسواق وحماية البيانات والجهات التنظيمية القطاعية إلى كوادر تقنية وإلى النفاذ إلى الأنظمة وإلى صلاحيات اختبارها. وضعف القدرات يحوّل القواعد إلى تقييم ذاتي.

الآلية

Incidents go unreported

Failures surface through complaints, journalism and litigation rather than reporting. Mandatory incident reporting and shared incident databases let patterns be seen across deployments.

03الرصد

سجل الخوارزميات العام.

الشاشة التي قد يستخدمها فريق لمتابعة هذا الموضوع: مقاييسه وحالاته وقراراته. والأسماء أمثلة والقيم توضيحية.

سجل الخوارزميات العام

الرقابة على الذكاء الاصطناعي والمساءلة · سجل الخوارزميات · الربع 2

نظامان عاليا المخاطر من دون تقييم⁨GRF⁩ · حوكمة الذكاء الاصطناعي والمجال الرقمي

النظم المسجّلة

الإبلاغ عن الاحتيال في الاستحقاقاتالفاعلية الاجتماعيةمرتفعمفقودجزئي
فرز التصاريحالتخطيطمحدودتمنعم
إلحاق التلاميذ بالمدارسالتعليممرتفعتمنعم
المساعد الحواريمصلحة الضرائبضئيلتمn/a

إجراء رقابي

النظام
الإبلاغ عن الاحتيال في الاستحقاقات
مطلوب
تقييم الأثر، مسار الطعن
الموعد النهائي
73 days
الجهة
هيئة الرقابة

الشكاوى المتعلقة بالقرارات الآلية

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04المؤشرات الفرعية

ما الذي يُقاس، ومدى جودة قياسه.

يحمل كل مؤشر وحدته ووتيرته ونوع المصدر الذي يستند إليه ووسم الأدلة الذي ستحمله القيمة. ولا تُعرض أي قيم: فالبرنامج يقدّمها بموجب سلطته الخاصة.

المؤشرالوحدةوتيرة الإصدارنوع المصدرالوسم
Designated AI supervisory or market surveillance authorityyes or no, with legal basisعند التغييرNational legislation and notificationsالإحصاءات المنشورة
Technical staff in AI-relevant authoritiesfull-time equivalentsسنويالتقارير السنوية للسلطاتمُبلَّغ عنه
Serious incidents reported under AI rulesالعدد حسب القطاعسنويالسجلات العامةالإحصاءات المنشورة
Publicly recorded AI incidentsالعدد حسب نوع الضررشهريقواعد بيانات الحوادثمُبلَّغ عنه
Enforcement actions concerning AI systemscount by authority and typeسنويسجلات الإنفاذ لدى الجهات التنظيميةالإحصاءات المنشورة
ISO/IEC 42001 certificates issuedالعددسنويCertification body recordsمُبلَّغ عنه
05سيناريوهات السياسات

مقارنة الأدوات: القواعد والحوافز والمعلومات.

ثلاث فئات من الأدوات جنبًا إلى جنب في مقابل خط الأساس، ولكل منها فارقه الزمني وسرعة اعتمادها، في ظل التغطية والامتثال اللذين تحددهما؛ وأحجام الأثر قيم تعليمية يُستعاض عنها بالأدلة. السيناريو: افتراضات مسمّاة بشأن المستقبل، وليس تنبؤًا.

الضوابط

الاتجاه الأساسي للنتيجة
2.0% سنويًا
تغطية الأداة
70%
الامتثال
75%
حجم الأثر قياسًا إلى القيمة التعليمية
100%
السنوات القادمة
20 سنة

القراءات

أكبر انخفاض عند الأفق الزمني
التنظيم
انخفاضه قياسًا إلى خط الأساس
21%
الأرقام والأساليب والمصادر
السنةخط الأساسالتنظيمحافز اقتصاديالمعلومات والقدرات
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

المناهج

  1. أدوات الحكم Hood (1983)، The Tools of Government، Macmillan
  2. Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
  3. انتشار الابتكارات Rogers (2003)، Diffusion of Innovations، Free Press
  4. مروحة عدم اليقين (مونت كارلو للمعاملات) Spiegelhalter وPearson وShort (2011)، Visualising uncertainty about the future، Science 333
  5. تحليل الحساسية لعامل واحد في كل مرة (مخطط الإعصار) ⁨Saltelli and others⁩ (2008)، ⁨Global Sensitivity Analysis⁩: ⁨The Primer⁩، ⁨Wiley⁩

البيانات

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • الحدود ⁨Natural Earth⁩
  • المدن ⁨Natural Earth⁩
مقارنة الأدوات: القواعد والحوافز والمعلومات. نموذج تعليمي توضيحي: يعمل بالقيم التي تحددها أدوات التحكم، لا ببيانات مقيسة. المنهجيات: Tools of government (Hood (1983)، The Tools of Government، Macmillan)؛ Carrots, sticks and sermons (Bemelmans-Videc وRist وVedung (1998)، Transaction)؛ Diffusion of innovations (Rogers (2003)، Diffusion of Innovations، Free Press).
06المصادر

من أين تأتي الأدلة.

مجموعات بيانات عامة مسمّاة وسجلات مؤسسية، لكلٍّ منها فئة ترخيصها. ولا تُستخدم المصادر المتاحة بموجب اتفاق إلا وفق شروطها، ولا يُعاد نشرها أبدًا.

المصدرما يقدّمهفئة الترخيص
مرصد سياسات الذكاء الاصطناعي OECD.AINational AI policies, governance bodies and the AI Incidents Monitorمجاني، بشروط OECD
قاعدة بيانات حوادث الذكاء الاصطناعي (AI Incident Database)Crowd-sourced records of harms involving AI systemsمفتوح، الترخيص قيد التحقق
European Data Protection Board and national authority decisionsDecisions on automated processing and AI-related complaintsPublic, EU and national reuse terms
Stanford AI Index ReportData on AI development, policy and incidentsFree to read, licence to check
Regulator annual reportsStaffing, priorities and enforcement of authorities supervising AIالسجلات العامة، وفق شروط كل سلطة
07التنفيذ

من التكليف إلى التقييم، حسب الركيزة.

الخطوات التي تمرّ بها أداة ما من التكليف إلى التقييم، مع الركيزة التي تتولاها، والقرارات التي تبقى بيد السلطة. نموذج تعليمي بقيم توضيحية معلنة، وليس تنبؤًا.

  1. التكليف وتأطير المشكلة السلطة المختصة (خارج البرنامج)
    تؤطّر سلطة مختصة المشكلة والتكليف وفق قواعدها الخاصة. ⁨Howlett⁩ و⁨Ramesh⁩ و⁨Perl⁩ (2009)
  2. الأدلة ونموذج النظام ⁨Foundry⁩
    يُنمذَج النظام بتغذياته الراجعة وبياناته وحدوده المعلنة. ⁨OECD⁩ (2014)، المبدأ 2
  3. تقييم الخيارات بالسيناريوهات ⁨Foundry⁩
    تُقارَن الأدوات في ظل سيناريوهات، مع إظهار عدم اليقين. ⁨Hood⁩ (1983)
  4. تمرين مع أصحاب المصلحة ⁨Universe⁩
    تُختبر الخيارات في تمرين مع من سينفّذها ويتحمل تبعاتها. OECD (2014)، المبدأ 3
  5. صياغة معيار أو إرشادات ⁨Nexus Standards⁩
    يُدوَّن ما ينجح في صورة معيار أو إرشادات، مفتوحة للتعليق. عملية ⁨Nexus Standards⁩
  6. قرار السلطة السلطة المختصة (خارج البرنامج)
    تقرر السلطة خارج البرنامج بالاستناد إلى الأدلة المسجّلة. ⁨Howlett⁩ و⁨Ramesh⁩ و⁨Perl⁩ (2009)
  7. القدرات والتدريب ⁨Risk Academy⁩
    يُدرَّب المنفّذون على الأداة المقررة وبياناتها. إطار سنداي للحد من مخاطر الكوارث للفترة 2015-2030 (2015)، الأولوية 2
  8. الرصد والتقرير العام ⁨Reports⁩
    تُنشر المؤشرات مع مصادرها وحدودها وتصحيحاتها. OECD (2014)، المبدأ 5
  9. التقييم والمراجعة ⁨Nexus Standards⁩
    تعود النتائج إلى المعيار والنموذج: فتكتمل الدورة. ⁨Howlett⁩ و⁨Ramesh⁩ و⁨Perl⁩ (2009)

المناهج

  1. دورة السياسات Howlett وRamesh وPerl (2009)، Studying Public Policy، Oxford University Press
  2. حوكمة المخاطر الحرجة OECD (2014)، توصية المجلس بشأن حوكمة المخاطر الحرجة
  3. Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
من التكليف إلى التقييم، حسب الركيزة: الخطوات كما سُجّلت، لكل منها ركيزتها؛ والمصادر كما وردت عند كل خطوة.
08القرارات

من يقرر، وما الذي تخدمه الأدلة.

تُعِدّ حوكمة الذكاء الاصطناعي والمجال الرقمي الأدلة. أما القرارات أدناه فتتخذها السلطات المسمّاة، وفق قواعدها الخاصة، ولا تتخذها المنصة أبدًا.

من يقررالسؤالالأدلة التي تخدمها هذه الصفحة
الهيئات التشريعيةWhich obligations attach to developers, deployers and providers of general-purpose modelsComparative regimes and evidence from incidents
Market surveillance and sector regulatorsWhich systems to inspect and what powers to useIncident records, risk categories and enforcement practice
Boards of deploying organisationsWho owns AI risk and what assurance they requireGovernance practice and management system standards
المحاكمWho is responsible for harm caused with an AI systemRecords and expert evidence presented by parties; the page serves context only

المخرجات التي يُنتجها هذا الموضوع

  • Maps of accountability across the AI value chain for a given use
  • Comparative notes on AI supervisory authorities and their powers
  • Guide to AI incident reporting regimes and databases
  • Questions for boards and regulators on AI oversight
09الأدوات والالتزامات

How AI oversight and accountability is governed: instruments, mandates and commitments.

الأدوات والتكليفات والجهات الفاعلة وترتيبات المساءلة التي يعمل بها صانعو السياسات والدبلوماسيون ووكالات التنمية، مع الإشارة إلى الاتفاقات التي تقررها. وتتبع البنى الأطر المذكورة. وأي حالة أو تقدّم معروض فهو توضيحي وليس سجلًا.

دورة المساءلة

How commitments on AI oversight and accountability are held to account, from commitment to correction.

  1. الالتزامالحكومةالتزام له ولاية وأساس قانوني.
  2. الخطةالجهة الرائدةخطة وطنية لها أصحاب مسؤولون ومعالم زمنية.
  3. الموردوزارة الماليةبند في الميزانية أو تمويل مسجَّل.
  4. التنفيذالوكالات والحكومات المحليةالإنجاز مقارنةً بالخطة.
  5. تقريرمكتب الإحصاءمؤشرات يُبلَّغ عنها وفق تعريفات متفق عليها.
  6. المراجعةالسلطة التشريعية، والتدقيق، والمجتمع المدنيمراجعة مستقلة للنتائج والفجوات.
  7. التصحيحالحكومةالتغييرات على الخطة، منشورة مع أسبابها.
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
إطار سنداي للحد من مخاطر الكوارث للفترة 2015-2030 · ⁨UNDRR⁩اتفاق باريس · ⁨UNFCCC⁩خطة التنمية المستدامة لعام 2030 وأهداف التنمية المستدامة · الأمم المتحدةاللوائح الصحية الدولية · ⁨WHO⁩
10الأسئلة الجوهرية

What institutions ask about oversight.

  • Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
  • Has the system been validated for this specific use and population, by someone independent of its developers?
  • Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
  • How will performance be monitored once the system is in use, and what triggers suspension?
11الآليات

Why accountability erodes.

Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.

Automation bias

Rubber-stamp review

People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.

Diffusion

Many hands

Developers, vendors, integrators and users each own part of the system and none owns the outcome.

الانجراف

Changing performance

Models degrade as the world changes, and without monitoring the degradation goes unnoticed.

12المناهج وحدودها

Instruments of oversight.

  1. 01

    Impact assessments

    Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.

  2. 02

    التحقق المستقل

    Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.

  3. 03

    Meaningful human review

    Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.

  4. 04

    Audit trails and monitoring

    Logs of inputs, outputs and decisions, with performance tracked over time. Limits: only useful if someone reviews them.

13المناهج

كيف يُدرس، وما لا تستطيع المناهج قوله.

14أسئلة

أسئلة وأجوبة.

What is the difference between an AI provider and a deployer?
In the EU AI Act, a provider develops an AI system or model and places it on the market; a deployer uses it under its authority. Each carries different obligations.
Why does logging matter for AI oversight?
Logs and documentation let auditors, regulators and courts reconstruct how a system behaved. Without them, accountability depends on what the operator chooses to disclose.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Is having a human in the loop enough?
Not by itself. Review is meaningful only if the reviewer has the authority, time, information and competence to disagree with the system and does so when warranted.
Who should validate an AI system?
Someone independent of those who developed or sold it, with access to relevant data and the expertise to test it for the intended use.
Does the platform audit AI systems?
No. It compares governance practices and does not test or certify any system.
What should trigger suspending a system?
Institutions set their own triggers, typically including evidence of error rates above an agreed level, unexplained shifts in outputs or credible complaints of harm.
⁨Reports⁩ساهم

ساهم بأدلة من هذه الصفحة.

Reports هي المطبوعة الفصلية للاتحاد. ويمكن لما تعرفه عن هذا الموضوع أن يصبح دليلًا أو حالة أو تصويبًا في الإصدار التالي، يُنسب إليك ويُنشر بموجب CC BY 4.0 حيثما كان من عملك الخاص.

⁨Global Risks Forum⁩حوكمة الذكاء الاصطناعي والمجال الرقميالتقنيات الأسيةموجز الأدلة
حوكمة الذكاء الاصطناعي والمجال الرقمي

اعرض مسألة حوكمة على المنتدى.

المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.