GRF · حوكمة الذكاء الاصطناعي والمجال الرقمي
الرقابة على الذكاء الاصطناعي والمساءلة
When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.
AI oversight and accountability in seven parts.
- 01السؤالالإشراف على الذكاء الاصطناعي والمساءلة: كيف تتطور المخاطر
- 02المؤشرات الفرعيةما الذي يُقاس، ومدى جودة قياسه
- 03المصادرمصدر الأدلة
- 04القراراتمن يقرر، وما الذي تخدمه الأدلة
- 05Core questionsWhat institutions ask about oversight
- 06MechanismsWhy accountability erodes
- 07Methods and limitsInstruments of oversight
AI oversight and accountability: how the risk develops.
Roles, validation and human review. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Responsibility diffuses along the chain
A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.
Records decide what can be reviewed
Without technical documentation, logs and change records, auditors and regulators cannot reconstruct how a system reached an output. Record-keeping duties make later oversight possible.
Authorities lack capacity
تحتاج جهات الرقابة على الأسواق وحماية البيانات والجهات التنظيمية القطاعية إلى كوادر تقنية وإلى النفاذ إلى الأنظمة وإلى صلاحيات اختبارها. وضعف القدرات يحوّل القواعد إلى تقييم ذاتي.
Incidents go unreported
Failures surface through complaints, journalism and litigation rather than reporting. Mandatory incident reporting and shared incident databases let patterns be seen across deployments.
سجل الخوارزميات العام.
الشاشة التي قد يستخدمها فريق لمتابعة هذا الموضوع: مقاييسه وحالاته وقراراته. والأسماء أمثلة والقيم توضيحية.
سجل الخوارزميات العام
الرقابة على الذكاء الاصطناعي والمساءلة · سجل الخوارزميات · الربع 2
النظم المسجّلة
| الإبلاغ عن الاحتيال في الاستحقاقات | الفاعلية الاجتماعية | مرتفع | مفقود | جزئي |
| فرز التصاريح | التخطيط | محدود | تم | نعم |
| إلحاق التلاميذ بالمدارس | التعليم | مرتفع | تم | نعم |
| المساعد الحواري | مصلحة الضرائب | ضئيل | تم | n/a |
إجراء رقابي
- النظام
- الإبلاغ عن الاحتيال في الاستحقاقات
- مطلوب
- تقييم الأثر، مسار الطعن
- الموعد النهائي
- 73 days
- الجهة
- هيئة الرقابة
الشكاوى المتعلقة بالقرارات الآلية
ما الذي يُقاس، ومدى جودة قياسه.
يحمل كل مؤشر وحدته ووتيرته ونوع المصدر الذي يستند إليه ووسم الأدلة الذي ستحمله القيمة. ولا تُعرض أي قيم: فالبرنامج يقدّمها بموجب سلطته الخاصة.
| المؤشر | الوحدة | وتيرة الإصدار | نوع المصدر | الوسم |
|---|---|---|---|---|
| Designated AI supervisory or market surveillance authority | yes or no, with legal basis | عند التغيير | National legislation and notifications | الإحصاءات المنشورة |
| Technical staff in AI-relevant authorities | full-time equivalents | سنوي | التقارير السنوية للسلطات | مُبلَّغ عنه |
| Serious incidents reported under AI rules | العدد حسب القطاع | سنوي | السجلات العامة | الإحصاءات المنشورة |
| Publicly recorded AI incidents | العدد حسب نوع الضرر | شهري | قواعد بيانات الحوادث | مُبلَّغ عنه |
| Enforcement actions concerning AI systems | count by authority and type | سنوي | سجلات الإنفاذ لدى الجهات التنظيمية | الإحصاءات المنشورة |
| ISO/IEC 42001 certificates issued | العدد | سنوي | Certification body records | مُبلَّغ عنه |
مقارنة الأدوات: القواعد والحوافز والمعلومات.
ثلاث فئات من الأدوات جنبًا إلى جنب في مقابل خط الأساس، ولكل منها فارقه الزمني وسرعة اعتمادها، في ظل التغطية والامتثال اللذين تحددهما؛ وأحجام الأثر قيم تعليمية يُستعاض عنها بالأدلة. السيناريو: افتراضات مسمّاة بشأن المستقبل، وليس تنبؤًا.
الضوابط
- الاتجاه الأساسي للنتيجة
- 2.0% سنويًا
- تغطية الأداة
- 70%
- الامتثال
- 75%
- حجم الأثر قياسًا إلى القيمة التعليمية
- 100%
- السنوات القادمة
- 20 سنة
القراءات
- أكبر انخفاض عند الأفق الزمني
- التنظيم
- انخفاضه قياسًا إلى خط الأساس
- 21%
الأرقام والأساليب والمصادر
| السنة | خط الأساس | التنظيم | حافز اقتصادي | المعلومات والقدرات |
|---|---|---|---|---|
| 0 | 100.0 | 99.5 | 98.8 | 99.1 |
| 1 | 102.0 | 101.2 | 100.1 | 99.8 |
| 2 | 104.0 | 102.5 | 101.1 | 99.9 |
| 3 | 106.1 | 103.5 | 101.6 | 100.0 |
| 4 | 108.2 | 103.7 | 101.8 | 100.7 |
| 5 | 110.4 | 103.2 | 101.7 | 102.1 |
| 6 | 112.6 | 102.0 | 101.6 | 103.9 |
| 7 | 114.9 | 100.4 | 101.6 | 105.9 |
| 8 | 117.2 | 99.2 | 102.1 | 108.0 |
| 9 | 119.5 | 98.6 | 102.9 | 110.1 |
| 10 | 121.9 | 98.9 | 104.2 | 112.3 |
| 11 | 124.3 | 99.7 | 105.7 | 114.5 |
| 12 | 126.8 | 101.1 | 107.4 | 116.8 |
| 13 | 129.4 | 102.7 | 109.4 | 119.2 |
| 14 | 131.9 | 104.5 | 111.4 | 121.6 |
| 15 | 134.6 | 106.5 | 113.5 | 124.0 |
| 16 | 137.3 | 108.5 | 115.7 | 126.5 |
| 17 | 140.0 | 110.7 | 118.0 | 129.0 |
| 18 | 142.8 | 112.9 | 120.4 | 131.6 |
| 19 | 145.7 | 115.1 | 122.8 | 134.2 |
| 20 | 148.6 | 117.4 | 125.2 | 136.9 |
المناهج
- أدوات الحكم Hood (1983)، The Tools of Government، Macmillan
- Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
- انتشار الابتكارات Rogers (2003)، Diffusion of Innovations، Free Press
- مروحة عدم اليقين (مونت كارلو للمعاملات) Spiegelhalter وPearson وShort (2011)، Visualising uncertainty about the future، Science 333
- تحليل الحساسية لعامل واحد في كل مرة (مخطط الإعصار) Saltelli and others (2008)، Global Sensitivity Analysis: The Primer، Wiley
البيانات
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- الحدود Natural Earth
- المدن Natural Earth
عبر الركائز الست، بقيادة Nexus Consortium
- التجارب Labs
- مُضمَّن في حوكمة الذكاء الاصطناعي والمجال الرقمي في Foundry
- جرى الاختبار عند حوكمة الذكاء الاصطناعي والمجال الرقمي في Universe
- مدوَّن في المجال الرقمي والسيبراني والذكاء الاصطناعي في Standards
- نُشر في حوكمة الذكاء الاصطناعي والمجال الرقمي في Reports
- يُدرَّس في كلية التقنية والنظم الرقمية في Academy
من أين تأتي الأدلة.
مجموعات بيانات عامة مسمّاة وسجلات مؤسسية، لكلٍّ منها فئة ترخيصها. ولا تُستخدم المصادر المتاحة بموجب اتفاق إلا وفق شروطها، ولا يُعاد نشرها أبدًا.
| المصدر | ما يقدّمه | فئة الترخيص |
|---|---|---|
| مرصد سياسات الذكاء الاصطناعي OECD.AI | National AI policies, governance bodies and the AI Incidents Monitor | مجاني، بشروط OECD |
| قاعدة بيانات حوادث الذكاء الاصطناعي (AI Incident Database) | Crowd-sourced records of harms involving AI systems | مفتوح، الترخيص قيد التحقق |
| European Data Protection Board and national authority decisions | Decisions on automated processing and AI-related complaints | Public, EU and national reuse terms |
| Stanford AI Index Report | Data on AI development, policy and incidents | Free to read, licence to check |
| Regulator annual reports | Staffing, priorities and enforcement of authorities supervising AI | السجلات العامة، وفق شروط كل سلطة |
من التكليف إلى التقييم، حسب الركيزة.
الخطوات التي تمرّ بها أداة ما من التكليف إلى التقييم، مع الركيزة التي تتولاها، والقرارات التي تبقى بيد السلطة. نموذج تعليمي بقيم توضيحية معلنة، وليس تنبؤًا.
- التكليف وتأطير المشكلة السلطة المختصة (خارج البرنامج)
تؤطّر سلطة مختصة المشكلة والتكليف وفق قواعدها الخاصة. Howlett وRamesh وPerl (2009) - الأدلة ونموذج النظام Foundry
يُنمذَج النظام بتغذياته الراجعة وبياناته وحدوده المعلنة. OECD (2014)، المبدأ 2 - تقييم الخيارات بالسيناريوهات Foundry
تُقارَن الأدوات في ظل سيناريوهات، مع إظهار عدم اليقين. Hood (1983) - تمرين مع أصحاب المصلحة Universe
تُختبر الخيارات في تمرين مع من سينفّذها ويتحمل تبعاتها. OECD (2014)، المبدأ 3 - صياغة معيار أو إرشادات Nexus Standards
يُدوَّن ما ينجح في صورة معيار أو إرشادات، مفتوحة للتعليق. عملية Nexus Standards - قرار السلطة السلطة المختصة (خارج البرنامج)
تقرر السلطة خارج البرنامج بالاستناد إلى الأدلة المسجّلة. Howlett وRamesh وPerl (2009) - القدرات والتدريب Risk Academy
يُدرَّب المنفّذون على الأداة المقررة وبياناتها. إطار سنداي للحد من مخاطر الكوارث للفترة 2015-2030 (2015)، الأولوية 2 - الرصد والتقرير العام Reports
تُنشر المؤشرات مع مصادرها وحدودها وتصحيحاتها. OECD (2014)، المبدأ 5 - التقييم والمراجعة Nexus Standards
تعود النتائج إلى المعيار والنموذج: فتكتمل الدورة. Howlett وRamesh وPerl (2009)
المناهج
- دورة السياسات Howlett وRamesh وPerl (2009)، Studying Public Policy، Oxford University Press
- حوكمة المخاطر الحرجة OECD (2014)، توصية المجلس بشأن حوكمة المخاطر الحرجة
- Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
عبر الركائز الست، بقيادة Nexus Consortium
- التجارب Labs
- مُضمَّن في حوكمة الذكاء الاصطناعي والمجال الرقمي في Foundry
- جرى الاختبار عند حوكمة الذكاء الاصطناعي والمجال الرقمي في Universe
- مدوَّن في المجال الرقمي والسيبراني والذكاء الاصطناعي في Standards
- نُشر في حوكمة الذكاء الاصطناعي والمجال الرقمي في Reports
- يُدرَّس في كلية التقنية والنظم الرقمية في Academy
من يقرر، وما الذي تخدمه الأدلة.
تُعِدّ حوكمة الذكاء الاصطناعي والمجال الرقمي الأدلة. أما القرارات أدناه فتتخذها السلطات المسمّاة، وفق قواعدها الخاصة، ولا تتخذها المنصة أبدًا.
| من يقرر | السؤال | الأدلة التي تخدمها هذه الصفحة |
|---|---|---|
| الهيئات التشريعية | Which obligations attach to developers, deployers and providers of general-purpose models | Comparative regimes and evidence from incidents |
| Market surveillance and sector regulators | Which systems to inspect and what powers to use | Incident records, risk categories and enforcement practice |
| Boards of deploying organisations | Who owns AI risk and what assurance they require | Governance practice and management system standards |
| المحاكم | Who is responsible for harm caused with an AI system | Records and expert evidence presented by parties; the page serves context only |
المخرجات التي يُنتجها هذا الموضوع
- Maps of accountability across the AI value chain for a given use
- Comparative notes on AI supervisory authorities and their powers
- Guide to AI incident reporting regimes and databases
- Questions for boards and regulators on AI oversight
How AI oversight and accountability is governed: instruments, mandates and commitments.
الأدوات والتكليفات والجهات الفاعلة وترتيبات المساءلة التي يعمل بها صانعو السياسات والدبلوماسيون ووكالات التنمية، مع الإشارة إلى الاتفاقات التي تقررها. وتتبع البنى الأطر المذكورة. وأي حالة أو تقدّم معروض فهو توضيحي وليس سجلًا.
دورة المساءلة
How commitments on AI oversight and accountability are held to account, from commitment to correction.
- الالتزامالحكومةالتزام له ولاية وأساس قانوني.
- الخطةالجهة الرائدةخطة وطنية لها أصحاب مسؤولون ومعالم زمنية.
- الموردوزارة الماليةبند في الميزانية أو تمويل مسجَّل.
- التنفيذالوكالات والحكومات المحليةالإنجاز مقارنةً بالخطة.
- تقريرمكتب الإحصاءمؤشرات يُبلَّغ عنها وفق تعريفات متفق عليها.
- المراجعةالسلطة التشريعية، والتدقيق، والمجتمع المدنيمراجعة مستقلة للنتائج والفجوات.
- التصحيحالحكومةالتغييرات على الخطة، منشورة مع أسبابها.
What institutions ask about oversight.
- Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
- Has the system been validated for this specific use and population, by someone independent of its developers?
- Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
- How will performance be monitored once the system is in use, and what triggers suspension?
Why accountability erodes.
Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.
Rubber-stamp review
People tend to defer to automated outputs, especially under time pressure, so human review can become a formality.
Many hands
Developers, vendors, integrators and users each own part of the system and none owns the outcome.
Changing performance
Models degrade as the world changes, and without monitoring the degradation goes unnoticed.
Instruments of oversight.
- 01
Impact assessments
Structured analysis of risks to rights and outcomes before deployment. Limits: can become paperwork if not tied to decisions.
- 02
التحقق المستقل
Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.
- 03
Meaningful human review
Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.
- 04
Audit trails and monitoring
Logs of inputs, outputs and decisions, with performance tracked over time. Limits: only useful if someone reviews them.
كيف يُدرس، وما لا تستطيع المناهج قوله.
- 01هندسة تقييم الذكاء الاصطناعي وضمانهنطاق التدقيق من طرف ثالث · اختبار الإنصاف في النظم العامة · الرصد بعد النشرمُطبَّق هنا
- 02علوم السياسات والمؤسسات والقرارمقارنة أنظمة الذكاء الاصطناعي · رسم خرائط المساءلة في سلسلة القيمة · رسم خرائط المحافل والولاياتمُطبَّق هنا
- 03الذكاء الاصطناعي وتعلم الآلةكيف تخفق النماذج عند النشر · قراءة توثيق النماذج · شرح بنى الوكلاءمُطبَّق هنا
أسئلة وأجوبة.
What is the difference between an AI provider and a deployer?
Why does logging matter for AI oversight?
Does ISO/IEC 42001 certify that an AI system is safe?
Is having a human in the loop enough?
Who should validate an AI system?
Does the platform audit AI systems?
What should trigger suspending a system?
ساهم بأدلة من هذه الصفحة.
Reports هي المطبوعة الفصلية للاتحاد. ويمكن لما تعرفه عن هذا الموضوع أن يصبح دليلًا أو حالة أو تصويبًا في الإصدار التالي، يُنسب إليك ويُنشر بموجب CC BY 4.0 حيثما كان من عملك الخاص.
- البريد الإلكترونيالبوابة GW-GRFأرسله من هذه الصفحةدليل أو تصحيح أو حالة أو أسلوب أو مراجعة أو ترجمة أو مدخل لملف قُطري. يصل موسومًا بهذه الصفحة، فيتلقاه المحرر المسؤول عنها.
- Zenodoإيداع مفتوحأودِعه وقدّمه إلى المجتمعانشر سجلك الخاص على Zenodo بمعرّف ORCID iD الخاص بك، ثم قدّمه إلى مجتمع Reports هناك. يراجعه القيّمون، ويبقى معرّف DOI ملكًا لك.
- ReportsGlobal Risks Forumاطّلع على جميع سبل المساهمةأنواع المساهمات، وكيفية مراجعة كل منها، والإسناد الذي تحصل عليه، والترخيص، وما لا يُقبل أبداً.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
اعرض مسألة حوكمة على المنتدى.
المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.
الوثائق القانونية.
عرض جميع الوثائق القانونية الـ18
تُعرض الخرائط والبيانات والأشكال في هذا الموقع للسياق والمعلومات العامة. وهي ليست نصيحة ولا توقعات ولا إنذارات؛ وحدود المعلومات مبيّنة في إخلاءات المسؤولية وإشعارات البيانات.