Skip to content

GRF · Yapay Zekâ ve Dijital Yönetişim

Yapay zekâ gözetimi ve hesap verebilirlik

When an AI system causes harm, someone must be able to find out what happened and answer for it. Oversight relies on documentation, logging, audit, incident reporting and authorities with the powers and skills to use them. Accountability is spread across developers, deployers, boards and regulators, and can dissolve between them. This page sets out how AI oversight holds or fails, the records that show it, and who holds each decision.

02Soru

AI oversight and accountability: how the risk develops.

Roller, doğrulama ve insan incelemesi. Aşağıdaki dosya, riskin nasıl geliştiğini, nelerin ölçüldüğünü, verilerin nereden geldiğini, nasıl modellendiğini ve kararı kimin verdiğini ortaya koyar.

Mekanizma

Responsibility diffuses along the chain

A model developer, a fine-tuner, an integrator and a deploying organisation each shape a system’s behaviour. When obligations attach to only one of them, the others can point elsewhere after harm.

Mekanizma

Records decide what can be reviewed

Teknik dokümantasyon, günlükler ve değişiklik kayıtları olmadan denetçiler ve düzenleyiciler bir sistemin bir çıktıya nasıl ulaştığını yeniden kuramaz. Kayıt tutma yükümlülükleri sonraki gözetimi mümkün kılar.

Mekanizma

Authorities lack capacity

Piyasa gözetimi, veri koruma ve sektör düzenleyicileri teknik personele, sistemleri erişime ve bunları test etme yetkilerine ihtiyaç duyar. Zayıf kapasite, kuralları öz değerlendirmeye dönüştürür.

Mekanizma

Incidents go unreported

Failures surface through complaints, journalism and litigation rather than reporting. Mandatory incident reporting and shared incident databases let patterns be seen across deployments.

03İzleme

Kamu algoritma kaydı.

Bir ekibin bu konuyu izlemek için kullanacağı ekran: ölçütleri, durumları ve kararları. Adlar örnektir ve değerler açıklayıcıdır.

Kamuya açık algoritma sicili

Yapay zekâ gözetimi ve hesap verebilirlik · Algoritma kaydı · 2. Çeyrek

Değerlendirmesi yapılmamış iki yüksek riskli sistemGRF · Yapay Zekâ ve Dijital Yönetişim

Kayıtlı sistemler

Yardım dolandırıcılığının işaretlenmesiToplumsal etkenlikYüksekEksikKısmi
Izin triyajıPlanlamaSınırlıTamamlandıEvet
Okul yerleştirmesiEğitimYüksekTamamlandıEvet
Sohbet asistanıVergi dairesiAsgariTamamlandın/a

Gözetim eylemi

Sistem
Yardım dolandırıcılığının işaretlenmesi
Zorunlu
etki değerlendirmesi, itiraz yolu
Son tarih
73 days
Makam
Gözetim organı

Otomatik kararlara ilişkin şikâyetler

Public algorithm register: the screen’s structure, terms and states for AI oversight and accountability.Example names and illustrative values; a design, not a record or a live system.
04Göstergeler

Neyin ve ne kadar iyi ölçüldüğü.

Her gösterge birimini, sıklığını, ardındaki kaynak türünü ve bir değerin taşıyacağı kanıt etiketini taşır. Hiçbir değer gösterilmez: değerleri bir program kendi yetkisi altında sağlar.

GöstergeBirimSıklıkKaynak türüEtiket
Yapay zekâ alanında belirlenmiş denetim veya piyasa gözetim otoritesiyes or no, with legal basisdeğişiklik olduğundaNational legislation and notificationsYayımlanmış istatistikler
Technical staff in AI-relevant authoritiesfull-time equivalentsyıllıkOtorite yıllık raporlarıBİLDİRİLMİŞ
Serious incidents reported under AI rulessektöre göre sayıyıllıkKamu kayıtlarıYayımlanmış istatistikler
Publicly recorded AI incidentszarar türüne göre sayıaylıkOlay veritabanlarıBİLDİRİLMİŞ
Enforcement actions concerning AI systemsotorite ve türe göre sayıyıllıkDüzenleyici yaptırım kayıtlarıYayımlanmış istatistikler
ISO/IEC 42001 certificates issuedsayıyıllıkCertification body recordsBİLDİRİLMİŞ
05Politika senaryoları

Araçları karşılaştırın: kurallar, teşvikler ve bilgi.

Üç araç ailesi, her biri kendi gecikmesi ve benimsenme hızıyla, belirlediğiniz kapsam ve uyum altında, referans senaryoya karşı yan yana; etki büyüklükleri, kanıtla değiştirilecek öğretim değerleridir. Senaryo: gelecek hakkında adlandırılmış varsayımlar, tahmin değildir.

Kontroller

Sonucun temel eğilimi
yılda %2,0
Aracın kapsamı
70%
Uyum
75%
Etki büyüklüğü, öğretim değerine göre
100%
Önümüzdeki yıllar
20 yıl

Okumalar

Ufukta en büyük azalma
Düzenleme
Başlangıç düzeyine göre azalması
21%
Sayılar, yöntemler ve kaynaklar
YılReferansDüzenlemeEkonomik teşvikBilgi ve kapasite
0100.099.598.899.1
1102.0101.2100.199.8
2104.0102.5101.199.9
3106.1103.5101.6100.0
4108.2103.7101.8100.7
5110.4103.2101.7102.1
6112.6102.0101.6103.9
7114.9100.4101.6105.9
8117.299.2102.1108.0
9119.598.6102.9110.1
10121.998.9104.2112.3
11124.399.7105.7114.5
12126.8101.1107.4116.8
13129.4102.7109.4119.2
14131.9104.5111.4121.6
15134.6106.5113.5124.0
16137.3108.5115.7126.5
17140.0110.7118.0129.0
18142.8112.9120.4131.6
19145.7115.1122.8134.2
20148.6117.4125.2136.9

Yöntemler

  1. Tools of government Hood (1983), The Tools of Government, Macmillan
  2. Carrots, sticks and sermons Bemelmans-Videc, Rist and Vedung (1998), Transaction
  3. Diffusion of innovations Rogers (2003), Diffusion of Innovations, Free Press
  4. Uncertainty fan (parameter Monte Carlo) Spiegelhalter, Pearson and Short (2011), Visualising uncertainty about the future, Science 333
  5. One-at-a-time sensitivity (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley

Veri

The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:

  • Borders Natural Earth
  • Cities Natural Earth
Araçları karşılaştırın: kurallar, teşvikler ve bilgi. Örnekleyici bir öğretim modelidir: ölçülmüş verilerle değil, kontrollerle belirlenen değerlerle çalışır. Yöntemler: Tools of government (Hood (1983), The Tools of Government, Macmillan); Carrots, sticks and sermons (Bemelmans-Videc, Rist and Vedung (1998), Transaction); Diffusion of innovations (Rogers (2003), Diffusion of Innovations, Free Press).
06Kaynaklar

Kanıtın nereden geldiği.

Her biri lisans sınıfıyla birlikte, adı belirtilmiş kamuya açık veri kümeleri ve kurumsal kayıtlar. Anlaşmaya dayalı kaynaklar yalnızca koşullarına göre kullanılır ve asla yeniden yayımlanmaz.

KaynakSağladıklarıLisans sınıfı
OECD.AI Politika GözlemeviNational AI policies, governance bodies and the AI Incidents MonitorÜcretsiz, OECD koşulları
AI Incident DatabaseCrowd-sourced records of harms involving AI systemsAçık, lisansın kontrol edilmesi gerekiyor
European Data Protection Board and national authority decisionsDecisions on automated processing and AI-related complaintsPublic, EU and national reuse terms
Stanford AI Index ReportData on AI development, policy and incidentsFree to read, licence to check
Regulator annual reportsStaffing, priorities and enforcement of authorities supervising AIKamu kayıtları, otorite başına koşullar
07Uygulama

Yetkiden değerlendirmeye, sütun sütun.

Bir aracın yetkiden değerlendirmeye attığı adımlar; her birini yürüten sütunla ve yetkili makamda kalan kararlarla birlikte. Belirtilmiş örnekleyici değerlere sahip öğretim modeli, tahmin değildir.

  1. Mandate and problem framing Competent authority (outside the programme)
    A competent authority frames the problem and the mandate under its own rules. Howlett, Ramesh and Perl (2009)
  2. Evidence and system model Foundry
    The system is modelled with its feedbacks, data and stated limits. OECD (2014), principle 2
  3. Options appraised with scenarios Foundry
    Instruments are compared under scenarios, with uncertainty shown. Hood (1983)
  4. Exercise with stakeholders Universe
    The options are tested in an exercise with those who would implement and bear them. OECD (2014), principle 3
  5. Standard or guidance drafted Nexus Standards
    What works is codified as a standard or guidance, open to comment. Nexus Standards process
  6. Decision by the authority Competent authority (outside the programme)
    The authority decides, outside the programme, with the evidence on record. Howlett, Ramesh and Perl (2009)
  7. Kapasite ve eğitim Risk Akademisi
    Uygulayanlar, kararlaştırılan araç ve verileri konusunda eğitilir. Sendai Afet Riskinin Azaltılması Çerçevesi (2015), öncelik 2
  8. Monitoring and public report Reports
    Indicators are published with sources, limits and corrections. OECD (2014), principle 5
  9. Evaluation and revision Nexus Standards
    Results return to the standard and the model: the cycle closes. Howlett, Ramesh and Perl (2009)

Yöntemler

  1. Policy cycle Howlett, Ramesh and Perl (2009), Studying Public Policy, Oxford University Press
  2. Kritik risklerin yönetişimi OECD (2014), Konsey'in Kritik Risklerin Yönetişimine İlişkin Tavsiye Kararı
  3. Layered drawing of directed graphs Sugiyama, Tagawa and Toda (1981), IEEE SMC 11
Yetkiden değerlendirmeye, sütun sütun: kaydedildiği hâliyle adımlar, her biri kendi sütunuyla; kaynaklar her adımda atıf yapıldığı şekliyle.
08Kararlar

Kim karar verir ve kanıt neye hizmet eder.

Yapay Zekâ ve Dijital Yönetişim kanıt hazırlar. Aşağıdaki kararlar, adı geçen otoriteler tarafından kendi kurallarına göre alınır ve asla platform tarafından alınmaz.

Kim karar verirSoruBu sayfanın hizmet ettiği kanıt
Yasama organlarıWhich obligations attach to developers, deployers and providers of general-purpose modelsComparative regimes and evidence from incidents
Market surveillance and sector regulatorsWhich systems to inspect and what powers to useIncident records, risk categories and enforcement practice
Boards of deploying organisationsYapay zekâ riskinin sahibi kimdir ve hangi güvenceyi talep ederGovernance practice and management system standards
MahkemelerWho is responsible for harm caused with an AI systemRecords and expert evidence presented by parties; the page serves context only

Bu konunun ürettiği çıktılar

  • Maps of accountability across the AI value chain for a given use
  • Comparative notes on AI supervisory authorities and their powers
  • Guide to AI incident reporting regimes and databases
  • Yönetim kurulları ve düzenleyiciler için yapay zekâ gözetimine ilişkin sorular
09Araçlar ve taahhütler

Yapay zekâ gözetiminin ve hesap verebilirliğinin nasıl yönetildiği: araçlar, yetkiler ve taahhütler.

Bir politika yapıcının, diplomatın veya kalkınma ajansının birlikte çalıştığı araçlar, yetkiler, aktörler ve hesap verebilirlik düzenlemeleri; bunları belirleyen anlaşmalara atıf yapılarak. Yapılar, adı geçen çerçeveleri izler. Gösterilen herhangi bir durum veya ilerleme örnekleyicidir, kayıt değildir.

Hesap verebilirlik döngüsü

How commitments on AI oversight and accountability are held to account, from commitment to correction.

  1. TaahhütHükümetYetkisi ve yasal dayanağı olan bir taahhüt.
  2. PlanLead agencyA national plan with owners and milestones.
  3. KaynakMaliye bakanlığıKayıtlı bir bütçe kalemi veya finansman.
  4. UygulamaKurumlar ve yerel yönetimPlana göre uygulama.
  5. Raporİstatistik ofisiÜzerinde uzlaşılmış tanımlarla raporlanan göstergeler.
  6. İncelemeYasama, denetim, sivil toplumSonuçların ve açıkların bağımsız incelemesi.
  7. DüzeltmeHükümetGerekçeleriyle birlikte yayımlanan plan değişiklikleri.
A generic accountability cycle; the owner of each step follows the country’s own constitution and law.
Sendai Afet Riskinin Azaltılması Çerçevesi 2015-2030 · UNDRRParis Anlaşması · UNFCCC2030 Gündemi ve Sürdürülebilir Kalkınma Amaçları · Birleşmiş MilletlerUluslararası Sağlık Tüzüğü · DSÖ
10Temel sorular

What institutions ask about oversight.

  • Who in the institution owns the decision to deploy this system, and who answers if it causes harm?
  • Has the system been validated for this specific use and population, by someone independent of its developers?
  • Can the people reviewing its outputs genuinely disagree with it, or do they simply approve what it suggests?
  • How will performance be monitored once the system is in use, and what triggers suspension?
11Mekanizmalar

Why accountability erodes.

Accountability tends to dissolve gradually. Each actor in a long chain of developers, integrators, operators and managers can reasonably point to another as responsible, until no one is. Why now: human oversight duties are being written into law, including in the European Union AI Act (2024), and public bodies must show who can understand and override an automated output. The platform is designed to convene those bodies and to exercise oversight in Universe with a scenario in which a system is confidently wrong.

Automation bias

Rubber-stamp review

İnsanlar, özellikle zaman baskısı altında, otomatik çıktılara boyun eğme eğilimindedir; bu nedenle insan incelemesi bir formalite hâline gelebilir.

Diffusion

Many hands

Geliştiriciler, tedarikçiler, entegratörler ve kullanıcıların her biri sistemin bir bölümüne sahiptir; sonucun sahibi ise hiçbiri değildir.

Kayma

Değişen performans

Models degrade as the world changes, and without monitoring the degradation goes unnoticed.

12Yöntemler ve sınırlar

Instruments of oversight.

  1. 01

    Impact assessments

    Devreye almadan önce haklara ve sonuçlara yönelik risklerin yapılandırılmış analizi. Sınırlar: kararlara bağlanmazsa evrak işine dönüşebilir.

  2. 02

    Bağımsız doğrulama

    Testing by people independent of developers, using AI evaluation and assurance engineering. Limits: tests show performance on test data, not in every real situation.

  3. 03

    Meaningful human review

    Reviewers with the authority, time, information and training to override. Limits: costly, and hard to sustain at scale.

  4. 04

    Audit trails and monitoring

    Logs of inputs, outputs and decisions, with performance tracked over time. Limits: only useful if someone reviews them.

13Yöntemler

Nasıl incelendiği ve yöntemlerin söyleyemeyecekleri.

  1. Yapay zekâ değerlendirme ve güvence mühendisliğiÜçüncü taraf denetim kapsamı · Kamu sistemlerinde adillik testi · Kullanım sonrası izlemeBurada uygulanır
  2. Politika, kurum ve karar bilimiYapay zekâ rejimlerinin karşılaştırılması · Değer zinciri hesap verebilirlik haritalaması · Forum ve yetki haritalamasıBurada uygulanır
  3. Yapay zekâ ve makine öğrenmesiModeller kullanımda nasıl başarısız olur · Model belgelerini okumak · Ajan mimarilerinin açıklamasıBurada uygulanır
14Sorular

Sorular ve yanıtlar.

What is the difference between an AI provider and a deployer?
In the EU AI Act, a provider develops an AI system or model and places it on the market; a deployer uses it under its authority. Each carries different obligations.
Günlük kaydı yapay zekâ gözetimi açısından neden önemlidir?
Logs and documentation let auditors, regulators and courts reconstruct how a system behaved. Without them, accountability depends on what the operator chooses to disclose.
Does ISO/IEC 42001 certify that an AI system is safe?
No. It certifies that an organisation runs a management system for AI meeting the standard’s requirements. The safety of a particular system needs its own evaluation.
Döngüde bir insanın bulunması yeterli midir?
Tek başına hayır. İnceleme, ancak incelemeyi yapan kişi sisteme karşı çıkma yetkisine, zamanına, bilgisine ve yetkinliğine sahipse ve gerektiğinde karşı çıkıyorsa anlamlıdır.
Bir yapay zekâ sistemini kim doğrulamalıdır?
Someone independent of those who developed or sold it, with access to relevant data and the expertise to test it for the intended use.
Does the platform audit AI systems?
No. It compares governance practices and does not test or certify any system.
What should trigger suspending a system?
Kurumlar kendi tetikleyicilerini belirler; bunlar genellikle üzerinde anlaşılan düzeyin üzerindeki hata oranlarına ilişkin kanıtları, açıklanamayan çıktı kaymalarını veya zarara dair inandırıcı şikâyetleri içerir.
RaporlarKatkıda bulunun

Bu sayfadan kanıt katkısında bulunun.

Reports, Konsorsiyumun üç ayda bir yayımlanan yayınıdır. Bu konu hakkında bildikleriniz bir sonraki sayıda kanıt, vaka veya düzeltme olabilir; size atfedilir ve kendi çalışmanızsa CC BY 4.0 kapsamında yayımlanır.

Global Risks ForumAI and Digital GovernanceExponential TechnologyEvidence Brief
Yapay Zekâ ve Dijital Yönetişim

Bir yönetişim sorusunu Forum'a getirin.

Bilgi ve başvurular bugün açıktır. Bir başvuru bir referans numarası alır ve bir sonraki adımı belirtir; başvurular, ödemeler, işlem kapasitesi tahsisleri ve kayıtlar yalnızca ekipleri, koşulları ve inceleme kapasiteleri mevcut olduğunda açılır.