Classifier error in moderation
Moderation classifiers are evaluated for false positive and false negative rates by language and group, showing who is over- or under-moderated.
GRF · Information Integrity and Public Trust
Machine learning powers recommender systems, content moderation, generative AI and detection tools. In information integrity it is both a cause of risk and a method for studying it, so its limits, errors and biases are made explicit wherever it is used.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In information and public trust and society and human development, machine learning can scale detection and forecasting across interconnected systems. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on the STEM Commons.
Moderation classifiers are evaluated for false positive and false negative rates by language and group, showing who is over- or under-moderated.
Detection tools are tested on edited and compressed media to show where they fail, before any reliance on their outputs.
Sock-puppet and data-donation audits estimate how ranking systems expose users to different sources over time.
The screen a team would use to follow this method: its measures, states and decisions. Names are examples and values are illustrative.
Information integrity · Artificial intelligence · Run R-2811
| تمام | 0.78 | 0.02 | 8592 | Pass |
| Region A | 0.75 | 0.06 | 1645 | Pass |
| Region B | 0.78 | 0.10 | 843 | جائزہ |
| Rare class | 0.58 | 0.07 | 78 | Below bar |
Datasets and records used by artificial intelligence and machine learning on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| ڈیٹا | کردار | Label |
|---|---|---|
| Labelled content datasets | Training and evaluation | رپورٹ شدہ |
| Platform transparency data | Moderation outcomes | رپورٹ شدہ |
| Audit and data donation records | Exposure evidence | مشاہدہ شدہ |
| Benchmark results | Detector accuracy | تخمینی |
How the share of early movers and the thresholds people hold decide whether a protective behaviour, or a false narrative, stays local or spreads to most people. Teaching model with stated illustrative values, not a prediction.
کنٹرولز
ریڈنگز
| مرحلہ | عمل کرنے والوں کا حصہ (%) |
|---|---|
| 0 | 2.0 |
| 1 | 8.3 |
| 2 | 19.3 |
| 3 | 35.5 |
| 4 | 55.8 |
| 5 | 76.8 |
| 6 | 92.0 |
| 7 | 98.8 |
| 8 | 100.0 |
| 9 | 100.0 |
اس ماڈل میں کوئی مشاہدہ شدہ ڈیٹا داخل نہیں ہوتا: یہ کنٹرولز سے طے شدہ تدریسی اقدار پر چلتا ہے، جنہیں کسی پروگرام کے اپنے شواہد سے بدلا جانا ہے۔
چھ ستونوں میں، Nexus Consortium کی قیادت میں
Models are evaluated on held-out data that respects spatial, temporal and group structure. Robustness, calibration and fairness are tested alongside accuracy.
| Check | How it is done |
|---|---|
| Error by group and language | Errors are reported across languages and groups, not only overall |
| Temporal validity | Models are tested on newer data than they were trained on |
| Human review | Automated labels used in research are checked against human coding |
Performance degrades when deployment conditions differ from training data. Models can encode biases and fail without clear warning on rare events.
The steps an instrument takes from mandate to evaluation, each with the pillar that runs it, and the decisions that stay with the authority. Teaching model with stated illustrative values, not a prediction.
چھ ستونوں میں، Nexus Consortium کی قیادت میں
The instruments, mandates, actors and accountability arrangements a policymaker, diplomat or development agency works with, citing the agreements that set them. Structures follow the frameworks named. Any state or progress drawn is illustrative, not a record.
How commitments on artificial intelligence and machine learning for information integrity and public trust are held to account, from commitment to correction.
Artificial Intelligence and Autonomous Systems stewards artificial intelligence and machine learning for the Consortium and reviews how it is applied across platforms.
Reports is the Consortium's quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
کبھی بھی ذاتی ڈیٹا، حساس بنیادی ڈھانچے کی تفصیل یا کوئی ایسی چیز نہ بھیجیں جسے شیئر کرنے کا آپ کو حق نہ ہو۔ ہر شراکت استعمال سے پہلے جانچی جاتی ہے؛ اسے بھیجنے سے کوئی تصنیفی یا ادارتی حق حاصل نہیں ہوتا، اور سرپرستی کبھی کوئی نتیجہ نہیں خریدتی۔
معلومات اور استفسارات آج کھلے ہیں۔ استفسار کو ایک حوالہ نمبر ملتا ہے اور اگلے مرحلے کی نشاندہی ہوتی ہے؛ درخواستیں، ادائیگیاں، کمپیوٹنگ کی تخصیص اور رجسٹریشن صرف اس وقت کھلتی ہیں جب ان کی ٹیم، شرائط اور جائزے کی استعداد موجود ہو۔
اس سائٹ کے نقشے، ڈیٹا اور اشکال سیاق اور عمومی معلومات کے لیے دکھائے جاتے ہیں۔ یہ مشورہ، پیش گوئیاں یا انتباہات نہیں؛ معلومات کی حدود دستبرداریوں اور ڈیٹا سے متعلق اطلاعات میں بیان کی گئی ہیں۔
یہ سائٹ صرف لازمی طور پر ضروری کوکیز استعمال کرتی ہے تاکہ کام کر سکے اور آپ کے رازداری کے انتخاب یاد رکھ سکے۔ دوسری کمپنیوں سے کچھ بھی لوڈ نہیں ہوتا، اور ہم آپ کی ذاتی معلومات کبھی فروخت یا شیئر نہیں کرتے۔
یہ سائٹ صرف لازمی طور پر ضروری کوکیز استعمال کرتی ہے تاکہ کام کر سکے اور آپ کے رازداری کے انتخاب یاد رکھ سکے۔ دوسری کمپنیوں سے کچھ بھی لوڈ نہیں ہوتا، اور ہم آپ کی ذاتی معلومات کبھی فروخت یا شیئر نہیں کرتے۔ ہم کوئی اشتہار نہیں چلاتے۔ آپ ہر صفحے کے آخر میں "رازداری کے انتخاب" کے ذریعے کسی بھی وقت اپنے انتخاب کا جائزہ لے سکتے ہیں۔