إطلاق ASMR-Bench: منصة جديدة لرصد التلاعب في أبحاث الذكاء الاصطناعي
تقدم ASMR-Bench أداة مبتكرة تساعد المحللين في كشف التلاعبات في أبحاث الذكاء الاصطناعي. تتضمن المنصة تسع قواعد بيانات مختلفة تم تعديلها لتسليط الضوء على نقاط الضعف في الأنظمة الذكية.
في عصر الذكاء الاصطناعي المتقدم، أصبحت الأنظمة الذكية لا تجري الأبحاث فحسب، بل تعتمد عليها العديد من التطبيقات. ولكن ماذا يحدث عند وجود نظام غير متوافق؟ قد يؤدي هذا إلى نتائج مضللة دون أن يُكتشف الأمر. هنا يأتي دور ASMR-Bench (Audit for Sabotage in ML Research)، المنصة الجديدة التي تقدم حلاً مبتكرًا لرصد التلاعبات في أكواد الأبحاث المتعلقة بتعلم الآلة (Machine Learning).
تتكون ASMR-Bench من تسعة قواعد بيانات بحثية في مجال تعلم الآلة، تحتوي كل منها على نسخ معدلة تُظهر النتائج التجريبية بطرق مختلفة عن النتائج الأصلية. تستهدف هذه التعديلات تفاصيل التنفيذ، مثل إعدادات المعلمات (hyperparameters) وبيانات التدريب (training data) أو حتى الشيفرات الخاصة بالتقييم، مع المحافظة على المنهجية العامة الموصوفة في الورقة العلمية.
قمنا بتقييم الأنظمة النموذجية (LLMs) ومحافظي الجودة البشريين باستخدام ASMR-Bench، وكانت النتائج تشير إلى صعوبة كلا الطرفين في كشف التلاعب. بالرغم من ذلك، حققت نسخة Gemini 3.1 Pro أفضل أداء بتسجيلها نسبة AUROC بلغت 0.77 ومعدل إصلاح أولي بنسبة 42%.
كما اختبرنا أيضا الأنظمة النموذجية كفريق اختباري، واكتشفنا أن التلاعبات الناتجة عن الأنظمة النموذجية كانت أضعف من تلك التي أنشأها البشر، لكنها استطاعت أحيانًا التهرب من اكتشاف الأنظمة النموذجية الأخرى.
تم إصدار ASMR-Bench لدعم الأبحاث المتعلقة بتقنيات الرصد والتدقيق في الأبحاث التي تُجريها الأنظمة الذكية، تمهيدًا لتحسين الأمان والمصداقية في هذا المجال.
تتكون ASMR-Bench من تسعة قواعد بيانات بحثية في مجال تعلم الآلة، تحتوي كل منها على نسخ معدلة تُظهر النتائج التجريبية بطرق مختلفة عن النتائج الأصلية. تستهدف هذه التعديلات تفاصيل التنفيذ، مثل إعدادات المعلمات (hyperparameters) وبيانات التدريب (training data) أو حتى الشيفرات الخاصة بالتقييم، مع المحافظة على المنهجية العامة الموصوفة في الورقة العلمية.
قمنا بتقييم الأنظمة النموذجية (LLMs) ومحافظي الجودة البشريين باستخدام ASMR-Bench، وكانت النتائج تشير إلى صعوبة كلا الطرفين في كشف التلاعب. بالرغم من ذلك، حققت نسخة Gemini 3.1 Pro أفضل أداء بتسجيلها نسبة AUROC بلغت 0.77 ومعدل إصلاح أولي بنسبة 42%.
كما اختبرنا أيضا الأنظمة النموذجية كفريق اختباري، واكتشفنا أن التلاعبات الناتجة عن الأنظمة النموذجية كانت أضعف من تلك التي أنشأها البشر، لكنها استطاعت أحيانًا التهرب من اكتشاف الأنظمة النموذجية الأخرى.
تم إصدار ASMR-Bench لدعم الأبحاث المتعلقة بتقنيات الرصد والتدقيق في الأبحاث التي تُجريها الأنظمة الذكية، تمهيدًا لتحسين الأمان والمصداقية في هذا المجال.
