في عالم الذكاء الاصطناعي، تلعب نماذج اللغات (Language Models) دورًا حيويًا في تقييم نماذج أخرى، حيث يتطلب الأمر توافقًا بين تقييمات النماذج والتقديرات البشرية. في هذا السياق، يبرز مفهوم التقييم الميتا (Meta-Evaluation) كمجال يحتاج لانتباه خاص، حيث يعاني من صعوبات تنفيذية متعددة.

تمثل PADM'E، أو "توليف بيانات توافق التفضيلات"، ابتكارًا يعيد صياغة تحديات التقييم الميتا كمشكلة تفضيل. بدلاً من مقارنة درجات النماذج والإنسان، تقوم PADM'E بتقييم ما إذا كانت التفضيلات المستنتجة من كلا الطرفين تتوافق. هذه المقاربة تمكّن من جمع بيانات تقييم موثوقة دون الحاجة لتكاليف بشرية باهظة.

تستخدم PADM'E نماذج لغوية صغيرة فقط، وتعمل ضمن ميزانية حوسبة منخفضة، مما يجعلها متاحة للاستخدام على نطاق واسع. وعلى الرغم من أنه تم بناء نموذج أولي، إلا أنه تم جمع مجموعة بيانات تتكون من 1,000 عينة عبر أربعة مجالات وكفاءات تقييم مختلفة.

وقد أظهرت عملية التحقق من صحة النتائج مع عينة من 150 عينة من البشر زيادة في توافق الأحكام مع الأحكام البشرية، من 73% إلى 85% مقارنة بقاعدة البيانات البدائية. علاوة على ذلك، أظهرت الدراسة أيضًا وجود علاقات واضحة بين أداء التقييم وحجم النموذج ودرجة التسامح.

إذًا، كيف سيؤثر هذا الابتكار على مستقبل الذكاء الاصطناعي؟ وما هي التحديات القادمة؟ شاركنا برأيك في التعليقات!