في عالم الذكاء الاصطناعي، يعد تقييم نماذج اللغة الضخمة (LLMs) من التحديات الكبيرة، إذ يمكن أن تكون أحكامها حساسة لترتيب الاستجابات وقد تعرض تحيزات نظامية تؤثر على توافقها مع تفضيلات البشر. هنا يأتي دور DIAL، الإطار الموحد الذي يقدم حلاً مبتكرًا.

يعمل DIAL على دمج مقارنات شاملة بين نماذج اللغة الضخمة وتقييمات محدودة من البشر، مما يتيح لنا فصل التأثيرات الخاصة بالترتيب وتعلم بنى مشتركة في تفضيلات نماذج اللغة الضخمة المنزوعة التحيز. كما يتيح التركيز على تكييف هذا البنية نحو الأهداف التفضيلية البشرية.

يتناول البحث ثلاثة جوانب رئيسية لـ DIAL:
1. تحديد تفضيلات نماذج اللغة الضخمة الكامنة وتأثيرات الترتيب.
2. تقدير تكيفي يوازن بين تأكيد نماذج اللغة الضخمة على الأدلة البشرية المحدودة.
3. استقصاء يقيس عدم اليقين بشكل ثابت لتكييف التفضيل البشري.

تُظهر الاختبارات التجريبية ما يلي: يُمكن لديايل تحسين مستوى النزاهة في الأحكام الآلية، ويحقق تصنيفات قوية متوافقة مع تفضيلات البشر حتى مع الحصول على عدد محدود من العلامات. كما يتكيف DIAL نحو دلائل بشرية حتى في حالة عدم دقة المعلومات المقدمة من نماذج اللغة الضخمة.

جمعت الدراسة الواقعية أكثر من 410,000 حكم من 21 نموذج لغة ضخمة، في كل من ترتيبات العرض، مما يوفر موردًا قيِّمًا للدراسات المستقبلية حول تحيز نماذج القضاة والتنوع والتوافق مع البشر.

هل تعتقد أن نماذج اللغة الضخمة ستستطيع تجاوز تحديات التحامل وتقديم تقييم يتماشى مع القيم الإنسانية؟ شاركونا آرائكم في التعليقات!