في عالم نماذج اللغة (Language Models) المتطورة، طرحت دراسات جديدة أسئلة محورية حول الفجوة المعروفة بين التفضيلات المُعلنة (Stated Preferences) والمُكتشفة (Revealed Preferences) في هذه النماذج. هذه الفجوة تشير إلى الفرق بين القيم التي تؤكدها النماذج والاختيارات التي تتخذها فعلًا في السياقات المختلفة.
تستند التقييمات الحالية بشكل كبير إلى أساليب الاختيار القسري الثنائي، مما يدمج التفضيلات الحقيقية مع المعوقات الناتجة عن بروتوكولات الاستطلاع. من خلال دراسة منهجية على 24 نموذجًا للغة، تمكن الباحثون من إظهار كيف تؤثر بروتوكولات الاستطلاع بشكل ملحوظ على ارتباط الفجوة بين التفضيلات.
عند السماح بتعبير الحياد والامتناع خلال الاستطلاع الخاص بالتفضيلات المُعلنة، يمكننا استبعاد الإشارات الضعيفة. وقد أدى ذلك إلى تحسين كبير في ارتباط الرتبة لـ Spearman ($
ho$) بين التفضيلات المُعلنة والتفضيلات المكتشفة من خلال الاختيار القسري. ولكن، عند السماح أيضًا بالامتناع في التفضيلات المكتشفة، فإن هذا يقود $
ho$ إلى قيم قريبة من الصفر أو سلبية بسبب النسب العالية من الحياد.
أخيرًا، وجد الباحثون أن توجيه النظام باستخدام التفضيلات المُعلنة أثناء الاستطلاع الخاص بالتفضيلات المكتشفة لا يحسن بشكل موثوق ارتباط الفجوة في سيناريوهات المخاطر (AIRiskDilemmas).
مجموع النتائج يدل على أن ارتباط الفجوة بين التفضيلات يتوقف بشكل كبير على البروتوكول المتبع، وأن عمليات استدراج التفضيلات بحاجة لأساليب تأخذ بعين الاعتبار التفضيلات غير القابلة للتحديد.
إن فهم هذه الديناميكيات قد يكون له تأثير كبير على تطوير نماذج اللغة في المستقبل. فما رأيكم في هذه التطورات الجديدة؟ هل تعتقدون أن هناك طرقًا أفضل لتقييم هذه النماذج؟ شاركونا آراءكم في التعليقات.
بين الفجوة: كيف تشكل بروتوكولات الاستطلاع الفجوة بين التفضيلات المُعلنة والمُكتشفة في نماذج اللغة
كشفت دراسة حديثة عن فجوة بين التفضيلات المُعلنة والمُكتشفة في نماذج اللغة، مما يؤثر على دقة تقييم هذه النماذج. الدراسة تسلط الضوء على كيفية تأثير بروتوكولات الاستطلاع على هذه الفجوة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...