في عالم أنظمة التوصية (Recommender Systems)، تلعب التفسيرات (Explanations) دورًا حيويًا في تعزيز مستوى الثقة لدى المستخدمين. ومع ذلك، فإن اختيار طريقة الشرح المناسبة يعتبر تحديًا كبيرًا. تتوفر العديد من الأساليب لتوليد الشرح، ولكن القليل من الإرشادات تساعد في تحديد الأفضل لكل سيناريو.

تظهر معظم الطرق الحالية التي تُستخدم لتوليد الشرح مخرجات مجردة تتطلب تعديلات إضافية لتصبح سهلة الاستخدام، مما يزيد من عدد الخيارات المتاحة بشكل يبدو لا نهاية له. من الصعب إجراء تقييمات مستندة إلى المستخدمين لجميع الخيارات المتاحة، وتكون المعايير التقييم الآلي غالبًا إما تقيم فقط المخرجات المجردة أو تتطلب مقارنة مع حقيقة أساسية غالبًا ما تكون غير متوفرة.

أظهرت الدراسات الحديثة أن نماذج اللغة الكبيرة (LLMs) يمكن أن تعمل كـ "قضاة" لتقييم الشرح، لكن لم يتم استكشاف موثوقيتها بشكل كامل بعد.

تتناول هذه الورقة البحثية فائدة نماذج اللغة الكبيرة في اختيار طريقة شرح فعالة لتطبيقات محددة. نستعرض أولاً قدرتها على توليد نماذج أولية للشرح بناءً على معلومات متنوعة حول نظام التوصية والمستخدم. بشكل محدد، قمنا بتوليد 18 نموذجًا أوليًا مختلفًا للشرح، تم تقييمها بواسطة 14 نموذجًا من نماذج اللغة الكبيرة بأحجام مختلفة عبر إعدادين حراريين. نُقارن هذه النتائج مع تقييمات بشرية مستندة إلى دراسة مستخدمين.

تشير النتائج إلى أن نماذج اللغة الكبيرة تظهر أنماط تقييم مشابهة للبشر، محققةً توافُقًا معتدلًا في الترتيب مع المقيّمين البشريين، إلا أن اتفاقهم المطلق في التقييم كان منخفضًا ومتغيرًا بشكل كبير حسب حجم النموذج والمفاهيم التقييمية.

نستخلص من هذا البحث أربعة توصيات عملية يمكن أن تساعد في تحسين تقييم الشرح: 1) الحفاظ على اختصارات مطالب توليد الشرح، 2) تفضيل النماذج الأكبر في التقييم، 3) اختبار المفاهيم التقييمية مسبقًا، و4) تدقيق التفسيرات للتحقق من دقتها الواقعية، لأن لا البشر ولا نماذج اللغة الكبيرة يمكنهم الكشف بدقة عن المحتوى غير الواقعي.