في عالم نظم التوصيات، يمثل فهم اهتمامات المستخدمين حجر الزاوية في تقديم تجربة مخصصة تلبي توقعاتهم. لقد شهدنا حديثاً إطلاق GISTBench، مؤشر مبتكر يهدف إلى تقييم قدرة نماذج اللغات الكبيرة (Large Language Models) على فهم تفاعلات المستخدمين من خلال تاريخهم في التواصل.

عكس المؤشرات التقليدية التي تركز على دقة توقعات العناصر، يرتكز GISTBench على قياس قدرة هذه النماذج على استخراج والتحقق من اهتمامات المستخدمين استناداً إلى البيانات السلوكية.

يقدم هذا المؤشر معيارين فريدين:
1. **Groundedness للاهتمام (Interest Groundedness)**
- يتم تحليل المقياس إلى مكونين: الدقة والشفافية، بهدف معاقبة الفئات الخيالية من الاهتمامات وتشجيع التغطية الواسعة.
2. **خصوصية الاهتمام (Interest Specificity)**
- يقيس تميز ملفات المستخدمين التي توقعتها نماذج LLM.

لقد تم إنشاء مجموعة بيانات اصطناعية تعتمد على تفاعلات حقيقية من منصة عالمية لمحتوى الفيديو القصير، حيث تحتوي على إشارات تفاعلية ضمنية وصريحة، بالإضافة إلى أوصاف نصية غنية.

كما تم توثيق موثوقية مجموعة البيانات هذه من خلال استطلاعات رآي للمستخدمين، وتم تقييم أداء ثمانية نماذج LLM بأوزان مفتوحه تتراوح بين 7B إلى 235B Parameter، إلى جانب ثلاثة نماذج حدودية خاصة (مثل GPT-5 وClaude 4.6 وGemini 3.5 Flash).

أظهرت النتائج وجود نقاط اختناق في أداء النماذج الحالية، ولا سيما قدرتها المحدودة على حساب وتوزيع إشارات التفاعل بدقة عبر أنواع التفاعلات المختلفة.

هل تتوقع أن يحدث GISTBench ثورة في كيفية تقييمنا لفهم نماذج الذكاء الاصطناعي لاهتمامات المستخدمين؟ شاركونا آراءكم في التعليقات!