في عالم الذكاء الاصطناعي (AI)، باتت نماذج اللغة الكبيرة (LLMs) تقوم بتخزين تفضيلات المستخدمين في ذاكرة دائمة، مما يسمح بتقديم تجربة شخصية عبر تفاعلات متعددة. ولكن، في حالات التواصل التي تحكمها الأعراف الاجتماعية والمعايير المؤسساتية، قد تكون بعض تفضيلات المستخدم غير مناسبة للتطبيق.

لذلك، تم تقديم BenchPreS، وهي أداة جديدة تهدف إلى تقييم مدى توافق تطبيق تفضيلات الذاكرة مع سياقات التواصل. تعتمد BenchPreS على مقياسين رئيسيين: معدل سوء التطبيق (Misapplication Rate - MR) ومعدل التطبيق المناسب (Appropriate Application Rate - AAR).

الأبحاث تشير إلى أن حتى أحدث نماذج اللغة الكبيرة تواجه صعوبات في تطبيق التفضيلات بطريقة حساسة للسياق. فالنماذج التي تظهر التزامًا أقوى بالتفضيلات لديها معدلات مرتفعة من سوء التطبيق، الأمر الذي يسلط الضوء على ضرورة فهم أكبر للتفضيلات كإشارات معيارية تعتمد على السياق وليس كقواعد عالمية.

تهدف BenchPreS إلى دعم المصممين والباحثين في تطوير نماذج لذكاء اصطناعي قادر على تمييز السياقات الاجتماعية وتحسين تفاعلاته بناءً على ذلك، مما قد يسهم في تحسين تجربة المستخدم وجعلها أكثر تفاعلية ومواءمة للاحتياجات الاجتماعية المناسبة.