تتجه النماذج اللغوية الكبيرة (Large Language Models) نحو تشكيل كيفية إنتاج المحتوى، والتفاعل، واتخاذ القرارات على الإنترنت. ومع تزايد اعتمادنا على هذه التقنيات، تبرز أهمية مواءمتها مع القيم الإنسانية كهدف مركزي في تطوير الذكاء الاصطناعي الموثوق.

تتجلى التحديات في هذه العملية عندما يتعلق الأمر بمراعاة القيم الإنسانية المتعددة والمتضاربة محتملًا. على الرغم من أن هناك أساليب حديثة مثل إعادة وزن المكافآت، وضبط المعلمات المعتمد على الإرشادات، ودمج النماذج، إلا أن هذه الأساليب ما زالت تواجه قيودًا كبيرة:

1. تدريب نماذج منفصلة لكل مجموعة من القيم يكلف كثيرًا.
2. الصراعات بين القيم تؤثر بشكل كبير على أداء المواءمة.

من هنا، يأتي ابتكار VC-Soup كإطار عمل جديد يركز على استمرارية القيم في البيانات. هذا الإطار يشتمل على تصفية البيانات ودمج المعلمات، مما يسهم في التعلم المتماسك للقيم.

تم تصميم مقياس استمرارية القيم بناءً على العلاقة الزاوية (cosine similarity) بين متجه فجوة المكافآت لكل زوج تفضيل ومتجه كامل القيم، مما يحدد درجة ترابط القيم بصورة دقيقة. بعد ذلك، تتم تصفية أزواج التفضيل ذات الاستمرارية المنخفضة من كل مجموعة بيانات القيم، والتدريب على البيانات المتبقية للحصول على نماذج سياسات سلسة ومتوافقة مع القيم.

أخيرًا، يتم دمج هذه السياسات بشكل خطي، وتطبيق تصفية Pareto عبر القيم للوصول إلى حلول ذات أداء متوازن.

تظهر التجارب المكثفة والتحليل النظري أن VC-Soup يخفف فعلاً من الصراعات ويحقق نتائج أفضل من الطرق السابقة في مجال تقارب القيم المتعددة.