تحقيق التوافق مع التفضيلات: نموذج مبتكر لتوجيه نماذج اللغة الكبيرة بدون تدريب

في عالم الذكاء الاصطناعي، يعد تحقيق التوافق بين نماذج اللغة الكبيرة (Large Language Models) وتفضيلات المستخدمين خطوة أساسية لتحسين فاعليتها. تقدم دراسات جديدة أساليب مختلفة لتحقيق ذلك، لكن غالبية الطرق التقليدية مثل التعلم المعزز من ردود الفعل البشرية (Reinforcement Learning from Human Feedback) تتطلب بيانات مُنَظَّمة وموارد ضخمة للتدريب، مما يعيق التقدم في هذا المجال.

لكن الآن، قد حان الوقت لتقديم تقنية جديدة تُعرف باسم "توجيه التفضيلات عبر التيارات المتبقية" (Preference alignment of Large Language Models via Residual Steering - PaLRS). تعتمد هذه الطريقة على أكواد خفيفة ويمكن تطبيقها فورًا، وتعتمد على إشارات التفضيل الموجودة في التيارات المتبقية لنماذج اللغة.

يعتبر PaLRS طريقة فعّالة تعتمد على استخراج توجيهات خفيفة يمكن استخدامها أثناء مرحلة الاستدلال لدفع النماذج نحو سلوكيات نمطاها المفضلة، حتى مع وجود عدد محدود من أزواج التفضيل، تصل إلى مئة فقط. وتمتاز هذه التقنية أيضًا بتحقيق مكاسب كبيرة في القدرة على التفكير الرياضي وتوليد الأكواد، دون التأثير على الأداء العام للنماذج.

بينما تتفوق النماذج المُعَدة باستخدام PaLRS على تلك المُعَدة بأساليب تقليدية مثل Direct Preference Optimization (DPO) و SimPO، تقدم هذه الطريقة الجديدة بديلاً أكثر فعالية ومرونة وأقل تكلفة. تتميز بسهولة التطبيق دون الحاجة لتدريب مكلف، مما يجعلها مناسبة للاستخدام في مختلف التطبيقات.