في عالم الذكاء الاصطناعي، يجري تطوير نماذج اللغة الكبيرة (LLMs) بشكل متسارع، لكن التحديات لا تزال قائمة. يعد التعلم المعزز (Reinforcement Learning) بعد التدريب وسيلة فعالة ترسخت في منحى "التنفيذ ثم التحديث"، لكنها تؤدي حتمًا إلى توليد بيانات تدريب خارج السياسة. وهو ما يعد عقبة رئيسية أمام تحسين النموذج.

للتغلب على هذه المشكلة، تم اقتراح مفهوم أخذ العينات المهمة (Importance Sampling)، لكن النسب على مستوى الرموز يمكن أن تتراكم عبر تسلسلات طويلة، مما يؤدي إلى زيادة شديدة في التباين. لذا، تم التفكير في فكرة "نقل" هذه الرموز خارج السياسة إلى رموز ضمن السياسة، لتفادي الحاجة لتصحيح الدرجات المهمة.

استنادًا إلى هذه الفكرة، اقترح فريق البحث اختيار العينة المهمة الانتقائية (Selective Importance Sampling - SIS)، المستوحاة من فكرة أخذ العينات الرفضية. يعمل هذا النظام من خلال اعتبار النموذج خارج السياسة كأداة اقتراح، وتنفيذ اختبار رفض على مستوى الرموز. حيث تُعتبر الرموز المقبولة كرموز ضمن السياسة وتحصل على درجة أهمية موحدة، بينما تُحافظ الرموز المرفوضة على التصحيح القياسي المطبق من خلال أخذ العينات المهمة.

أثبتت الدراسات النظرية أن منهج SIS يساهم بشكل فعّال في تقليل الفجوة بين تقديرات التدرج على مستوى الرموز والتسلسلات. كما أنه يعمل كإضافة بسيطة تعدل فقط نسبة الأهمية في فقدان السياسة، دون إضافة عبء زمني كبير، ويمكن دمجه مع مجموعة واسعة من خوارزميات التعلم المعزز بعد التدريب.

أظهرت التجارب التي أجريت على نماذج اللغة الكبيرة ذات الكثافة العالية والتحليل المتعدد في مجالات الرياضيات ومعايير الوكلاء أن الاختيار الانتقائي للعينة مهم (SIS) قد حسّن بشكل مستمر جميع الأهداف، مع تقديم مستوى أعلى من الثبات في مواجهة البيانات خارج السياسة. إن هذا التطور يُعد خطوة هامة نحو تحسين أداء نماذج الذكاء الاصطناعي وجعلها أكثر فعالية في التعامل مع تحديات العالم الحقيقي.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات!