في عالم الذكاء الاصطناعي، يلعب توزيع البيانات التدريبية دورًا محوريًا في تعزيز أداء نماذج اللغات الكبيرة (Large Language Models - LLMs). مع التطور المستمر لتقنيات التدريب، أصبح تحسين هذا التوزيع ليس مجرد خيار بل ضرورة ملحة. هنا تأتي تقنية DRIFT (Data Refinement via On-Policy Influence Functions for Supervised Fine-Tuning) كحل مبتكر لتحديات تحسين البيانات.

تعمل DRIFT على معالجة قيود منهجيات البيانات التقليدية التي تركز بشكل أساسي على تسريع التدريب تحت ميزانيات محدودة دون النظر إلى تحسين الأداء الأقصى للنموذج. بدلاً من مجرد التعرف على مجموعة أصغر من البيانات التي تحتفظ بالأداء، يركز DRIFT على تكرير توزيع البيانات نحو الحالات الأكثر قدرة على تحسين النموذج النهائي.

إحدى المزايا الرئيسية لـ DRIFT هي استخدامها لتقنيات تأثير البيانات (Influence Functions - IF) على مستوى الحالات. لكن ما الذي يميز هذا الابتكار؟

تظهر الدراسات أن الصيغ القياسية لتأثير البيانات تواجه صعوبات بسبب فجوات هيكلية: gap في القرب الناتج عن أهداف التحقق غير المتسقة، وانحياز كبير نحو معيار التدرج. وفي هذا الإطار، تُظهر DRIFT كيف يمكن للنموذج الاعتماد على بياناته الخاصة كأهداف للتقييم، مما يقلل من فجوة القرب بشكل فعلي.

علاوة على ذلك، تُطبق DRIFT وزنًا موقّعًا يعتمد على صحة المسار ويقوم بإزالة التحيز عن تأثيرات البيانات ضد مشكلات اختراق التدرج. وهذا يسمح لمجموعة صغيرة من استفسارات التحقق بالعمل كمرتكزات موثوقة لتوزيع التأثير على مجموعة البيانات كاملة.

لقد أظهرت التجارب على نماذج التعليم والاستدلال التي تضم 7 مليار بارامتر أن DRIFT تعزز بشكل ملحوظ الحد الأعلى للأداء، متفوقة على منهجيات تنسيق البيانات الحالية.

مما لا شك فيه أن الابتكارات في هذا المجال تتجه نحو تحسين أداء الذكاء الاصطناعي بصورة غير مسبوقة. ما رأيكم في هذا التطور المثير؟ شاركونا في التعليقات.