تحقيق التناغم التوزيعي: ثورة في تصميم المتجهات المهمة لتعلم السياق

في عالم الذكاء الاصطناعي، يعتبر التعلم داخل السياق (In-Context Learning - ICL) تقنية ثورية تسمح للنماذج اللغوية الكبيرة (Large Language Models - LLMs) بالتكيف مع مهام جديدة من خلال العروض التوضيحية. إلا أن هذه التقنية تواجه تحديات كبيرة عندما يتعلق الأمر بتكاليف الاستدلال المتزايدة مع طول السياق.

تعتبر المتجهات المهمة (Task Vectors) بديلاً واعداً حيث تقوم بضغط العروض التوضيحية إلى تمثيلات مخفية مضغوطة. ومع ذلك، تم تقييم جودة هذه المتجهات فقط من خلال دقة المهام النهائية، مما يوفر فهماً محدوداً لكيفية تصميم طرق استخراج المتجهات الأكثر فعالية.

في هذا البحث، نقدم فرضية جديدة تقضي بأن الاستدلال باستخدام المتجهات المهمة ينبغي أن يتماشى مع التوزيع التنبؤي لـ ICL. ولقياس هذا التناغم، نقدم $d_{ ext{NTP}}$ كمعيار يقيس الفجوة في احتمالات العنصر التالي بين الاستدلال المعتمد على المتجهات المهمة و IC. وكشف تحليلنا التجريبي أن هذا المقياس يعمل ك proxy لأداء النموذج، حيث يظهر علاقة سلبية قوية مع الدقة النهائية.

بدافع من هذه النتائج، طورنا طريقة المتجهات المهمة الخطية (Linear Task Vector - LTV) التي تهدف إلى تقليل $d_{ ext{NTP}}$ من خلال رسم بياني خطي مغلق يُقدر تأثيرات العروض التوضيحية عبر الانحدار. أظهرت نتائج تجريبية عبر ثمانية معايير تصنيف وخمسة نماذج LLM أن LTV تتفوق باستمرار على معايير المتجهات المهمة الحالية، حيث زادت متوسط الدقة بنسبة 9.2% في الوقت ذاته الذي خفضت فيه زمن الاستدلال.

علاوة على ذلك، قمنا بدراسة قدرة LTV على الانتقال بين مقاييس مختلفة من النماذج. بشكل خاص، تبين أن المتجهات المهمة من نموذج أكبر يمكن أن تعزز أداء نموذج أصغر بنسبة 6.4%، مما يشير إلى فوائد جديدة للتمثيلات المُستخرجة من المهام.