تحقيق التناغم التوزيعي: ثورة في تصميم المتجهات المهمة لتعلم السياق

في عالم الذكاء الاصطناعي، يعتبر [التعلم](/tag/التعلم) داخل [السياق](/tag/السياق) (In-Context Learning - ICL) [تقنية](/tag/تقنية) ثورية تسمح للنماذج اللغوية الكبيرة (Large Language [Models](/tag/models) - [LLMs](/tag/llms)) بالتكيف مع مهام جديدة من خلال العروض التوضيحية. إلا أن هذه [التقنية](/tag/التقنية) تواجه [تحديات](/tag/تحديات) كبيرة عندما يتعلق الأمر بتكاليف [الاستدلال](/tag/الاستدلال) المتزايدة مع طول [السياق](/tag/السياق).

تعتبر المتجهات المهمة (Task Vectors) بديلاً واعداً حيث تقوم بضغط العروض التوضيحية إلى [تمثيلات](/tag/تمثيلات) مخفية مضغوطة. ومع ذلك، تم [تقييم جودة](/tag/[تقييم](/tag/تقييم)-جودة) هذه المتجهات فقط من خلال [دقة](/tag/دقة) المهام النهائية، مما يوفر فهماً محدوداً لكيفية [تصميم](/tag/تصميم) طرق استخراج المتجهات الأكثر فعالية.

في هذا البحث، نقدم فرضية جديدة تقضي بأن [الاستدلال](/tag/الاستدلال) باستخدام المتجهات المهمة ينبغي أن يتماشى مع التوزيع التنبؤي لـ ICL. ولقياس هذا التناغم، نقدم $d_{ ext{NTP}}$ كمعيار يقيس [الفجوة](/tag/الفجوة) في [احتمالات](/tag/احتمالات) العنصر التالي بين [الاستدلال](/tag/الاستدلال) المعتمد على المتجهات المهمة و IC. وكشف تحليلنا التجريبي أن هذا المقياس يعمل ك proxy لأداء النموذج، حيث يظهر علاقة سلبية قوية مع [الدقة](/tag/الدقة) النهائية.

بدافع من هذه النتائج، طورنا طريقة المتجهات المهمة الخطية (Linear Task Vector - LTV) التي تهدف إلى تقليل $d_{ ext{NTP}}$ من خلال [رسم بياني](/tag/رسم-بياني) خطي مغلق يُقدر [تأثيرات](/tag/تأثيرات) العروض التوضيحية [عبر](/tag/عبر) [الانحدار](/tag/الانحدار). أظهرت نتائج تجريبية [عبر](/tag/عبر) ثمانية [معايير](/tag/معايير) [تصنيف](/tag/تصنيف) وخمسة [نماذج](/tag/نماذج) [LLM](/tag/llm) أن LTV تتفوق باستمرار على [معايير](/tag/معايير) المتجهات المهمة الحالية، حيث زادت متوسط [الدقة](/tag/الدقة) بنسبة 9.2% في الوقت ذاته الذي خفضت فيه زمن [الاستدلال](/tag/الاستدلال).

علاوة على ذلك، قمنا بدراسة قدرة LTV على الانتقال بين [مقاييس](/tag/مقاييس) مختلفة من [النماذج](/tag/النماذج). بشكل خاص، تبين أن المتجهات المهمة من [نموذج](/tag/نموذج) أكبر يمكن أن تعزز [أداء](/tag/أداء) [نموذج](/tag/نموذج) أصغر بنسبة 6.4%، مما يشير إلى فوائد جديدة للتمثيلات المُستخرجة من المهام.