تصحيح انحياز الموضع: لماذا لا يكفي لتجاوز حدود نموذج الانتباه الأحادي؟

في عالم الذكاء الاصطناعي، تعتبر نماذج اللغة طويلة السياق (Long-context language models) من الإنجازات الرائدة، لكن تلك النماذج تعاني من مشكلة تُعرف بانحياز الموضع (Position Bias)، حيث تُهمل المعلومات الموجودة في المواقع الوسطى. ولحل هذه المشكلة، تم اقتراح تقنية جديدة تدعى تصنيف الانتباه (Attention Sorting)، تقوم بإعادة ترتيب الوثائق بناءً على أنماط الانتباه بشكل متكرر، ولكن هذه العملية تأتي مع تكاليف مرتفعة.

تتجه الفرضية الحالية إلى أن انحياز الموضع هو العائق الرئيسي، حيث اقترح الباحثون تنفيذ طريقة جديدة تُدعى تصنيف الانتباه الأحادي المصحح (Debiased One-Pass Attention Sorting) التي تُقدر منحنى انحياز الموضع لكل عملية طلب، مما يساعد في تصحيح درجات الانتباه الخام بواسطة الطرح أو القسمة لتيسير عملية التصنيف من مرة واحدة.

ومع ذلك، أظهرت التجارب التي أُجريت على نموذجين مختلفين نتائج مثيرة: فعلى نموذج LLaMA-2-7B-32K-Instruct، لم يُحدث تصحيح الانحياز أي فرق في النتائج مقارنةً بتصنيف الانتباه من مرة واحدة غير المعاير، حيث سجّل 94.83% دقة، بينما على نموذج YaRN-Llama-2-7b-64k، أسهم التصحيح في تحسين الدقة بمقدار 8.67 نقطة مئوية، ولكنه ظل متخلفًا عن التصنيف التكراري، مغلقًا 37% فقط من الفجوة.

تشير هذه النتائج إلى أن تصحيح انحياز الموضع بمفرده لا يكفي لمنافسة الفوائد الإضافية الناتجة عن إعادة الترتيب المتكرر، مما قد يحفز الباحثين على استكشاف تقنيات جديدة لتجاوز هذه العقبات وتحسين كفاءة نماذج اللغة.