شهدت السنوات الأخيرة اهتمامًا متزايدًا في تقنية ضغط السياق (Context Compression) التي تهدف إلى تحسين أداء نماذج الذكاء الاصطناعي، وخاصة نماذج التحويل مثل Transformers، من خلال تقليل تكاليف الاستدلال. يستهدف ضغط السياق استبدال المدخلات الطويلة بتمثيلات قصيرة تم إعدادها مسبقًا، مما يعزز من فعالية العمليات المعقدة مثل التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation) أو اختصارًا RAG.

ومع ذلك، كان يواجه الباحثون تحديات في قياس التقدم المحرز في هذا المجال بسبب عدم وجود تقييمات وأساليب قياسية موحدة. ومن ثم، تم تطوير مجموعة تقييم جديدة تحت اسم "BenchPress"، والتي تُعَد معيارًا سهل الاستنساخ يمكن استخدامه لتقييم تقنيات ضغط السياق عبر نماذج متعددة، ومجموعات بيانات متنوعة، ونسب ضغط متفاوتة، والسياقات القصيرة (أقل من 1000 توكن) إلى المتوسطة (أقل من 8000 توكن).

تستهدف الأساسيات الجديدة التي تم وضعها تحسين ضغط السياق اللين (Soft Context Compression). وقد أظهرت النتائج تفوق طريقتين بسيطتين على الطريقة الشائعة المستخدمة في ضغط السياق المسكن (Causal Compression-Token). تتضمن هاتين الطريقتين "متوسط التجميع" ونسخة مزدوجة الاتجاه من ضغط السياق، مما يظهر أهمية الانتباه الثنائي الاتجاه عند حساب التمثيلات المضغوطة.

تشير النتائج إلى أن التجميع البسيط هو مشغل تعبير قوي لعملية الضغط، ويؤكد على تحقيق نتائج أفضل بفضل وجود الانتباه الثنائي الاتجاه. إن تطبيق هذه الأساليب يسهم بشكل كبير في تحسين فهم القراءة ويعد خطوة فعالة نحو تقليل تكاليف الاستدلال في الذكاء الاصطناعي.

ما رأيكم في هذه التطورات الجديدة في ضغط السياق؟ شاركونا آرائكم في التعليقات!