في ظل التطور السريع لنماذج الذكاء الاصطناعي، تظهر الحاجة إلى تحسين دقة استنتاجاتها. دراسة حديثة تناولت موضوع تحسين استنتاجات نماذج اللغات الضخمة (Large Language Models) من خلال تصحيح التحيز الهيكلي في ذاكرة KV.

فقد أظهرت النتائج أن استخدام طرق ترتكز على الانتباه في إدارة ذاكرة KV، مثل H2O، يمكن أن يساهم في ضغط الحالة المحدودة للذاكرة في النماذج ذات السياقات الطويلة. تعتمد هذه الطرق على تقييم رموز المدخلات وفقاً لطاقة الانتباه المجمعة، بحيث تظل الرموز ذات الطاقات الأعلى.

ومع ذلك، تم اكتشاف أن مدخلات ذات الهيكل المعقد مثل JSON المتداخل، تُظهر ميلًا للحفاظ على الضجيج أكثر من المحتوى الفعلي. بالنسبة للرموز الهيكلية، تبين أنها تُحتفظ بمعدل يفوق الرموز الدالة على المحتوى بمعدل يصل إلى 1.8 مرة، مما يؤدي إلى تدهور دقة الاستنتاج بشكل كبير.

لتجاوز هذه المشكلة، وُجد أن تقليل الاحتفاظ بنوع الرموز الهيكلية يعد من أفضل الحلول المتاحة. علاوة على ذلك، تم اقتراح نظام توزيع دوري مشروط على أساس تقييم Score الخاص بSnapKV، والذي يحسن من الفجوة الناتجة عن التقنيات السابقة.

تم إجراء تجارب مضادة أثبتت أن تقليل اعتماد الرموز الهيكلية يمكن أن يسهم بشكل كبير في تحسين الأداء، مما يحقق زيادة ملحوظة في دقة الاستنتاج بمرونة ودون تأثير على الموارد. هذه النتائج تمثل خطوة رئيسية نحو تحسين التفاعل مع البيانات واستخراج المعلومات عبر نماذج الذكاء الاصطناعي.

ماذا تعتقد في هذه التطورات؟ هل تعتقد أنها ستحسن فعلاً من أداء هذه النماذج؟ شاركونا آراءكم!