في عالم الذكاء الاصطناعي الحديث، تواجه نماذج اللغات الضخمة (LLMs) تحديات جديدة تتعلق بكفاءة الضغط وتحسين الذاكرة. تكمن المشكلة في أن هذه الأنظمة تعمل على تقليل السياق السابق بشكل غير مدرك عند تنفيذ مهام متعددة. وفي هذا السياق، تم التعرف على نوع جديد من التعليمات يسمى قيود الجلسة (Session Constraints) مثل "لا تحذف أي رسائل إلكترونية حتى أؤكد"، التي تهدف إلى توجيه سلوك النماذج خلال الجلسة. ولكن، خلال عملية الضغط، تتعرض هذه القيود للتجاهل، مما يؤثر سلبًا على أداء النظام.
لكمية هذا الفقد، تم تقديم أداة تقييم جديدة تدعى COMPINT، التي تهدف إلى قياس أداء المُضغِطين في ثلاثة سيناريوهات طويلة السياق: المحادثات متعددة الجولات، المسار الوكلي، والبحث طويل الأمد. تشير النتائج إلى أن مُضغِطات السياق الحالية تحافظ على حوالي 17% فقط من قيود الجلسة المدخلة، مما يعني أن معظمها يؤدي بشكل أقل كفاءة من تنفيذ نفس المهمة بدون ضغط.
تظهر التحليلات أن مستوى الاحتفاظ يختلف بشكل ملحوظ بناءً على نوع المُضغِط، والنص المحفز، وطول السياق، وصياغة قيود الجلسة، وموقع الإدخال، مما يدل على أن هذه الخسائر منهجية وليست مرتبطة بأي إعداد منفرد.
بالإضافة إلى ذلك، تم اقتراح مُستخرج واعي لقيود الجلسة (SC-aware extractor) للعمل جنبًا إلى جنب مع المُضغِط كنفطة إضافية، ويحقق هذا النظام احتفاظًا يزيد عن 90% عبر جميع السيناريوهات الثلاثة دون الحاجة لتعديل المُضغِط أو نموذج اللغة.
للاستزادة، يمكنكم زيارة الصفحة على GitHub للاطلاع على الأداة وتنفيذاتها.
استكشاف الخسائر في ضغط السياق: كيف يؤثر على نماذج الذكاء الاصطناعي؟
كشف الباحثون عن مشكلة جديدة تواجه أنظمة نماذج اللغات الضخمة (LLMs) أثناء ضغط السياق، مما يؤثر على نجاح التعليمات المحددة. تعرف على أهمية أدوات التقييم الجديدة لتحسين الأداء.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
