لقد كشفت الأبحاث الأخيرة عن قيود واضحة في أداء نماذج اللغات الطويلة (Long-Context Language Models) عند التعامل مع التجميعات غير الإضافية، مثل تقديرات عدد العناصر والعلاقات بين المجموعات، والتي تبرز في السجلات والمخرجات الجدولية والمحادثات المتعددة الأدوار.
لحل هذه المشكلة، تم اقتراح واجهة تجميع على مستوى النموذج تعتمد على تجميع البيانات بذكاء باستخدام تقنية Hash-based HyperLogLog (HLL). تعمل هذه الواجهة على الحفاظ على حالات التجميع بشكل مدمج أثناء معالجة النموذج للسياقات الطويلة.
تعمل الواجهة بشكل غير متزامن، حيث يحدد مُستخرج كل سجل ذي صلة من خلال هوية معيارية، تُخزن في الحالة HLL، مما يمكن النموذج من تجميع المعلومات عبر مقاطع السياق.
خلال التجارب، تم ضبط حجم الحالة HLL على 2 KiB مع عدم زيادة هذا الحجم مع طول السياق أو عدد العناصر في المجموعة. أظهرت التجارب فعالية هذا النهج، حيث حققت دقة بنسبة 99.2% في أداء 3,969 مهمة تجميع ثم تفكير، مع فارق طفيف بلغ 0.8 نقطة مقارنة بالتجميع الدقيق.
النتائج مشجعة، إذ حققت طريقة التجميع الجديدة تحسينات ملحوظة مقارنة بأساليب التفكير المباشر، حيث تجاوزت دقة التجميع المباشر بواقع 63.2 نقطة و56.3 نقطة على التوالي.
هذه التطورات تعد خطوة مبتكرة نحو تحسين أداء الذكاء الاصطناعي في معالجة المعلومات الطويلة والمعقدة، مما يزيد من دقة وكفاءة التطبيقات المستقبلية في هذا المجال.
هل تعتقد أن هذه الابتكارات قد تغير طريقة تعاملنا مع نماذج الذكاء الاصطناعي في المستقبل؟ شاركونا آراءكم في التعليقات.