في عالم الذكاء الاصطناعي، تظل نماذج اللغة (Language Models) محور الابتكارات التقنية والبحثية. إحدى التحديات الرئيسية التي تواجه هذه النماذج هي كيفية التركيز على المعلومات المهمة من كميات هائلة من البيانات. في هذا السياق، أظهر البحث الجديد تقنية مبتكرة تُدعى 'الانتباه الإعلاني' (Declarative Attention) التي تهدف إلى تحسين كفاءة استرجاع المعلومات.
تُشير الدراسات إلى أن نماذج اللغة تقضي معظم وقتها في معالجة جزء صغير فقط من السياق المتاح. فعندما يسأل المستخدم عن تفاصيل سابقة في محادثة تحتوي على مليون توكن، يحتاج النموذج إلى مراجعة المعلومات بالكامل لإنتاج إجابة دقيقة. لعلاج هذا الأمر، تم إدخال نموذج 'الانتباه الإعلاني' الذي يتيح للنموذج تحديد الأجزاء المهمة من السياق نفسه، مما يساعده في تقليل عدد التوكينات التي تحتاج إلى معالجة.
يعمل 'الانتباه الإعلاني' من خلال تقسيم عملية الانتاج إلى ثلاثة أوضاع:
1. السياق الكامل.
2. منطقة محددة.
3. المخرجات الأخيرة فقط.
عند تطبيق هذه الطريقة على نماذج ذات حجم كبير مثل Gemma-4-31B و Qwen-3.6-27B، لوحظ تقليل كبير في إجمالي التوكينات المعالجة خلال التشفير بينما أظهر أداءً مقبولاً مع انخفاض طفيف في الدقة.
بالإضافة إلى ذلك، يفتح 'الانتباه الإعلاني' آفاقًا جديدة لاستكشاف أساليب الانتشار النادر، مما يوفر فرصًا لمزيد من البحث والتطبيق في المستقبل. هذا الابتكار قد يغير طريقة تفاعلنا مع نماذج اللغة، لذا يبقى السؤال: كيف سترسم هذه التقنيات الجديدة شكل الذكاء الاصطناعي في الأيام القادمة؟
لن تصدق كيف يمكن لنماذج اللغة التحكم في انتباهها بشكل مذهل!
تقدم الأساليب الجديدة في نماذج اللغة طريقة مبتكرة للتحكم في انتباهها، مما يحسن الكفاءة بشكل كبير. نتعرف على ابتكار 'الانتباه الإعلاني' وكيفية تأثيره على الأداء.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
