تعتبر نماذج اللغة الكبيرة (Large Language Models) من أبرز التقنيات الحديثة في مجال الذكاء الاصطناعي، حيث تعمل على معالجة كم هائل من البيانات بشكل سريع ودقيق. ومع ذلك، فإن تكلفة الاستدلال في هذه النماذج قد تكون مرتفعة، مما يحفز الباحثين على إيجاد حلول مبتكرة لتحسين الأداء.

في هذا الإطار، تم تطوير نظام توجيه ديناميكي يطلق عليه اسم "التوجيه الواعي بالتاريخ" (History-Aware Routing) أو اختصاراً HeRo، والذي يغير الطريقة التي تتعامل بها النماذج مع البيانات. يُتيح التوجيه الديناميكي الفرصة لتخطي طبقات عديدة بناءً على الحالة الحالية لكل توكن (Token)؛ لكن الطرق الحالية تقتصر على اتخاذ قرارات محلية تضمن عدم اعتدادها بالتتابع التاريخي للقرارات السابقة.

يسمح HeRo بنظام ذاكرة يقوم بتخزين وتحديث حالة التوجيه من خلال انتباه خطي (Linear Attention). هذا يعني أنه يتم الاحتفاظ بسجل تاريخي للقرارات السابقة، والذي يمكّن النموذج من اتخاذ قرارات أكثر دقة تتناسب مع المدخلات الحالية.

عند تطبيق HeRo على نماذج Llama 3.1-8B وLlama 2-7B وLlama 2-13B، أظهر نتائج مثيرة للإعجاب حيث تمكن من تخطي 26.87% من معلمات النموذج مع الحفاظ على أداء يفوق 100% من الأداء الكثيف عبر سبعة مؤشرات أداء، وهو إنجاز بالغ الأهمية.

تؤكد الدراسات التجريبية أن إزالة التوجيه التاريخي تؤدي إلى انخفاض ملحوظ في الأداء، مما يبرز أهمية نظام الذاكرة في تعزيز دقة التوجيه الديناميكي مقارنة بالأساليب التقليدية.