في عالم الذكاء الاصطناعي، تظهر نماذج اللغة الضخمة (Large Language Models) بقدرات هائلة في معالجة المشكلات المتنوعة التي تُطرح خلال المحادثات. لكن السؤال الذي يطرح نفسه هو: هل يمكن أن تُستخدم الحسابات من المشكلات السابقة لتحسين أداء النماذج في حل تحديات جديدة؟ هذا ما حاولت دراسة جديدة الإجابة عليه.

أظهرت التجارب الأولية أن تذكر التاريخ السابق يمكن أن يؤثر بشكل إيجابي أو سلبي على دقة النماذج في محادثات متتالية، حتى ضمن نفس النطاق. فقد أجريت سلسلة من التجارب للتحقق من هذا الأثر، حيث فحص الباحثون التغيرات الداخلية التي تحدث لدى النماذج عند مواجهة مشكلات مرتبطة بمشكلات سابقة.

وتمكن الباحثون من فهم كيفية احتفاظ النماذج بعلاقات مماثلة بين المشكلات الحالية من خلال إعادة التشغيل المراقب. ولتعزيز قدرة النماذج على التفكير باستخدام التاريخ المحتفظ به، تم تقديم تقنية جديدة تُعرف باسم STAIR (Stale-Token Attention for Inter-query Reuse).

تعمل تقنية STAIR على التقاط المفاتيح والقيم من عملية توليد الردود السابقة في مصرف ثابت، مما يسمح لها بإعادة توجيه الاستفسارات الحالية عند معالجة الموجهات. يتم تدريب 12,288 معلمة فقط بينما تظل النموذج الأساسي مجمدًا. وقد أظهرت نتائج تطبيق STAIR عبر ثلاثة نماذج من Qwen وأربعة معايير مختلفة أنها حسّنت متوسط دقة الإجابات المتأخرة بنسبة تصل إلى 11.67% بالمقارنة مع النموذج غير المعدل.

تشير هذه النتائج إلى إمكانيات مثيرة لنماذج اللغة الضخمة في تحسين الأداء عبر استراتيجيات جديدة تعتمد على استثمار المعرفة التاريخية. فما رأيكم في هذا التطور؟ شاركونا في التعليقات!