في عالم الذكاء الاصطناعي، تُعتبر نماذج اللغات الضخمة (Large Language Models) من أبرز الابتكارات التي غيرت طريقة تفاعلنا مع التكنولوجيا. ومع دخول مفهوم التعلم الفوري (In-Context Learning) حيز الاستخدام، أصبحت هذه النماذج قادرة على أداء مهام جديدة استنادًا إلى أمثلة تظهر لها دون الحاجة لتحديث الأوزان. لكن، كان من الصعب فهم كيفية عمل التعلم الفوري ميكانيكياً، إذ يتطلب كل استنتاج معالجة جميع الأمثلة معاً، مما يؤدي إلى عدم الكفاءة في الاستخدام.

أبحاث سابقة حاولت تبسيط التعلم الفوري من خلال ضغطه إلى متجهات تنشيط ثابتة تُستخرج من طبقات أو مواقع معينة. لكن هذا الأسلوب لم يُحقق النجاح المطلوب في المهام المعقدة التي تتطلب تفاعلات دقيقة مع المدخلات. ومع ذلك، من خلال تحليل عملية التعلم الفوري، وجدنا أن مخرجات كل رأس اهتمام (Attention Head) هي تحويل هندسي لمقابله المخفي في السياق، وأن معلمات هذا التحويل مستقرة تجريبياً عبر العينات لمهمة معينة.

استنادًا إلى هذه الاكتشافات، نقدم مفهوم "المشغل المهم" (Task Operator)، والذي يعيد تشغيل هذا التحويل كتحديث مُستمد تحليلاً لمخرجات الاهتمام. تُظهر نتائجنا أن "المشغل المهم" يحقق أداءً أفضل مقارنة بالطرق السابقة عبر مهام متعددة تشمل الكلمات، والخوارزميات، والاستدلال. بالإضافة إلى ذلك، يتجمع المعرفة المستخرجة في دائرة نادرة خاصة بالمهمة عبر الطبقات والمواقع المختلفة، مما يسمح بتوسيع الفعالية دون الحاجة إلى زيادة نافذة السياق. يمكنك الاطلاع على كودنا المتاح على GitHub.

لا تفوت فرصة الانغماس في عالم التعلم الفوري والتعرف على كيفية تطوير أدوات جديدة تُحسِّن من أداء نماذج الذكاء الاصطناعي! ما رأيكم في هذا التطور الجذري؟ شاركونا أفكاركم وتجاربكم في التعليقات.