كيف تتضافر الأمثلة المحدودة لخلق تأثيرات قوية في التعلم السياقي؟

في عالم الذكاء الاصطناعي، تُعد مهارة التعلم السياقي (In-Context Learning) من الظواهر المثيرة للاهتمام. فعلى الرغم من قدرتها الملحوظة في إتقان المهام الجديدة باستخدام أمثلة قليلة، إلا أن فهم الآلية المحددة التي تقوم بها هذه الأمثلة بتشكيل متجهات الوظيفة (Function Vectors) ما زال بحاجة إلى توضيح. يتناول بحثنا هذا كيفية تأثير الأمثلة القليلة على سلوك نماذج الذكاء الاصطناعي بشكل عميق.

وجدنا أن متجه الوظيفة المُستخدم في سياق معين يمكن تمثيله بدقة من خلال تركيبة خطية من متجهات فرعية تابعة للأمثلة. هذا يشير إلى أن المساهمات من كل عرض فردي تكون مضافة وقابلة للتكرار. لكن الأمر لا يقتصر فقط على البساطة الإضافية، حيث نكتشف أن النماذج تعمل على توسيع تمثيلات الأمثلة الفردية بناءً على السياق، مما يتيح لها إعادة وزن الأمثلة وفق أولويات معينة. تتجه الانتباهات نحو تلك الأمثلة الأكثر إبلاغاً والأقل إرباكاً.

وعبر تفكيك causal، تمكنا من فصل توجيه Query-Key عن تحديثات القيمة (Value Updates)، واكتشفنا أن المساهمات الأكثر اتساقًا لجودة متجه الوظيفة تأتي من محاذاة Query-Key، وخصوصًا في الحالات الغامضة. بينما تكون الآثار المرتبطة بالقيمة أكثر تباينًا. بفضل هذه النتائج، تمكنا من توحيد مفهوم الإضافة مع إعادة وزن الانتباه القائم على السياق في إطار آلي قابل للاختبار، مما يُثري فهمنا لكيفية الإقدام على المهام باستخدام الأمثلة المحدودة.