في الآونة الأخيرة، أثبتت الأبحاث أن نماذج اللغات الضخمة (LLMs) قادرة على تحقيق أداء قوي في التفكير المنطقي عند دمجها مع تمثيلات رمزية وظيفية تصف بشكل مجرد خوارزميات التجوال في الرسوم البيانية وأسلوب التفكير خطوة بخطوة في بيئات التعلم القليل (few-shot learning). ومع ذلك، لا يزال من غير الواضح كيف تفهم هذه النماذج المعنى المجرد لكل خطوة استنتاجية والخوارزمية العامة من خلال عدد محدود من النماذج.

يهدف هذا العمل إلى تحديد مواقع رؤوس الانتباه المسؤولة عن خطوات الاستنتاج الفردية وتوصيف أنواع المعلومات التي تُنقل فيما بينها. في البداية، نقوم بتنسيق خطوات الاستنتاج الأساسية مع لوغاريتمات الرموز المقابلة لها ضمن إطار عمل التوجيه المعتمد على الرموز (symbolic-aided Chain-of-Thought, CoT). تكشف تحليلاتنا أن مواضع الرموز التي توجه عملية الاستنتاج ترتبط بنتائج ثقة منخفضة ناتجة عن قيود على تلبية أنماط سلوك الاستنتاج في النماذج.

بعد ذلك، نعتمد تقنيات تحليل الوساطة السببية (causal mediation analysis) لتحديد رؤوس الانتباه المسؤولة عن هذه الأنماط. تشير نتائجنا أيضًا إلى أن نماذج اللغات الضخمة تسترجع المعلومات الواقعية والمبنية على القواعد للمهام الفرعية من خلال رؤوس انتباه متخصصة (بنسبة تقارب 3% من إجمالي الرؤوس)، بينما تسهم الطبقات العليا في تسهيل تكامل المعلومات وظهور استراتيجيات التفكير العالمية (مثل خوارزميات التجوال في الرسوم البيانية) التي تنسق بين خطوات استنتاج فرعية متعددة لحل المهمة الكلية.

ما رأيكم في هذه التطورات المثيرة في مجال الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!