تُعد مشكلة التفكير طويل الأمد واحدة من التحديات الجوهرية التي تواجه نماذج اللغة الكبيرة (LLMs) في سياقات المكافآت المحدودة. إذ يظهر أن هذا التعثر ينشأ من تحيزين رئيسيين يتم إدخالهما بواسطة المساحات المعقدة للتفكير: تحيز الاستكشاف، حيث يجذب النموذج نحو فروع محلية قابلة للفهم ولكنها غير مستقرة هيكليًا، وتحيز التجميع، حيث تتجمع الانحرافات المحلية عبر العمق وتعيق المكافآت النادرة.

لتناول هذا الإشكال، نستعرض "تحليل الإغلاق الرمزي" (Symbolic Closure Analysis) كعدسة نظرية تعيد تشكيل كيف تؤدي الهياكل المتفرعة والمكافآت المحدودة إلى هذه التحيزات في التفكير طويل الأمد من خلال القبول المحلي. كما تُعتبر هذه الآلية مبدأً تصميميًا لفرض قيود هيكلية في المهام الأقل-formal.

انطلاقاً من هذا التحليل، نُقدّم SAGE (الإرشاد الهيكلي وفقًا للقبول)، وهو إطار عمل موحد يضخ إرشادات هيكلية للتخفيف من تحيز الاستكشاف وتحيز التجميع في التفكير طويل الأمد. يُجمع SAGE بين نوعين تكميليين من الإرشادات الهيكلية:
- "تخفيف الجبر" (Algebraic Sparsification)، الذي يقوم بتوجيه الخيارات المقبولة محليًا نحو فضاءات فرعية جبرية مُعرفة لتخفيض الانقسام الزائف والتخفيف من تحيز الاستكشاف.
- "الإرشاد الهيكلي المفرط" (Hyperbolic Structural Guidance)، الذي يُضمّن حالات التفكير في مساحة ذات انحناء سلبي لتقديم إشارات كثيفة عبر العمق والمساعدة في تخفيف تحيز التجميع.

أظهَرنا من خلال 12 اختباراً و7 عائلات نماذج أن SAGE يتفوق على العديد من الأسس التنافسية. على وجه الخصوص، حقق SAGE تحسينًا يصل إلى 8 أضعاف في مشكلة أندروز-كورتيس، وهي مهمة مفتوحة في العالم الواقعي تتطلب التفكير طويل الأمد.

للمزيد، يمكنكم الاطلاع على الشيفرة البرمجية عبر هذا الرابط: SAGE GitHub Repository. ما رأيكم في هذا الابتكار الرائع؟ شاركونا بتعليقاتكم!