في عالم الذكاء الاصطناعي وتعلم الآلة، لا تتوقف الابتكارات عند حافة الخيال. فقد تمثل نماذج اللغات الضخمة (LLMs) نقطة تحول جديدة في كيفية تعزيز الحلول المعقدة عبر الأتمتة. في دراسات حديثة نشرت على منصة arXiv، يتم تسليط الضوء على قدرة هذه النماذج في دعم اتخاذ قرارات فعالة في مهام تحسين التجميع (Combinatorial Optimization).

تقوم الأبحاث على تحليل قدرة النماذج المفتوحة الوزن في استخراج الميزات اللازمة لعمليات القرار. يدعو هذا البحث للاختبار ما إذا كانت المظاهر الداخلية التي تعلمتها هذه النماذج يمكن أن تدعم مهام القرار المستقبلية. الهدف هنا ليس استبدال أجهزة استخراج الميزات الدقيقة أو اقتراح خوارزمية جديدة، بل لتقييم ما إذا كانت هذه التمثيلات قابلة لإعادة الاستخدام في تحسين الخوارزميات.

تستخدم المنهجية التي تم تطويرها استعلامات مباشرة لاختبار فعالية استخراج الميزات، بالإضافة إلى تحليلات لفهم ما إذا كانت هذه المعلومات مشفرة بشكل ضمني في الطبقات الخفية للنموذج. يمتد هذا الإطار التحليلي ليشمل مهام اختيار الخوارزميات ذات الصلة بكل مثيل.

لقد شملت التجارب أربعة مشكلات مرجعية وثلاثة تمثيلات للمثيلات وخمسة نماذج مفتوحة الوزن تتراوح من 3 مليار إلى 120 مليار معلمة، بما في ذلك عائلات Llama وGPT. تكشف النتائج عن قدرة محدودة على استرداد الميزات بشكل صريح، خاصة تلك التي تتطلب حسابات منظمة، بينما يبقى جزء من هذه المعلومات مشفراً بشكل ضمني في الحالات الخفية.

تظهر البيانات أن هناك فجوة مستمرة بين الترميز الضمني والاسترداد الصريح، وتقلل حجم النموذج من هذه الفجوة. بالإضافة إلى ذلك، يؤثر أسلوب التفكير المتسلسل بقوة على حجم النموذج، ورغم كل ذلك تبقى الفجوة مفتوحة. من الجدير بالذكر أن نماذج التفكير تميل إلى التوقف عن العمل عند عدم إمكانية الحساب الموثوق. ومع ذلك، تشير النتائج إلى أن القدرة التنبؤية للتمثيلات الموجودة في الطبقات الخفية لنماذج LLMs تعادل فعالية استخراج الميزات التقليدية في جميع النماذج الخمسة، مما يدل على أنها يمكن أن تتصرف كوصف بديل فعال لمهام تحسين القرار.