أين الخطة؟ كشف النقاب عن التخطيط الكامن في نماذج اللغة بتدخلات ميكانيكية خفيفة

في عالم الذكاء الاصطناعي، تظل نماذج اللغة (Language Models) إحدى الابتكارات الأكثر أهمية، لكن كيف يمكن لهذه النماذج 'التخطيط' مسبقاً لتحقيق نتائج أكثر دقة؟ هذا ما تم استكشافه في دراسة حديثة تسلط الضوء على التخطيط الكامن (Latent Planning) في نماذج مثل Qwen3 وGemma-3 وLlama-3.

تستند الدراسة إلى فكرة مثيرة تتمحور حول تشكيل 'مواقع التخطيط' التي يتم من خلالها بناء تمثيلات داخلية للكلمات المستقبلية ذات القيود الهيكلية أثناء عملية تمرير النص (Forward Pass). استخدم الباحثون طريقة تحليل جديدة يطلق عليها 'مبدأ الرصف الخطي' (Linear Probing) وتدخلات المساحة (Activation Patching) للتعرف على كيفية تشكيل هذه التمثيلات، وذلك من خلال اختبار يتضمن إكمال الأبيات الشعرية.

أظهرت النتائج أن معلومات القافية المستقبلية يمكن فك تشفيرها خطياً عند حدود الأبيات، حيث تزداد قوة هذا الإشارة مع زيادة حجم النموذج في جميع النماذج الثلاثة. لكن ما يثير الاهتمام هو أن النموذج Gemma-3-27B هو الوحيد الذي اعتمد بشكل قاطع على هذا التشفير، حيث تم رصد انتقال محوري من كلمة القافية إلى حدود السطر عند الطبقة رقم 30.

أجريت عملية لتحليل أفضل لإمكانيات التوجيه المختصرة، مما ساعد في استعادة حوالي 90% من القدرة على توجيه القافية في حدود الأسطر. ومن اللافت أنه على الرغم من ذلك، فإن النماذج الأخرى لم يكن لها تأثير كبير عند حدود السطر، وظلت تعتمد على كلمة القافية طوال عملية التوليد.

هل نجحت هذه النتائج في تغيير فهمنا لكيفية عمل نماذج اللغة، وهل سيكون لها عواقب على تطوير نماذج أكثر ذكاءً؟ شاركونا آراءكم وإبداعاتكم حول هذا الموضوع.