في عالم الذكاء الاصطناعي، ظهرت نماذج الفضاءات الحالة (State Space Models) كبديل فعال لنموذج المحولات (Transformers)، حيث أظهرت دراسة جديدة أن هذه النماذج يمكن أن تتفوق أو تنافس نظيراتها التقليدية في مهام فهم الكود البرمجي. على الرغم من الأداء العالي، تبقى الآليات الداخلية لهذه النماذج نقطة غامضة.

تقدم هذه الدراسة الأولى من نوعها تحليلاً منهجياً لمدى ما تعلمه نماذج الفضاءات الحالة عن البرمجة، مع مقارنة مباشرة بينها وبين نماذج المحولات. أظهرت النتائج أن نماذج الفضاءات الحالة تلتقط البنية التركيبية والدلالية بشكل أكثر فعالية في مرحلة التدريب المسبق، لكنها تميل إلى نسيان بعض العلاقات المهمة أثناء التوجيه الدقيق على بعض المهام.

للتعمق في هذا السلوك، تم تقديم SSM-Interpret، إطار عمل يعتمد على مجال التردد يُظهر تحولًا طيفيًا نحو الاعتماديات القصيرة خلال مرحلة التوجيه الدقيق. بناءً على هذه النتائج، تم اقتراح تعديلات هيكلية تحسن بشكل كبير أداء نماذج الفضاءات الحالة، مع تحقيق زيادة تصل إلى 6 درجات في نتائج استرجاع المعلومات المتعلقة بالكود الطبيعي (NLCodeSearch).

تعكس هذه النتائج أن التحليل لا يفسر سلوك النماذج فحسب، بل يقودنا نحو تصميمات أفضل يمكن أن تحدث ثورة في كيفية فهم الشيفات البرمجية. ما رأيكم في التوجهات الجديدة في هذا المجال؟ شاركونا آراءكم بالتعليقات.