في تطور مثير في مجال نماذج اللغة، أثبتت دراسة جديدة حول نماذج SR-TTT (Surprisal-Aware Residual Test-Time Training) أنها تعاني من قاعة التعلّم الفعلية المتعلقة باسترجاع المعلومات. وقد أظهرت النتائج أن ما تم الإبلاغ عنه سابقًا من مزايا كبيرة كان في الواقع مجرد ضرب من خيال تقييم النتائج.

في النسخة الأولى من هذه الدراسة، تم عرض SR-TTT كنموذج يحوّل الرموز ذات الارتفاع المفاجئ إلى ذاكرة انتباه دقيقة، مما نتج عنه تحسينات في الدقة. ومع ذلك، كشفت النتائج الجديدة أن الخسارة والقياسات تم حسابها بطريقة غير صحيحة، مما سمح للنموذج بتكرار الإجابات الواضحة في المدخلات.

علاوة على ذلك، أظهرت التجارب أن الذاكرة التي تم توجيهها كانت تتعامل مع الرموز المستقبلية بشكل غير منطقي، مما أضاف المزيد من التعقيد للموقف. لهذا السبب، تم إصدار نسخة مصححة من الدراسة تتضمن اختبارات تفاعلية لتجنب الأخطاء السابقة.

توظيف هذه النماذج يتطلب الحذر، حيث أظهرت الدراسة أن التخزين يعتمد بشكل منهجي على المواقع، مما يعني أن استرجاع المعلومات في بداية السجل لا يعمل كما هو متوقع. وفي تجاربهم، لم يستطع النموذج تحقيق أي تطابق دقيق خلال 2250 تجربة، مما يشير إلى فشل جذري في توفير الأداء المطلوب.

هذا الفشل يطعن في الافتراضات الأساسية لنموذج SR-TTT، حيث تم الكشف عن وجود مشكلات متعددة في قياس الأداء. نتائج هذه الدراسة ليست مجرد اكتشافات بسيطة، إنما تأتي كتحذير أولئك العاملين في تطوير تقنيات الذكاء الاصطناعي المعتمدة على الذاكرة المفاجئة.

هل أنتم معنيون بتطورات الذكاء الاصطناعي والعمليات الذكية المتقدمة؟ شاركونا آراءكم واستفساراتكم في التعليقات!