في عالم الذكاء الاصطناعي، تعتبر آلية تفسير الأداء من الأمور الأساسية لفهم كيفية عمل النماذج المعقدة. ومع ذلك، تظهر الأبحاث الحديثة التي تناولت نموذج Mamba-2 (Mamba-2) أن فرضية مفادها أن أدوات الكشف (probes) التي تحدد علامات تمثيلية معينة تقوم أيضًا بتحديد الدوائر التي تنفذ العمليات المرتبطة، قد تكون غير صحيحة في كثير من الأحيان.
خلال الدراسة، تم تحليل "مصرف الحالة" (state sink)، الذي يُعرف بنشاط بوابة دلاطة غير متناسب على رموز الحدود، وهو ما يشبه بطريقة ما "مصرف الانتباه" (attention sink). وقد أظهرت النتائج أن أدوات الكشف ذات القناة الواحدة يمكن أن تعيد فقط طبقة تنفيذ صغيرة، بينما تفوت بشكل كبير طبقة الكشف الأكبر ذات نفس العلامة التمثيلية.
في نموذج Mamba-2، يتم تقسيم "مصرف الحالة" إلى مجموعتين من الرؤوس الوظيفية: رؤوس مختصرة بفئات البداية (BOS-specialist heads) التي تشكل حوالي 5% من الرؤوس في النموذج 2.7B، وتدعم بشكل قاطع توقعات السياق بداية ونهاية الخط عبر مقاييس مختلفة. بالمقابل، تُظهر الرؤوس المزدوجة (dual heads) - التي تم استعادتها من خلال تجميع متعدد الفئات - تشابهاً تمثيلياً أقوى ولكن بتأثيرات سببية أضعف بكثير عند الاستبعاد.
هذه الدراسة تلقي الضوء على الفروق الدقيقة بين التشابه التمثيلي والتماثل الوظيفي، ما يجعل هذا الأمر مهماً لفهم سلوك النموذج في المستقبل. فعلى سبيل المثال، فإن إلغاء رؤوس مختصرة بفئات البداية قد يؤدي إلى انهيار دقة الاسترجاع لنموذج RULER NIAH من 1.00 إلى 0.00 عند استخدام طول سياق يبلغ 1024 في كل من Mamba-1 2.8B وMamba-2 2.7B، بينما تحافظ التكاملات ذات الحجم المتطابق على الأداء الأساسي.
ولتأكيد هذه النتائج، تم وضع اختبار تحكم من خلال تفريغ القناة العشوائية، مما يستبعد فكرة أن التعقيد وحده هو السبب في عدم فعالية هذه الأدوات. تشير النتائج المستخلصة إلى أن القدرة على تمييز الدوائر التنفيذية قد تكون ممكنة، ولكنها تتطلب أساليب أكثر دقة مثل إلغاء الطبقات المشروطة بدلاً من الاعتماد على الزاوية المشروطة.
تحديات فهم الذكاء الاصطناعي: كيف تفشل أدوات الكشف في التعرف على تنفيذ Mamba-2!
تظهر دراسة جديدة أن أدوات الكشف المستخدمة في النماذج اللغوية مثل Mamba-2 قد تفشل في تمييز بين مستويات التنفيذ المختلفة. النتائج تشير إلى ضرورة إعادة التفكير في كيفية قياس فعالية هذه النماذج.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
