عندما يحل تلميذ روضة الأطفال مسائل التفاضل: دراسة تسرب القدرات في نماذج التفكير المبنية على الأدوار

ربما تبدو فكرة أن يحل تلميذ في مرحلة الروضة مسائل الحساب المعقدة أمراً غير منطقي، لكن دراسة جديدة أكدت أن نماذج التفكير المبنية على الأدوار قد تُظهر مواهب غير متوقعة. في هذه الدراسة، تم استكشاف مشكلة تسرب القدرات (Role-Capability Leakage) في النماذج المعتمدة على الأدوار، حيث تتجاوز هذه النماذج الأخذ بعين الاعتبار مستوى الأداء المتوقع بناءً على الدور الموكّل لها.

على سبيل المثال، يُفترض أن نموذجاً يُطلب منه التصرف كطالب في الروضة يجب أن يتوقع أداءً يعكس قدراته في هذا المستوى، وليس احترافه في مسائل التفاضل. ولتقييم هذه الظاهرة، تم تقديم معيار جديد يُسمى RoleCapBench، الذي يقيس تسرب القدرات عبر ستة أدوار تعليمية وأربعة مستويات تقييم تبدأ من المرحلة الابتدائية وتمر عبر مستويات A-level.

وجدت الدراسة أن النماذج، بالرغم من قدرتها على إنتاج نصوص مقنعة في سياق الدور، إلا أنها فشلت في تنسيق قدراتها الأساسية مع الأدوار المخصصة لها. وفقًا للتحليل، حققت النماذج درجات قوية في إحدى معايير أدائها (1.218–1.389) ولكنها حافظت على دقة لا تتناسب مع الدور (0.811–0.898).

تظل مشكلة تسرب القدرات قائمة تحت ظروف تحفيز متعددة، حتى عند وضوح التعليمات التي تُطلب من النموذج مطابقة مستوى قدرات الدور. لمواجهة هذه المشكلة، تم اقتراح تقنية جديدة تُسمى Injection، تتضمن إرشادات قدرة محددة للدور مع استجابة مبدئية مُعدة مسبقاً. أدت هذه التقنية إلى تحسين توافق القدرات عبر النماذج، مع تقليل دقة الأداء العالي حتى 0.562، بينما حافظت على دقة الأداء في الدور مع انخفاض طفيف بأقل من 0.058.

ستكون جميع المواد المستخدمة في الدراسة متاحة للجمهور بمجرد قبولها، مما يُعد خطوة نحو تعزيز الفهم في كيفية تحسين هذه النماذج وتطبيقها في مجالات التعلم والذكاء الاصطناعي.