مع تزايد أهمية النماذج اللغوية الضخمة (LLMs) في حل المشكلات الرياضية، تظهر الحاجة الملحة لفهم كيفية أداء هذه النماذج تحت قيود مختلفة. في إطار دراستنا الأخيرة، قمنا بتحليل "قوة التمثيل تحت قيود التفكير القابل للتنفيذ"، وهو موضوع بالغ الأهمية للباحثين والمطورين في هذا المجال.

تتناول الدراسة حساسية تمثيل النماذج اللغوية في سياق حل المسائل الرياضية، حيث تم إجراء تقييمات متعددة باستخدام نماذج مختلفة. وقد تم توظيف مجموعة مختارة من المشكلات الرياضية المعادلة لبدء التقييم تحت شروط عديدة. ومن الجدير بالذكر أن النتائج كشفت عن تغيرات كبيرة في دقة الإجابات بين الصيغ التمثيلية المختلفة، مما يدل على وجود "معدلات انزلاق" واضحة بين المواقف المختلفة مثل قصص المشاكل، والمعادلات الرمزية، والمشكلات الكلامية.

تُظهر نتائج البحث أيضًا أن تلك الانحدارات النظامية تحدث عند إعادة صياغة المشكلات بشكل متسق، مما يعني أن حتى التغييرات الطفيفة يمكن أن تؤثر سلبًا على الأداء، رغم أن الهيكل الرياضي يظل محفوظًا. في دراسة لاحقة، تم تقييم قدرة النماذج على تنفيذ التعليمات البرمجية القابلة للتنفيذ بلغة بايثون، وكشف هذا التقييم عن قدرة خفية للنماذج، لكن لم يكن هناك تحسن دائم في قوة التمثيل.

بشكل عام، تسلط النتائج الضوء على ضرورة اعتبار التمثيل كمؤشر تصميم أولي عند تقييم النماذج اللغوية، خاصة في الأنظمة المساعدة بالذكاء الاصطناعي. قد تفتح هذه الفجوات مجالات جديدة لفهم التوازن بين الدقة، والموثوقية، والتكاليف، مما يمثل تحديًا جديدًا للمطورين والباحثين في مجال الذكاء الاصطناعي.