تتطور نماذج اللغة الضخمة (Large Language Models - LLMs) إلى وكالات مستقلة، مما يجعل من الضروري تقييم قدرتها على التفكير بشكل منطقي في أنظمة الملفات الحقيقية والمترابطة. ولعل التحدي الأكبر يكمن في كيفية ضمان استمرارية المنطق في هذه الأنظمة الشاسعة.

تقريرنا يتحدث عن نظام RepoReason، وهو معيار تشخيصي يعكس القدرة على التحقق من التأكيدات الاستنتاجية. هذا النظام يعكس التوجه نحو بيئات العمل الحقيقية بدلاً من التحليلات المعزولة أو التقييمات السلبية. من خلال تنفيذ إطار عمل يعتمد على تنفيذ الرمز، نسعى إلى القضاء على محاولات التذكر الغير اللازمة، ونحافظ على عمق منطقي أصيل.

ضمن إطار عمل RepoReason، قمنا بإنشاء نظام تشخيصي دقيق باستخدام تقنية تقطيع البرامج الديناميكية، والذي يقيم التفكير البرمجي عبر ثلاثة مقاييس أساسية: $ESV$ (حمولة القراءة)، $MCL$ (عمق المحاكاة)، و$DFI$ (عرض التكامل).

تشير التقييمات الشاملة للنماذج المتقدمة مثل Claude-4.5-Sonnet وDeepSeek-v3.1-Terminus إلى وجود نقص ملحوظ في التكامل، حيث يعد عرض التكامل هو العنق المزودج في عمليات التفكير. توفر نتائجنا رؤى مفيدة في تحسين الجيل القادم من هندسة البرمجيات التي تعتمد على الذكاء الاصطناعي.

إذا كنت مهتمًا بدور الذكاء الاصطناعي في تطوير البرمجيات، فما هي أفكارك حول تقييم التفكير البرمجي؟ شاركونا في التعليقات!