تتطور البرمجيات البحثية بشكل متسارع، ومع ظهور نماذج اللغات الضخمة (Large Language Models)، يمكنها الآن تقديم رموز برمجية وإنشاء نصوص بحثية تعكس التقدم في مختلف المجالات. ولكن، تواجه هذه المشاريع تحديات تتجاوز مجرد الحصول على رموز أو نصوص. يجب أن تتكامل الأطروحات الرياضية، ونظم البرمجة القابلة للتنفيذ، والمعايير العامة، مع بعضها البعض، إلا أن الكثير من الوقت، تفشل هذه العناصر في التنسيق.

لقد حدد الباحثون نوعين من الفشل الخاص بنماذج اللغات: تراكم الأوهام، حيث تتجاوز المطالبات ما تدعمه الرموز أو النظرية، وفقدان التزامن، حيث يسقط التنسيق بين الرموز والنظرية أو حتى نموذج العالم الخاص بالنموذج نفسه.

تقدم الدراسة نموذج Comet-H، وهو نظام تلقائي يقوم بتنسيق الأفكار والتنفيذ والتقييم والكتابة بطريقة مترابطة من خلال حالة عمل واحدة. في كل خطوة، يقوم التحكم باختيار الموجه التالي بناءً على ما ينقص من المعلومات، ويحمل معه الأعمال غير المكتملة، ويعيد فحص الوثائق مقابل الرموز والمعايير كلما تغيرت الوثائق.

إن اختيار الموجه هنا يُعتبر مشكلة صغيرة من نوع المراهنة السياقية، حيث يتم تقييم الموجهات كأذرع، والافتقار في مساحة العمل كسياق، وتحديد درجة الوزن الخطي. هذا المقياس الشفاف، والذي يترافق مع سجل يتلاشى للأعمال غير المكتملة، يساعد على تقييد المتابعات طويلة الأجل دون الحاجة إلى سياسة متعلمة، مما يجعل كل اختيار لموجه واضحاً من مساحة العمل.

قام الفريق بإنشاء مجموعة من 46 مستودع للبرمجيات البحثية عبر عشرين مجالاً مختلفاً. واختاروا دراسة أداة A3 بعمق، وهي أداة تحليل ثابت بلغة بايثون، التي تم بناؤها كاملةً داخل هذه الدورة، والتي حققت نتيجة (F1 = 0.768) في اختبار يتكون من 90 حالة، مقارنة بأفضل نسبة أخرى بلغت 0.364.

عبر نحو 400 عملية تعديل، تبين أن مراحل تدقيق وتقلص تعد السائدة في المراحل اللاحقة من كل مسار ناجح.