في دراسة مثيرة، تم إعادة تقييم مدى فعالية تطوير الهياكل التلقائية (Automatic Harness Evolution) لوكلاء النماذج اللغوية الكبيرة (LLM Agents). حيث تشير النتائج إلى أوجه القصور في طرق التطوير الحالية، والتي تعتمد على اختبار الأداء ضمن مجموعة بيانات معينة.

تتناول الدراسة مشكلة رئيسية تتمثل في أن الطرق الحالية تستخدم حالات اختبار لتحديد تكوينات الهياكل، ثم تقيم الأداء النهائي على نفس مجموعة المعايير العامة، مما يثير تساؤلات حول مصداقية النتائج.

تعتبر عملية تطوير الهياكل بمثابة إجراء بحثي متكرر يتضمن التقييم والتعديل بناءً على التغذية الراجعة من المهام. ومما يثير القلق أنه من الضروري مقارنة هذه الأساليب مع قواعد أساسية أخرى للبحث على مستوى المهام لمعرفة ما إذا كانت تحسينات الأداء ناجمة عن تصميم أفضل للهياكل أو فقط بسبب عملية البحث الإضافية.

أظهرت التجارب التي أجريت باستخدام بنشمارك (Terminal-Bench 2.1) مع نماذج مثل (GPT-5.4) و (Claude Opus 4.6) أن تطوير الهياكل التلقائية لم يحقق أداءً أفضل بشكل مستمر مقارنة بأساليب التوسع في وقت الاختبار البسيطة. كما كشفت النتائج عن محدودية العمومية لهذه الطرق.

تطرح هذه النتائج عدة تساؤلات حول فعالية تطوير الهياكل التلقائية وتسلط الضوء على الحاجة لبروتوكولات تقييم عادلة ومعايير متطورة لتصميم الهياكل التلقائية. يمكن الحصول على الكود الخاص بالتجارب من خلال الرابط: [https://github.com/rethinking-harness-evolution].