في عالم البرمجيات المدعومة بالذكاء الاصطناعي، يبدو أن الأطر المتعددة الوكلاء (MAFs) تقدم وعودًا كبيرة بخفض تعقيدات تطوير البرمجيات. ولكن على الرغم من هذه الوعود، يبقى التساؤل حول مدى قدرة هذه الأطر على إنتاج كود صحيح وفقًا لمعايير مهنية.

في هذا السياق، تم تقديم مقياس جديد يسمى AI-assistability، والذي يتكون من يتمثل في دمج انسيابية البنية الوظيفية ودقة الأداء. باستخدام هذا المقياس، تم تصميم مهمة اختبار جديدة تُدعى DDL2PropBank، والتي تهدف إلى الربط بين مخططات قواعد البيانات والعناصر الدلالية في PropBank.

النتائج كانت مثيرة للجدل، حيث أظهرت أن التصميم الاعتيادي للأطر لا يضمن التأهل الذكي لمساعدي البرمجة. فعلى سبيل المثال، حصل إطار Agno - الذي يعتمد على نمط واحد مستقل والمتوافق مع API - على أعلى نتيجة بمقياس AI-Assistability وهي 0.55. بينما حصل إطار DSPy - الأكثر دلالية - على أدنى نسبة هي 0.07، وذلك بسبب عدم تمثيل تجريده الحديث بشكل كافٍ في بيانات تدريب الذكاء الاصطناعي.

المفاجأة الأكبر كانت في أن التوافق مع المعايير التقليدية هو ما يقود التأهل الذكي، وليس التصميم الدلالي لوحده. يُنصح بالاطلاع على جميع الملفات المتعلقة بهذه الأبحاث عبر الرابط المتوفر.