في السنوات الأخيرة، أصبحت أدوات البرمجة المدارة بواسطة الذكاء الاصطناعي (AI) تتطور بشكل متسارع، مما يتيح تطوير حلول البرمجة المعقدة بشكل أكبر. لكن، كيف نقيم هذه الأدوات بشكل فعّال؟ هنا يأتي دور بروتوكول BUILD-AND-FIND الجديد.

يعد هذا البروتوكول بمثابة خطوة نوعية في تقييم جودة الأكواد البرمجية التي تنتجها الوكلاء. حيث لا يقتصر تقييم الأكواد على مدى دقتها ووظيفتها فحسب، بل يتجاوز ذلك ليبحث في كيفية تواصل هذه الأكواد مع الوكلاء المستقبلين.

يتضمن البروتوكول عملية مزدوجة، حيث يقوم وكيل "البناء" (Builder) بإنشاء قاعدة بيانات برمجية بناءً على مواصفات مخفية، بينما يتعامل وكيل آخر، يُعرف بـ"الباحث" (Finder)، مع قاعدة الكود فقط وأسلوب استفسار عدة خيارات.

هذا التصميم يضمن فصل دقة السلوك عن القدرة على استعادة الخيارات التصميمية، حيث يتم قياس الدقة والقدرة على الاسترداد نظرًا لجهود الفحص المطلوبة. فعندما يكون الهدف المشترك واضحًا، يتبين أن قلة الجهود من قبل نفس الباحث تشير إلى أن الكود قد جعل من السهل تحديد النوايا الكامنة.

يتسبب هذا في نوع جديد من التقييمات التي لا تكتفي بالنظر إلى صحة الأكواد البسيطة، بل تسلط الضوء أيضًا على كيفية تنظيم المعلومات فيها. يتم حساب دقة الاستعادة وتأثيرات الباحثين المحددة لتوفير فهم أكثر دقة لتجربة المستخدم برمتها.

بينما تحقق دقة الاستعادة في المهام ذات الأولوية العالية نسبًا قريبة من التشبع، فإن جهود الفحص وتأثيرات الباحثين توفر المقارنات اللازمة لتقييم الأداة بشكل موثوق. إن الابتكارات في هذا المجال تحمل القدرة على تغيير الطريقة التي نتعامل بها مع البرمجة الذكية، مما يجعلها أكثر فعالية وتفاعلاً في المستقبل.