تتقدم نماذج اللغات الضخمة (Large Language Models) بخطوات واسعة نحو تكاملها في بيئات العمل الحقيقية، ولكنها تواجه صعوبات في التعامل مع أدوات متخصصة متعددة وعمليات معقدة من حزمة المهام الفرعية. الحل لعدم الكفاءة وتفشي السياق هو نموذج "تفويض الوكيل الرئيسي وتنفيذ الوكلاء الفرعيين" (MAD-SAE) الذي يعالج هذه التحديات عن طريق تفويض المهام الفرعية لوكلاء فرعيين متخصصين، مما يتيح تنفيذها بشكل متوازي في سياقات منعزلة.

ومع ذلك، فإن جودة التفويض والتنظيم في هذا النموذج لا تزال بحاجة إلى تقييم دقيق. هنا يأتي دور تقييم MS-Eval، الذي يُعد مجموعة تقييم موحدة تتضمن معايير قياس مكثفة مختصة وصندوق تنفيذ مسيطر، مما يوفر تقييم شامل لأداء الوكلاء وتفويض المهام.

أظهرت تقييمات أربعة أنواع من MAD-SAE وثمانية نماذج متطورة أن التخصص في المهام الفرعية هو أفضل الممارسات العملية. كما أثبتت النماذج مفتوحة المصدر قدرتها التنافسية مع بعض الاستثناءات، بينما يزيد نموذج MAD-SAE من التكلفة بعوائد متوقعة. يفيد ذلك بشكل خاص نماذج مفتوحة المصدر في كل من الأداء والكفاءة، على عكس النماذج المغلقة حيث تُسجل خسائر في الأداء.

تظهر دراستنا حالة هذه الإنجازات بفضل الحلول الجيدة للوكيل الفردي، والتفريغ الفعال للسياق، والتوازي الحقيقي في المهام الفرعية. بينما يمكن أن يتحول التفويض غير الضروري أو المكرر لنفس التكلفة إلى عبء إضافي.

إذا كنت مهتمًا بعالم الذكاء الاصطناعي وتطبيقاته العملية، فلا تفوت فرصة الاطلاع على MS-Eval!