في عالم قواعد البيانات المتقدمة، توفر نماذج اللغات الضخمة (LLMs) إمكانيات هائلة لتطوير وكلاء ذكيين قادرين على إدارة المعلومات وتحليلها. ومع ذلك، كانت المقارنة بين هؤلاء الوكلاء تمثل تحديات كبيرة بسبب اختلاف نطاق المهام ومعايير النجاح. لذلك، تم تقديم DBA-Bench، معيار مبتكر يُسهل تقييم أداء هؤلاء الوكلاء في ظل ظروف تشغيلية حقيقية.

يتم توجيه DBA-Bench من خلال الواقعية التشغيلية وتقييم النتائج، حيث يتم اختبار الوكلاء في بيئات PostgreSQL الحية وTiDB الموزعة مع أحمال عمل نشطة وسلوك حالة. يتطلب النجاح تلبية الأهداف التشغيلية المحددة دون انتهاك معايير الأمان الضرورية.

تشمل التقييمات 231 سيناريو محدد عبر خمسة مجالات تشغيلية، بالإضافة إلى 10 سيناريوهات دائمة تُعزز تقييم الأداء عبر أحداث متفاعلة. لقد تم تقييم ثمانية معايير آلية، بما في ذلك أربعة نماذج، ونموذجان مفتوحا المصدر، وعميلين قائمين على GPT-5.5.

تشير النتائج إلى فجوات كبيرة بين التشخيص والتصحيح الفعّال والتنفيذ الآمن في كلا نظامي قواعد البيانات. بينما يمكن للوكلاء تحديد الأسباب الجذرية للمشكلات، إلا أنهم قد يفشلون في استعادة الأهداف التشغيلية. وفي الحالات التي يتم فيها استعادة الأهداف، تبقى الإجراءات المنفذة غير متوافقة مع معايير الأمان. تكشف السيناريوهات الدائمة عن فجوة بين إزالة الحواجز الفردية والحفاظ على خدمات الأعمال، حيث تترك الوكلاء أحمال عمل متنافسة دون تنسيق.

في ختام هذا التقييم، يبدو أن DBA-Bench يشكل خطوة مهمة نحو تحسين أداء وكلاء قواعد البيانات المعتمدين على نماذج اللغات الضخمة (LLMs). هل تتوقعون أن تحدث هذه التطورات ثورة في طريقة التعامل مع البيانات؟ شاركونا آراءكم في التعليقات!