في عالم الطيران الحديث، أصبح الذكاء الاصطناعي (AI) أحد الأعمدة الأساسية التي تدعم اتخاذ القرارات المتقدمة. ومع تسارع التطورات في هذا المجال، تأتي AeroCopilotBench كمبادرة رائدة تهدف إلى تقييم طياري الذكاء الاصطناعي مثل نماذج اللغات الضخمة (LLMs).

تتجاوز AeroCopilotBench التقييمات التقليدية التي تعتمد على المعرفة الثابتة، حيث تعرض نظامًا تفاعليًا مبتكرًا يتمثل في
بيئة تشغيل الطيارين التفاعلية (ACOE). تتيح هذه البيئة تقييم الكفاءات في تفاعلات الطيران، كما تتضمن نظامين للتقييم. الأول (Tier-1) يقيّم المعرفة الجوية من خلال 1200 سؤال متعدد الاختيارات، بينما الثاني (Tier-2) يتناول 73 مهمة طارئة تم استنباطها من أدلة تشغيل الطيارين.

يعمل ACOE على تحويل العمليات المكتوبة بلغة طبيعية إلى انتقالات حالة قابلة للتنفيذ، مما يسمح للنماذج بتفسير حالة قمرة القيادة، وتشخيص الأخطاء، وإدارة أنظمة الطائرات من خلال واجهات أدوات موحدة. تحدد هذه البيئة إطارًا لتقييم السلامة، حيث يتحقق النجاح فقط عند إنجاز جميع أهداف المهام دون انتهاك قواعد السلامة المشددة.

تشير النتائج إلى تحقيق المعدل الأعلى للنجاح في Tier-2 بنسبة 72.6% عبر 12 نموذجًا، بينما يظهر أن الأداء القائم على المعرفة الثابتة لا يترجم دائمًا إلى تنفيذ إجراءات فعالة. ومن خلال تحليل 451 تجربة فاشلة، يبرهن الباحثون على وجود مشكلات متكررة في اكتمال الإجراءات، واستخدام التغذية المرتدة من الحالة، وإدارة التنفيذ على المدى الطويل.

هذه النتائج تدفع نحو تحسين تنظيم الوكلاء المتعلمين، وتقييم مشترك لإكمال المهام وسلامة المسار، بالإضافة إلى التجريب المتكرر.

تساهم AeroCopilotBench و ACOE في تقديم أساس متين لاختبار تطبيق المعرفة، والتنفيذ التفاعلي، وسلامة العمليات في وكلاء الطيران، مما يشعل الأمل في تقديم طيارين أكثر كفاءة واستجابة في المستقبل.