FLY-EVAL++: بروتوكول ثوري لتقييم سلامة نماذج اللغة في الطيران!

في عالم الذكاء الاصطناعي، يعد تقييم النماذج اللغوية الكبيرة (Large Language Models - LLMs) أمرًا جوهريًا، خاصة في البيئات الحرجة للسلامة مثل الطيران. ومع ذلك، فإن المؤشرات التقليدية التي تعتمد على الدقة وحدها ليست كافية لقياس فعالية هذه النماذج. من هنا، يظهر بروتوكول FLY-EVAL++ كحل مبتكر يجمع بين التحقق الحتمي من الامتثال للمعايير والمتطلبات الفيزيائية مع تقييم شامل للسلامة.

يعتمد بروتوكول FLY-EVAL++ على تجميع النتائج في درجات متعددة الأبعاد وقابلة للتفسير، مما يسهل فهم أداء النماذج في سياقات الطيران. هذا النظام الجديد تم تطبيقه على توقع مسارات الطائرات وزوايا الطيران، مما يظهر أن الامتثال للسلامة هو البعد الأكثر أهمية عند تقييم سلوك النماذج. النتائج تشير إلى أن النماذج التي تمتلك أداءً تنبؤيًا متشابهًا يمكن أن تختلف بأكثر من 28 نقطة في درجة السلامة، مما يعبر عن فشل متكرر في تلبية متطلبات السلامة حتى مع التنبؤات التي تبدو منطقية.

تظهر هذه النتائج أهمية القياس الدقيق لمتطلبات السلامة والامتثال في المناطق الحرجة، بدلاً من الاعتماد فقط على تقارير الدقة. لذا، إذا كنت مهتمًا بمستقبل الطيران والسلامة، فإن FLY-EVAL++ يمثل خطوة مهمة نحو تقييم أكثر دقة وموثوقية لنماذج الذكاء الاصطناعي في هذا القطاع الحساس.