في الآونة الأخيرة، تم تقديم دراسة جديدة حول تأثير تنسيق التطبيقات على نتائج نماذج الذكاء الاصطناعي، وذلك من خلال مؤشر حساسية التنسيق (Format Sensitivity Index - FSI) ومؤشر حساسية التحليل (Parseability Sensitivity Index - PSI). تكشف النتائج أن إعدادات التطبيقات، حتى وإن كانت مختلفة فقط في التنسيق، يمكن أن تؤثر بشدة على تقديرات النموذج وتغير ترتيب نتائج المنافسة.

تجاوزت الدراسة 140,000 جيل من OpenRouter وقامت بتقييم 7 مهام سؤال وإجابة، مع استخدام 5 عائلات من التطبيقات و4 نماذج تعليمية تتراوح بين 7 مليارات و72 مليار معلمة. أظهرت البيانات أن متوسطة FSI تختلف بأكثر من 30 مرة بين النماذج، وذلك نتيجة لفشل الامتثال في العديد من الحالات.

علاوة على ذلك، أظهرت أبحاثنا أن حساسية التحليل تبقى مؤشراً قوياً لدقة النتائج حتى عند التحكم في المهمة والنموذج والتطبيق، مما يدعو المطورين والباحثين إلى إعادة التفكير في كيف يمكن أن تؤثر الفروق في التطبيقات على دقة النتائج النهائية.

نحن نؤكد أن الإبلاغ عن الدقة دون مراعاة تباين التطبيقات والامتثال يعد ممارسة ضعيفة إحصائياً، ونقدم توصيات عملية للتقييم وأيضاً لتنفيذ النتائج بشكل منظم. هل تدرك أهمية هذه النتائج؟ شاركنا بآرائك في التعليقات!