ما تخفيه النقاط المجمعة: قياس التراجعات على مستوى العناصر في ترحيل واجهات برمجة التطبيقات للغة التجارية!

في عالم البرمجيات المتطور، تعتمد الكثير من الأنظمة على واجهات برمجة التطبيقات لنماذج اللغة الكبيرة (Large Language Models) للقيام بمهامها. وعند تحديث هذه النماذج، يتعين على المطورين اتخاذ قرارات صعبة حول الترحيل إلى الإصدارات الأحدث. وغالباً ما يعتمدون في ذلك على النقاط المجمعة التي تعكس أداء النموذج بشكل عام.

بيد أن دراسة جديدة نشرت في arXiv تكشف عن عيوب هذا النهج. حيث يتم تطبيق هذه النماذج في ثلاثة ترحيلات بين الإصدارات GPT-5.4 و GPT-5.6، تمت دراسة أداء 900 عنصر في نقاط تقييم عامة، مثل المعرفة على مستوى الدراسات العليا والرياضيات الأولمبية. وبهذه الطريقة، تم تعريف العناصر على أنها محسّنة، متراجعة، مماثلة عمليًا، أو غير حاسمة، وذلك من خلال الأثر العملي ونسبة الاكتشاف الخاطئ.

النتائج أظهرت أن التحسينات والتراجعات يمكن أن تتواجد بالتوازي، مما يعني أن الاعتماد على النقاط المجمعة فقط يمكن أن يُهمل تغييرات هامة على مستوى العناصر. على سبيل المثال، الأجزاء التي تم قياسها كفوز مجمع بنسبة تصل إلى 7.3% تحتوي على ما يصل إلى 8.3% من العناصر المتراجعة بشكل موثوق. كما أن الفجوة بين النقاط الصارمة والمرنة في تقييم التعليمات تنمو بمقدار 3.9 نقطة في أحدث ترحيل.

الخلاصة، تشير الدراسة إلى أن القرارات المبنية فقط على النقاط المجمعة تنقصها الكثير من التفاصيل المهمة. ولذلك، فإن وجود أرشيف كامل للاستجابة ونتائج التقييم على مستوى كل عنصر سيكون أدعى لتمكين المطورين من اتخاذ قرارات ترحيل مدروسة.