تتطور تقنيات الذكاء الاصطناعي بشكل مستمر، إلا أن هناك بعض التحديات المقلقة التي تواجهها، لا سيما فيما يتعلق بالنماذج منخفضة التكلفة. تشير دراسة حديثة إلى أن أساليب التحقق التي تعتمد على نماذج إدراك رخيصة قد تعاني من عُميٍ كبير في دقتها.

يتناول البحث المنشور في أرشيف ما قبل الطباعة (arXiv) موضوع استخدام نماذج رخيصة للإجابة عن أغلب الاستفسارات، بينما يتم اللجوء لنموذج أفضل كمدقق في حالات معينة. ولكن النتائج أظهرت أن نسبة إجابات الطالب الخاطئة التي يقبلها المدقق كانت كبيرة، وتزداد عمداً مع زيادة قدرة الطالب.

ويشير البحث إلى أن الحلول التقليدية لتحسين أداء النماذج منخفضة التكلفة لا تسفر عن نتائج إيجابية. بل، تصاعدت الأرقام إلى 46% من الأسئلة الرياضية الصعبة، في حين كانت نسبة الخطأ الحقيقية تصل إلى 39%، مما يعني أن المستخدمين مجبرون على الدفع مقابل الجودة دون أن يتلقوا تحسينات فعلية.

كما أظهر الدارسون أن منهج التصحيح البسيط الذي تم اللجوء إليه لتحسين الأداء لم ينجح في تعزيز قدرة النماذج، بل أسفر عن تدهور الأداء بشكل عام. في نتيجة مثيرة للقلق، أظهر النموذج نفسه أنه لا يمكن الاعتماد على المقاييس المعتمدة عليه لقياس جودته، حيث بقيت إحصائيات الأداء ثابتة عند 3% بينما ارتفعت نسبة الأخطاء الحقيقية إلى 32%.

في النهاية، تطرح هذه الدراسة أسئلة ملحة حول مصداقية التحسين الذاتي للنماذج المستخدمة في أنظمة التحقق، وتفتح المجال لحوار مستقبلي حول كيفية قياس دقة النماذج وآليات تحسينها دون الاعتماد على تفاصيل مبهمة قد تخفي فشلها الفعلي.