في عصر الذكاء الاصطناعي، تبرز نماذج اللغات الضخمة (Large Language Models) كلعبة محورية في العديد من التطبيقات، بما في ذلك توليد التعليمات البرمجية. لكن رغم براعة هذه النماذج في إنتاج نصوص تفوق التوقعات، إلا أنها تعاني من مشكلة كبيرة؛ فالكثير من التعليمات البرمجية التي تُنتج لا تنجح في تنفيذ المطلوب. في دراسة جديدة منشورة على منصة arXiv، تم التعرض لهذا الموضوع بطريقة شاملة.

تُظهر الأبحاث أن إشارات الثقة التي تقدمها النماذج لا تتوافق مع صحتها الفعلية، مما يثير الريبة حول موثوقية النتائج الناتجة عنها. لكن هناك بصيص أمل، حيث تم استخلاص إشارة داخلية من حالة النموذج، يقوم بتحليل الفروق بين الشفرات الصحيحة وغير الصحيحة، ويظهر قدرة أفضل في تقييم صحة الحلول مقارنةً بالثقة المعلنة.

ومع ذلك، يبقى التساؤل: هل هذه الإشارة عبارة عن خاصية مستدامة للنموذج أم مجرد نتائج تابعة لاختيار معين؟ لقد عُقدت دراسة جديدة لتسليط الضوء على هذا الأمر، من خلال إجراء تغييرات على كيفية استخراج هذه الإشارة من البيانات الداخلية للنموذج.

بالإضافة إلى ذلك، تم استكشاف ما إذا كانت جودة الإشارة مرتبطة بالبيانات المستخدمة لاستخراجها، من خلال إنشاء أزواج من البرامج تختلف فقط في الأخطاء. لدى انتهاء البحث، تبين أن لا تكوين واحد هو الأفضل في جميع الحالات وأن عزل الأخطاء لم يحقق النجاح المتوقع.

تمثل هذه الدراسات خطوة مهمة نحو تحسين قدرتنا على تقييم صحة التعليمات البرمجية المُنتجة من قبل الذكاء الاصطناعي، مما يفتح الباب لمزيد من الأبحاث والتطوير في هذا المجال الحيوي.