تعتبر نماذج اللغة الكبيرة (LLMs) من التحولات التكنولوجية في مجال الذكاء الاصطناعي، وقد عززت بشكل ملحوظ القدرة على إصلاح البرامج تلقائيًا. ولكن، رغم هذه التقدمات، فإن التقييمات الحالية تركز غالبًا على النتائج النهائية فقط، مما يقلل من فهمنا الظواهر المعقدة مثل "الهلوسة" أثناء عملية الإصلاح.

في هذا السياق، تناولت دراسة جديدة التحليل المتعدد الطبقات للهياكل الهجينة (hallucination) التي تحدث خلال عملية إصلاح البرامج (APR). فقد يتمثل الهلوسة ليس فقط في التصحيحات النهائية، ولكن أيضًا في المواد الوسيطة التي توجه عملية توليد التصحيح، مما يعكس تحديًا كبيرًا لمطوري البرمجيات.

التعريف بالهلوسة كان جليًا في ظاهرة إنتاج التصحيحات أو العناصر الوسيطة التي لا تستند بشكل صحيح إلى الأدلة المتاحة لإصلاح الأخطاء. وقد بحثت الدراسة في ثلاث مهام رئيسية تتعلق بالهلوسة: تحديد حالات الاختبار المهمة، التنبؤ بتغطية السطور، وتوليد حالات اختبار إضافية.

تم تقييم ثلاثة نماذج تمثيلية على مجموعة من الأخطاء بلغ عددها 832، حيث أظهرت النتائج أن الهلوسة الخاصة بالإصلاح والهشاشة في الفهم لا تزال منتشرة. إذ أظهر البحث أن 21.0% إلى 55.9% فقط من التصحيحات المولدة كانت ناجحة وفقًا لمجموعة الاختبارات المكتوبة من قبل المطورين.

علاوة على ذلك، تم تحديد الهلوسة في 72.7% من حالات الإصلاح التي تمت دراستها يدويًا، بما في ذلك التصحيحات التي اجتازت جميع الاختبارات المتاحة. ولعب سوء التعرف على حالة الاختبار، وسوء التوقع بشأن تغطية الأسطر، دورًا بارزًا في زيادة معدلات الهلوسة.

تسلط هذه النتائج الضوء على أهمية تحسين دقة النماذج المستخدمة في إصلاح البرمجيات لضمان تحقيق نتائج فعالة وموثوقة.