في عصر الذكاء الاصطناعي، أصبحت نماذج اللغات الضخمة (Large Language Models) أدوات شائعة لتلخيص تقارير الأخطاء في البرمجيات، ولكن ما يكشفه بحث جديد قد يثير القلق! تتناول هذه الدراسة التحليل التجريبي لظاهرة "الهلاوس" التي تنتجها هذه النماذج، حيث أكدت النتائج أن ما يقرب من 47.9% من ملخصات تقارير الأخطاء المولدة تحتوي على معلومات مفقودة، في حين أن 12.3% تحتوي على محتوى مزيف.

تُعد هذه الهلاوس بمثابة معلومات مضللة يمكن أن تقلل من ثقة المطورين في الأدوات الآلية لصيانة البرمجيات. ومع الأسف، فإن الأساليب الحالية للكشف عن الهلاوس تقيّم النتائج على مستوى الإجابة الكاملة دون النظر في بنية الوثائق الفنية.

قام الباحثون بأول دراسة استكشافية حول 80 ملخصًا من تقارير الأخطاء، لتحديد أنماط شائعة من الهلاوس وقياس تأثيرها. باستخدام مجموعة بيانات BugsRepo المستمدة من مشاريع Mozilla OSS، قاموا بتقديم نموذج للكشف عن الهلاوس يرتكز على الفقرات، وذلك لتحسين موثوقية تلخيص تقارير الأخطاء.

بفضل مستوى الأداء القوي الذي أظهرته النماذج المدربة، أصبحت هذه الدراسة تمثل خطوة هامة نحو تعزيز الثقة في التطبيقات المعتمدة على الذكاء الاصطناعي في تطوير البرمجيات. فكيف يمكن لهذه النتائج أن تؤثر على مستقبل صيانة البرمجيات وتطويرها؟

ما رأيكم في هذا التطور؟ شاركونا آرائكم في التعليقات.