في عالم تطور البرمجيات السريع، تلعب نماذج الذكاء الاصطناعي (LLMs) دورًا حيويًا في أتمتة عمليات تطوير البرمجيات. ومع ذلك، تبقى تساؤلات كبيرة حول ثقة هذه النماذج عند التعامل مع مجموعة من المكونات البرمجية المتناقضة مثل الشيفرة المصدرية، الوثائق، والاختبارات. في هذا السياق، تم تقديم أسلوب جديد يُعرف باسم TRACE، والذي يهتم بكيفية تقييم نماذج الذكاء الاصطناعي للأدلة المتضاربة.

TRACE هو عبارة عن طريقة متحكم فيها تُستخدم لتقييم مدى تقييم نماذج الذكاء الاصطناعي لأعمال البرمجيات المتناقضة. حيث يتم إنشاء نسخ مزدوجة من حزم طرق جافا (Java method bundles) تحتوي على أخطاء معروفة، مما يساعد في معرفة كيفية تصرف النماذج عند وجود أدلة غير موثوقة. وقد أظهرت النتائج أن نماذج الذكاء الاصطناعي يمكنها تحديد الأخطاء في الوثائق بمعدل دقة يتراوح بين 67-94%، بينما تنخفض هذه النسبة بشكل ملحوظ عند تغيير الشيفرة المصدرية بمفردها.

تشير النتائج إلى أن نماذج الذكاء الاصطناعي تعاني من عدم التوازن في قدرتها على تكامل الأدلة البرمجية. فهي سجلت قدرة أفضل في تدقيق الوثائق الطبيعية مقارنة بسلوك البرامج الداخلية البسيط. من خلال TRACE، يمكن الوصول إلى طريقة للتحكم في هذا النمط من الفشل قبل استخدام نماذج الذكاء الاصطناعي في عمليات تطوير البرمجيات التي تتطلب دقة عالية.