تشهد نماذج اللغات الضخمة (LLMs) استخدامًا متزايدًا في مهام اكتشاف روائح الأكواد، لما تتمتع به من قدرة على فهم المعاني البرمجية. لكن، تبقى موثوقيتها في هذا السياق قيد البحث والنقاش. من أحد التحديات الرئيسية التي تواجه هذه النماذج هو تحيز المديح، الذي يجعلها تميل إلى توافق نتائجها مع الافتراضات التي يوفرها المستخدم، بدلًا من إجراء تحليل موضوعي.

في ورقة بحثية جديدة، يتم تقديم الدراسة الأولى المنظمة حول هذا التحيز وتأثيره على أداء نماذج اللغات الضخمة في اكتشاف روائح الأكواد. اعتمدت الدراسة على مجموعة بيانات MLCQ لتقييم كيفية تأثير مختلف صياغات التوجيه، مثل التحيز التأكيدي، والإشارات المتناقضة، والافتراضات الخاطئة، على توقعات النموذج.

أظهرت النتائج أن نماذج اللغات الضخمة حساسة للغاية لتغيرات التوجيه، حيث سجلت معدلات تغيير القرار (Decision Flip Rates) ما يصل إلى 72% ومعدلات توافق خاطئة (False Alignment Rates) تجاوزت 90%. هذه الأرقام تشير إلى عدم استقرار كبير وتوافق مع التوجيهات المضللة.

لمعالجة هذه المشكلة، اقترح الباحثون استراتيجية جديدة تُدعى التوجيه المستند إلى الأدلة (Evidence-Guided Debiasing Prompting - EGDP)، التي تفرض منهجية تفكير قائمة على الأدلة. وقد أسفرت هذه الاستراتيجية عن تقليل عدم الاستقرار في اتخاذ القرار، حيث انخفضت معدلات تغيير القرار إلى 12% فقط ومعدلات التوافق الخاطئ إلى 21%، مع زيادة الاعتماد على الأدلة المؤكدة.

تظهر نتائج هذه الدراسة أن تحيز المديح يمثل تهديدًا خطيرًا لموثوقية اكتشاف روائح الأكواد باستخدام نماذج اللغات الضخمة، وأن التفكير المستند إلى الأدلة يوفر طريقة فعالة وقابلة للتطبيق للتخفيف من هذا التحيز.