في زمن يتزايد فيه استخدام النماذج اللغوية الضخمة (LLMs) في إنتاج الأكواد البرمجية، يبرز تحدٍ هام يتعلق بتوليد حزم برمجية غير موجودة، مما يُعرِّض سلسلة الإمداد البرمجي لمخاطر متعددة. في هذا السياق، نقدم أربع مساهمات رئيسية لتجاوز هذه المشكلة المثيرة للقلق.

أولاً، نلاحظ أن الأساليب السابقة لتقييم الهلوسة تعطي تقديرات مبالغ فيها، حيث تُصنف وحدات المكتبات القياسية كهلوسة في بعض اللغات. وفي حالة بايثون، تصل هذه المبالغة إلى 9.4 نقطة مئوية.

ثانياً، قمنا بتقييم سبع استراتيجيات للدفاع في زمن الاستدلال، بما في ذلك خمس استراتيجيات توجيهية (Greedy، Contrastive، DoLa، Nudging، وActive Layer-Contrastive Decoding)، إضافة إلى نهج تحسين ذاتي تكراري (Self-Refine)، ودفاع يعتمد على توليد معزز بالاسترجاع (RAG). تمكُّن هذه الاستراتيجيات من تقليل معدل هلوسة الحزم في 18 من أصل 32 تكوين نموذج-لغة عبر ثمانية نماذج تنتسب إلى خمس عائلات وسبع لغات برمجة (بايثون، جافا سكريبت، روبي، ورست).

ثالثاً، نقدم مفهوم "فائدة الحزمة" (Package Utility) لتقييم مدى قدرة الدفاعات على الحفاظ على توصيات صالحة ومواتية للمهام. من بين الاستراتيجيات التي تم تقييمها، أثبتت استراتيجية "Greedy decoding" أنها توازن بشكل أفضل بين التخفيف من الهلوسة وفائدة التوصيات.

رابعاً، قمنا باختبار جميع الاستراتيجيات تحت ظروف عدائية من خلال إدخال أسماء حزم مُختلَقة، ليظهر أن معدل هلوسة الحزم يرتفع بنسبة تصل إلى 45 نقطة مئوية مقارنةً بالاستعلامات القياسية، حيث كانت لغة روبي الأكثر تعرضًا للتهديدات، بنسبة تتراوح بين 80.9 و95.2%.

تظهر النتائج التي توصلنا إليها أن محاربة هلوسة الحزم يجب أن تتعامل مع كل من مشكلات القياس والتحكم خلال زمن التشفير، كما تؤكد على أهمية تكييف الدفاعات مع نماذج التهديد وفائدة التوصيات. فهل ستمكننا هذه الاستراتيجيات من تحسين أمان البرمجيات في عالم نُظم البرمجة المعقدة؟ شاركونا آراؤكم في التعليقات!