إشارات غير متجانسة في التحقق من نماذج اللغة: كيف تحد الهيكلية من مكاسب الأمثلية؟

في عالم الذكاء الاصطناعي، يعد التحقق من نماذج اللغة الكبيرة (Large Language Models) عملية حيوية لضمان دقة وجودة مخرجاتها. ومع تزايد استخدام نماذج اللغة للعمليات التخطيطية، أصبحت إدارة الموارد المحدودة والتعامل مع عدم اليقين أمراً ضرورياً. لكن ماذا يحدث حينما تكون هناك إشارات عدم تجانس (Heteroskedastic Signals) في هذه النماذج؟

تستند السياسات المتبعة في هذا السياق إلى افتراض أساسي يعرف بـ "مقارنة الإشارات العالمية"، وهو ما يعني أن الدرجات المتساوية ينبغي أن تحمل قيمة قرار متقاربة عبر مختلف المدخلات. ومع ذلك، كشفت دراسة جديدة عن ثغرة في هذا الافتراض، حيث تظهر النتائج أن جودة عدم اليقين تتفاوت عبر مستويات التكلفة. في بعض الحالات، يمكن أن تتسبب هذه الإشارات في تفشي أخطاء كثيرة رغم تركيز البيانات.

استخدم الباحثون نموذجًا محليًا صريحاً لفهم كيفية تأثير هذا التباين على تخصيص الموارد العالمية، وأظهروا أن الحد الأعلى للتشويه يتناسب مع تشتت جودة الإشارة عبر الشرائح. من خلال تطبيق تدخلات مختلفة مثل العتبة (Threshold)، وMP-Adapt، وMP-Strat، لاحظوا تغييرات كبيرة في أداء النماذج مثل Qwen3-8B وLLaMA3-8B وGPT-4o-mini.

وقد أظهرت هذه النتائج أن الهشاشة الهيكلية هي العائق الرئيسي وليس ضعف المُحسِّن فقط. إن إعادة توجيه بنية التغذية الراجعة غير المتوافقة لا يمكن أن تُصلح دائمًا بواسطة تحسين أقوى. يمكن أن تعزز استراتيجيات بسيطة مثل تدخل العتبة المحددة بالتكلفة (CST) معدل النجاح بنسبة تصل إلى 17 نقطة مئوية في البيئات ذات التباين القوي.