تحقيق التوازن في نماذج اللغة الضخمة: معالجة الهلاوس بتقنية تفكيك السياقات الديناميكية

الذكاء الاصطناعي، وخاصة نماذج اللغة الضخمة (Large Language Models)، يواجه تحديًا كبيرًا يتمثل في الهلاوس، وهو مصطلح يشير إلى إنتاج محتوى يتعارض مع الحقائق السياقية أو القيود المنطقية. في عمل حديث، تم تناول هذه القضية من خلال إطار هندسي يعتمد على فرضية التمثيل الخطي.

يقترح الباحثون أن الهلاوس تظهر كضوضاء متعامدة بالنسبة للمنظومة الدلالية للسياق، حيث تنشأ التداخلات عندما تقوم بعض رؤوس الانتباه (Attention Heads) بتقديم مكونات تتعارض مع هذه المنظومة، مما يعيق تماسك التمثيل الكامن.

لتعزيز الدقة السياقية، تم تقديم طريقة جديدة تُعرف بالتفكيك الديناميكي للسياقات (Dynamic Contextual Orthogonalization - DCO). تعتمد هذه الطريقة على استخدام تيار التبقيات (Residual Stream) كمرساة سياقية ديناميكية لتنفيذ تفكيك متعامد على مخرجات رؤوس الانتباه.

كما تستخدم DCO آلية للتقليل من الضوضاء المفرطة تُعرف بتقنية ز-التصفية (Z-score suppression) التي تُخفف من تأثير المكونات المتعامدة التي لا تتماشى مع السياق. أظهرت التقييمات على نماذج مختلفة مثل Llama-3-8B و70B، أن DCO تحقق تفوقًا في دقة السياق مقارنة بالأساليب الحالية.

علاوة على ذلك، تظل DCO فعالة في المهام المعقدة المتطلبة للمعرفة، مثل TriviaQA وTruthfulQA، مما يساعد على تقليل التنازع بين تقليل الهلاوس والحفاظ على المعرفة المعلمية. تكشف هذه النتائج عن تفسير هندسي للهلاوس وترسخ DCO كطريقة فعالة في تحقيق توافق المنظومات.

يمكنكم الاطلاع على الكود البرمجي للمشروع عبر GitHub.