في عالم الذكاء الاصطناعي، تظل مسألة كشف الهلاوس (hallucinations) من أبرز التحديات التي تواجه الباحثين والمطورين. غالباً ما تُجرى طرق كشف الهلاوس في مرحلة الاستنتاج دون إجراء أي تعديلات على النموذج نفسه. ومع ذلك، في ورقتنا البحثية الحديثة، نستكشف استراتيجيات تحسين دقيقة تهدف إلى زيادة قدرة النماذج على اكتشاف الهلاوس.

تتمحور هذه الدراسة حول الكشف المعتمد على معلومات السيميائية (semantic entropy) حيث نلاحظ أن الكثير من المخرجات الخاطئة تبقى بلا اكتشاف، وذلك لأن النموذج ينتج ردودًا خاطئة متشابهة في كل مرة. لمواجهة هذه المعضلة، نقترح تحسين التنوع بطريقة توجّه النماذج لإنتاج مخرجات متنوعة أكثر.

نقدم في دراستنا استراتيجيتين محددتين: الأولى تعتمد على التحسين المدعوم (Supervised Fine-Tuning - SFT)، والثانية تستند إلى تحسين التفضيل المباشر (Direct Preference Optimization - DPO). من خلال التجارب المكثفة التي أجريناها، قمنا بتقييم فعالية تقنياتنا ومراقبة سلوك النماذج قبل وبعد تطبيق تحسيناتنا.

أظهرت النتائج أن النماذج، بعد الاعتماد على طرق التحسين التي قدمناها، أصبحت أقل احتمالية لإنتاج ردود ذات قلة في معلومات السيميائية للهلاوس، مما يعزز فعالية كشف الهلاوس بسهولة أكبر. والأجمل من ذلك، كانت النتائج التي تم الحصول عليها تعادل أو تتفوق على أحدث الأساليب المعتمدة في هذا المجال.

وبالتأكيد، سيُعلن عن كود الدراسة للعموم قريبًا، مما سيسهم في تطوير أدوات أكثر فاعلية في هذا المجال الحيوي.