الكشف عن الهلوسة في نماذج اللغة الكبيرة: تقنيات مبتكرة لمواجهة التحديات

في عالم الذكاء الاصطناعي، تُعتبر نماذج اللغة الكبيرة (Large Language Models) من بين التقنيات الأكثر تقدماً، لكنها لا تخلو من التحديات، أبرزها ظاهرة "هلوسة" النصوص، حيث يمكن أن تولد هذه النماذج محتوى غير دقيق أو مضلل.

لذلك، قامت مجموعة من الباحثين بتطوير نظام متكامل للكشف عن هذه الظاهرة، يجمع بين طرق متقدمة مثل تصنيف DeBERTa-v3 المعدل، وتقنية Monte Carlo (MC) Dropout لتقدير درجات عدم اليقين، وتعديل درجة الحرارة لتحقيق سرعة أكبر في الكشف. ووفقًا لتقييمها باستخدام معيار HaluEval، فإن النظام المُعتمد يحقق نتائج رائعة، حيث تصل الدقة F1 إلى 0.915 ونسبة AUROC إلى 0.977 في المهام العامة، مع تسجيل درجات لكل مهمة: 0.97 في أسئلة وإجابات (QA)، و0.96 في التلخيص، و0.82 في الحوار.

وعلاوة على ذلك، فإن استخدام طريقة MC Dropout يزيد دقة الكشف إلى 93.2%. وقد أظهرت الدراسة التجريبية أن النموذج يقوم بعمليات استنتاج حقيقية وليس مجرد استغلال لأنماط السطح.

أحد الابتكارات الأساسية هو تحسين التفضيل المباشر (Direct Preference Optimization) الذي تم تطبيقه على نموذج Qwen2.5-0.5B، مما أدى إلى تقليص معدل الهلوسة من 85.5% إلى 37.7%، مما يمثل انخفاضًا نسبيًا بنسبة 55.9% كما قاسه النظام الجديد.

من الجلي أن التدريب على مجال محدد يحسن أداء نماذج اللغة في مجالات معينة، مثلما أظهر تحليل النتائج على معيار SciFact في البيولوجيا، مما يدعو إلى تركيز أكبر على fine-tuning المتعلق بالمجالات. نموذج PubMedBERT المعدل على SciFact حقق نسبة F1 بلغت 0.63 وAUROC بلغت 0.81، مما يبرز أن التدريب المتوافق مع المجال هو أقوى استراتيجيات التكيف.

في الختام، تعكس هذه الأبحاث الجادة جهودًا مستمرة لتحسين تقنيات معالجة اللغة الطبيعية، مما يبشر بمستقبل أكثر دقة وأمانًا في عالم الذكاء الاصطناعي.