في عالم الذكاء الاصطناعي، تُعتبر نماذج اللغة الضخمة (Large Language Models - LLMs) من الابتكارات الرائدة، لكنها ليست خالية من العيوب. قد تنتج هذه النماذج نصوصًا تبدو صحيحة وموثوقة، لكنها قد تحتوي على معلومات غير صحيحة تمامًا، مما يجعل الكشف عن هذه الهلاوس أمرًا بالغ الأهمية، خاصة في المجالات الحساسة مثل الطب والقانون.

في هذا الإطار، قام الباحثون بدراسة شاملة للكشف عن الهلاوس من خلال تقييم أداء 22 طريقة كشف، بما في ذلك اثني عشر نموذجًا مفتوح المصدر، موزعة على ست عائلات بنيوية. النتائج كشفت عن كابوس مفاجئ؛ فالكثير من التقدم المُبلغ عنه في هذا المجال يمكن تفسيره في الواقع من خلال وجود عيوب في بناء المعايير المستخدمة، حيث أظهرت أربع من أصل ست مجموعات بيانات أن الإجابات الصحيحة مدمجة مباشرة في المدخلات.

استخدام نموذج بسيط يُسمى ‘TxTemb’ استغل هذه الثغرات لتحقيق درجات كشف شبه مثالية، وذلك دون الحاجة إلى الوصول إلى المعلومات الداخلية للنموذج. لذا جاءت الحاجة لتقييم حقيقي لقدرات الكشف المتبقية. تم تقديم نظام جديد يُسمى ‘DRIFT’، الذي يعمل كأداة مقارنة لتتبع انتقالات الحالة الخفية بين الطبقات في نماذج اللغة.

النتائج المثيرة تظهر أن معظم الأساليب المعروفة تُظهر أداءً يشبه الصدفة تحت ظروف محكومة، مع وجود استثناءات ثابتة تتمثل في طريقتي SAPLMA وDRIFT، وهما أدوات موجهة تركز على الحالات العليا. مما يُحتم على المجتمع العلمي إعادة التفكير في كيفية بناء معاييره، والتأكد من توفير أدوات الكشف الأكثر أمانًا وفعالية.

ماذا عنكم؟ ما رأيكم في هذه التطورات المثيرة في مجال الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!