في مجال التحقيقات، يعتبر اتخاذ قرار إغلاق القضية بناءً على الأدلة المتاحة إحدى أصعب المهام التي يمكن مواجهتها. في هذا الإطار، تم تكوين دراسة جديدة تلقي الضوء على كيفية تعليم نماذج اللغات الضخمة (LLM) للمحققين متى يجب عليهم إغلاق قضية.

تتطلب التحقيقات في الحوادث والعيوب والأعطال، توفر أدلة قوية تدعم اتخاذ القرار بشأن ما إذا كان من المناسب إنهاء القضية. الذي يجعل الأمر معقدًا هو أن بعض النماذج، مثل النموذج غير المدرب بقدرة 9B، تميل إلى المبالغة في تقدير الأدلة، حيث تصل نسبة المبالغة إلى 97%. في حين أن نموذجًا متقدمًا يتعرف على السبب الصحيح في 84% من الحالات، إلا أنه لا يزال يبالغ في حوالي 91% من الإجابات ويغلق 17 من أصل 41 قضية تم تصنيفها بـ 'السبب غير محدد'.

تقييم دقة إغلاق القضية ليس بالأمر السهل، حيث تتنبأ مصدر القضية بشكل كبير بتسميتها. ولهذا، يتم تقييم الإغلاق من خلال ثلاث اختبارات رئيسية: دقة الإغلاق، الاعتماد على الأدلة، وجودة الاستنتاج والفجوة.

لتوضيح هذه الديناميكية، تم بناء قاعدة بيانات تدعى Nautil تضم 731 حالة تم تدقيقها من تقارير تتعلق بالطيران والسكك الحديدية والملاحة وأمان المواد الكيميائية وعيوب المركبات. يظهر أن تدريب نموذج 9B على هذه الحالات يدعم اتخاذ قرارات الإغلاق بناءً على الأدلة، حيث يرتفع معدل الإغلاق من 35% بعد إزالة الأسس، مقارنةً بنموذج التحكم المتطابق. كما يتراجع نسبة المبالغة من 97% إلى 35%، وتزداد الاستنتاجات الصحيحة غير المبالغ فيها من 3% إلى 43%.

من خلال استخدام التعلم العميق الذي يكافئ على قرار الإغلاق فقط، تمكن النموذج من زيادة الدقة المتوازنة من 69.2% إلى 83.3%، متماشياً مع أداء المعلمين. في نهاية المطاف، كانت نتائج هذه الدراسة بمثابة خطوة مهمة نحو تحسين قدرة النماذج على اتخاذ قرارات مستندة إلى الأدلة بشكل موثوق. فما رأيكم في هذا التطور؟ شاركونا في التعليقات.