كشف النقاط الضعيفة: طريقة مبتكرة لاكتشاف الأخطاء الواقعية في نماذج اللغات الضخمة

تسود نماذج اللغات الضخمة (Large Language Models) مثل ChatGPT العديد من التطبيقات، بفضل معرفتها الواسعة المأخوذة من عملية التدريب المسبق والتخصيص. ولكن على الرغم من قوة هذه النماذج، إلا أنها ليست خالية من القلق، حيث يتم استشعار وجود أخطاء واقعية وسياقية قد تؤدي إلى تضليل المستخدمين في مجالات حيوية كالرعاية الصحية والصحافة والتعليم.

تشير الدراسات السابقة إلى أن الطرق الحالية لتقييم دقة المعلومات في نماذج اللغات الضخمة تعاني من بعض القيود، مثل الحاجة المفرطة للتدخل البشري، تلوث بيانات الاختبار، أو نطاق محدود، مما يجعل من الصعب والإفصاح عن الأخطاء بكفاءة وفعالية.

لتجاوز هذه التحديات، تم اقتراح نظام جديد يسمى HalluHunter، وهو إطار عمل آلي بالكامل يهدف إلى كشف الأخطاء الواقعية بأسلوب منهجي. يعتمد HalluHunter على نهج قائم على رسم المعرفة، حيث يستخرج ثلاثيات المعلومات لتوليد أنواع متنوعة من الأسئلة، مما يعطي نماذج مختلفة للتفكير باستخدام تقنيات معالجة اللغة الطبيعية (Natural Language Processing) القائم على القواعد.

تبدأ العملية التكرارية للنظام باختيار عشوائي لثلاثيات المعلومات لتوليد الأسئلة، يتبعها اختيار تكيفي خلال الجولات اللاحقة، حيث يتم استهداف ثلاثيات معينة تظهر فيها نماذج اللغات الضخمة أخطاءً متكررة بناءً على تحليل الأداء.

أظهرت الاختبارات الشاملة على تسعة نماذج بارزة أن HalluHunter يمكن أن يكشف عن أخطاء واقعية في ما يصل إلى 55% من الأسئلة التي تم اختبارها. علاوة على ذلك، تُظهر الأمثلة التي يقدمها HalluHunter، خاصةً في اختيار الأسئلة التكيفي، أنها قادرة على تسليط الضوء على مواطن الضعف في تقييم دقة المعلومات في نماذج اللغات الضخمة، مع الحفاظ على نطاق الأسئلة المطلوب.

للحصول على جميع الأكواد والبيانات والنتائج، يمكنك زيارة هذا الرابط: https://github.com/Mysterchan/HalluHunter.