اكتشاف الهلوسات في نماذج اللغة الكبيرة باستخدام الهندسة: ثورة في دقة المعلومات!

في عالم الذكاء الاصطناعي، تُعتبر نماذج اللغة الكبيرة (Large Language Models - LLMs) من أبرز التقنيات، إلا أنها تواجه تحديات كبيرة تتعلق بإنتاج محتوى غير صحيح أو غير مدعوم، وهو ما يُعرف بالهلوسات. في هذا السياق، تم بذل جهود سابقة لاستكشاف استراتيجيات حل الشفرات، وزيادة الاسترجاع، والتدريب الخاضع للإشراف لاكتشاف هذه الهلوسات.

ومع ذلك، تشير الدراسات الأخيرة إلى أن التعلم داخل السياق (In-Context Learning - ICL) يمكن أن يؤثر بشكل كبير على موثوقية المعلومات. للأسف، تُظهر طرق اختيار العروض التوضيحية الحالية في ICL اعتمادًا على معايير مشابهة على السطح، مما يؤدي إلى محدودية القوة على مدار المهام والنماذج المختلفة.

لذا، يتمثل الابتكار في إطار GA-ICL، الذي يعتمد على تقنيات الهندسة لاختيار العروض التوضيحية. يستخدم هذا الإطار تمثيلات خفية مستخرجة من LLMs مجمّدة، ويقوم بنمذجة بنية المانيفولد المحلية وهندسة النماذج الكلاسيكية، للاعتماد على القرب من النماذج التي تم تعلمها بدلاً من مجرد التشابه النصي أو التضمينات.

أظهرت النتائج أن GA-ICL يتفوق على المعايير التقليدية لـ ICL في مجموعة واسعة من التطبيقات، وخاصة في مهام الحوار والتلخيص. كما أثبتت الطريقة ثباتها تحت تغييرات درجة الحرارة واختلاف النماذج، مما يشير إلى تحسينات ملحوظة مقارنة باستراتيجيات الاسترجاع التقليدية.

في ظل تقييمات موسعة على نماذج Phi-14B و Qwen3-32B، أثبت GA-ICL فعاليته في النماذج الأكبر حجماً، متجاوزًا جميع المعايير الأخرى، مما يوفر اتجاهًا متينًا لتحسين اختيار العروض التوضيحية في ICL.