في عصر تتحدى فيه نماذج اللغة الكبيرة (Large Language Models) السائد في استراتيجيات التصنيف، برزت مشكلة جديدة تُعرف باسم "تحيز إعادة التعديل". يُدرك الباحثون أن هذه النماذج تُستخدم بشكل متزايد كأدوات للتصنيف في مهام التفكير المعقد، لكن القيود المفروضة عليها تؤدي إلى تآكل خطير للمعلومات.
في دراستهم الأخيرة، قام علماء من جامعة مختصة بدراسة تأثير "فقدان الصوت"، وهو ما يحدث عندما تتجاهل العمليات القياسية، مثل العمليات الناعمة (Softmax)، المعلومات الهامة المرتبطة بالمترادفات الدلالية عند تصنيف نماذج اللغة.
ولإصلاح ذلك، اقترحوا نموذجاً جديداً يُعرف بـ"Softmax الدلالي" (Semantic Softmax)، والذي يُضيف طبقة جديدة خلال مرحلة الاستدلال لاستعادة المعلومات المفقودة من خلال تجميع نقاط البيانات المتعلقة بكل علامة مستهدفة.
تمت اختبار هذه الطريقة الجديدة على نماذج Qwen-3 وPhi-4-mini باستخدام مجموعات بيانات GoEmotions وCivil Comments، وقد أظهرت النتائج تحسناً ملحوظًا في جميع مقاييس التقييم. لا تقتصر الفوائد على تقليل خطأ المعايرة المتوقع (Expected Calibration Error - ECE) ودرجة Brier فحسب، بل ساهمت أيضًا في تعزيز أداء التمييز من حيث AUROC وMacro-F1.
من خلال مراعاة التفصيلات اللغوية الدقيقة، تقدم هذه الطريقة بديلاً أكثر دقة وموثوقية للتصنيف بدون تدريب (zero-shot classification). وهذا يجعل من المهم تطبيق استراتيجيات مشابهة في النماذج الأخرى لتعزيز دقتها وثقتها في الأداء.
صوت الصمت: كيف تعزز نماذج اللغة الكبيرة (LLMs) دقتها من خلال تجميع الجوار الدلالي!
تقرير جديد يكشف كيفية مواجهة نماذج اللغة الكبيرة (LLMs) لمشكلة تحيز إعادة التعديل لتحسين دقتها في التصنيف. أفكار مبتكرة تدعو للتفكير حول أهمية المعلومات المفقودة في التصنيفات.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
