في الآونة الأخيرة، أثارت دراسة حول النماذج اللغوية الكبيرة (Large Language Models) نقاشات متعددة حول مدى فعاليتها في مهام التخصصات الدقيقة. على الرغم من أن هذه النماذج قد حققت نجاحات ملحوظة في المهام العامة، إلا أن أدائها غالباً ما يتراجع في المجالات التقنية المتخصصة.

الدراسة التي تم نشرها على arXiv، تناولت فجوة المعرفة المتعلقة بالمصطلحات الفنية واختبرت نموذج Llama-3.1 العام مقابل نموذج آخر تم تدريبه على بيانات طبية. وما قد يبدو مفاجئاً هو أن النموذج العام قد أظهر أداءً أفضل من النموذج المتخصص في كلا المهمتين المطروحتين.

من خلال أدوات التفسير الميكانيكي، تم الكشف عن أن النموذج المدرب طبياً يعاني من أنماط خاطئة في التقييم. بدلاً من إعادة تنظيم المعرفة المعلمة، قدم النموذج المتخصص تركيزًا زائدًا على مجموعة صغيرة من المكونات المرتبطة بالتنبؤات المتعلقة بالمصطلحات.

عند تطبيق استراتيجيات إعادة تقييم المكونات للاستجابة لمهام تقييم المصطلحات، تمكن الباحثون من تقليل تأثير هذه المكونات، مما ضيق الفجوة مع النموذج العام. ومن المثير للاهتمام، أن بعض المكونات الحساسة كانت قادرة على نقل المعرفة إلى مهام تتعلق بمصطلحات علوم المواد، مما يشير إلى أن هناك بعض المعرفة المتخصصة التي يمكن أن تكون غير مرتبطة مجالات محددة.

تقدم هذه النتائج دراسة حالة تبين أن نقطة التخصيص لم تؤدِّ إلى تحسين فهم المصطلحات المعقدة مقارنة مع النموذج العام. هذا يدعو للتساؤل حول فعالية عمليات التخصيص في تحقيق الأداء الأفضل في التخصصات الدقيقة.