استكشاف مفاجآت التعلم في النماذج اللغوية: كيف تكشف التباينات عن غموض المعرفة؟

في مجال الذكاء الاصطناعي، تبرز الأسئلة المتعلقة بمعرفة النماذج اللغوية (Large Language Models) وكيفية تعبيرها عن عدم اليقين. ماذا يحدث عندما تُعطَى نفس السؤال لعشرات المرات وتظهر النماذج إجابات متباينة؟ هل تُعتبر هذه التباينات دليلًا على ما لا تعرفه النماذج؟ تسلط دراسة جديدة الضوء على هذا الأمر، حيث يظهر أن هذه التباينات، بدلاً من أن تُظهر عدم اليقين، تُعبر عن هيكل خفي بين الأسئلة المرتبطة.

تتناول الدراسة مقارنة بين استجابة نموذج لغوي تم تشغيله 100 مرة مع درجة حرارة معينة (Temperature = 1) ومجموعة من 24 نموذجًا لغويًا تم تشغيلها مرة واحدة مع درجة حرارة أقل (Temperature = 0). استخدمت الدراسة اختبار مصفوفات عشوائية (Marchenko–Pastur) لفصل الإشارات عن الضوضاء في كلا الجانبين. وجد الباحثون أنه داخل أي نموذج واحد، لا ترتفع سوى بُعد واحد فوق مستوى الضوضاء عبر خمسة عائلات وثلاثة معايير (MMLU، HellaSwag، GSM8K). بينما عبر المجموعة، أظهرت أربعة قيم ذاتية (eigenvalues) تفوق مستوى الضوضاء، مما يجعلهما موثوقتين.

تكشف النتائج أن الاعتماد على الاستجابة الذاتية للنموذج يمكن أن يوفر تقديرات دقيقة لعدم اليقين لكل سؤال، لكن بدون هيكل ملحوظ بين الأسئلة. في المقابل، فقط مجموعة متنوعة من النماذج تكشف ما لا تعرفه هذه النماذج. في ضوء هذه النتائج، يتضح أهمية التنوع في تحقيق فهم أعمق للمعرفة الغائبة في النماذج اللغوية. هل تتفق مع نتائج هذه الدراسة أم لديك وجهة نظر مختلفة؟ شاركنا آرائك في التعليقات.