اكتشاف المكونات الحاسوبية لتمثيلات تشبه البشر في نماذج اللغات الضخمة

تشكل القدرة الإنسانية على تحويل المدخلات المتنوعة من الحواس واللغة إلى سلوك منظم أحد أعمدة الذكاء البشري. ومع التطور السريع لنماذج اللغات الضخمة (LLMs) القائمة على المعمارية التحويلية، ظهرت تشكيلة واسعة من المكونات الحاسوبية التي تلعب دورًا في بناء هذه النماذج، مثل المعماريات وطرق الضبط الدقيق (Fine-Tuning) ومجموعات بيانات التدريب. ومع ذلك، يبقى الغموض حول أهم هذه المكونات في تطوير تمثيلات مفاهيمية تشبه البشر.

معظم المعايير الحالية غير ملائمة لقياس التوافق التمثيلي، مما يجعل نتائج نماذج اللغات الضخمة عليها غير موثوقة عندما يتعلق الأمر بتقييم تقدمها كنماذج معرفية. للتغلب على هذه القيود، قمنا بتقييم أكثر من 75 نموذجًا باستخدام مهمة تقارب الثلاثي (Triplet Similarity Task)، وهي طريقة معترف بها في علم الإدراك لقياس التمثيلات المفاهيمية، وذلك باستخدام مفاهيم من قاعدة بيانات THINGS.

تظهر النتائج أن الضبط الدقيق للتعليمات (Instruction Fine-Tuning) وحجم رأس الانتباه الأكبر هما من أفضل المؤشرات على التوافق البشري، بينما خيارات دالة التنشيط (Activation Function) والتدريب المتعدد الأنماط (Multimodal Pretraining) وحجم المعلمات كان لها تأثير محدود على التوافق. كما تكشف العلاقات بين درجات التوافق ودرجات المعايير القائمة أنه في حين أن بعض المعايير مثل BigBenchHard تلتقط التوافق التمثيلي بشكل أفضل من غيرها مثل MUSR، إلا أن أي منها لا تحسب التباين الكامل في التوافق البشري-النموذجي، مما يظهر عدم كفايتها.

في المجمل، تبرز نتائجنا مكونات حاسوبية رئيسية لتقديم نماذج لغات ضخمة كنماذج تمثيل مفاهيمي بشري، وت Address فجوة رئيسية في تقييم نماذج اللغات الضخمة.