تشهد نماذج اللغات الضخمة (Large Language Models - LLMs) تطوراً ملحوظاً في القدرات اللغوية التي اكتسبتها خلال مرحلة التدريب الأولي. فبينما تُظهر هذه النماذج القدرة على فهم وتركيب جمل معقدة، لا تزال هناك أسئلة حائرة حول كيفية اكتسابها لمهارات لغوية معينة، مثل التعرف على الأسماء الجمع غير النظامية.

في دراسة حديثة، استخدم الباحثون تقنيات جديدة تُسمى "الكروس كودر" (crosscoders) لتتبع تطور المميزات اللغوية خلال مراحل التدريب المختلفة. تركز هذه التقنيات على اكتشاف وتحليل الفروقات في تمثيلات النموذج على مدار الزمن، مما يساعد في فهم كيف ومتى تظهر القدرات اللغوية.

بالاعتماد على مؤشرات أداء قابلة للقياس، قام الباحثون بتحليل مجموعة من العلامات المرجعية المفتوحة المصدر، التي أظهرت تحولات ملحوظة في الأداء والتمثيل. ولتتبع هذه الاختلافات، تم تقديم مقياس جديد يُعرف بالآثار غير المباشرة النسبية (Relative Indirect Effects - RelIE)، والذي يساعد في تحديد الفترات التي تصبح فيها ميزات معينة ذات أهمية حاسمة لأداء المهام.

أظهرت النتائج أن تقنيات الكروس كودر قادرة على اكتشاف متى تظهر أو تُبقي أو تختفي الصفات اللغوية خلال التدريب. هذه الطريقة ليست مقيدة بنوع معين من النماذج، بل يمكن تطبيقها بشكل واسع ومرن، الأمر الذي يشكل مساراً واعداً نحو تحليل أكثر فهمًا ودقة لعملية التعلم التمثيلي لنماذج اللغات الضخمة.

هل أنتم متحمسون لمعرفة المزيد عن التقنيات التي تقف وراء تطور القدرات اللغوية في الذكاء الاصطناعي؟ شاركونا آراءكم!