تُعاني نماذج اللغات الضخمة (LLMs) من صعوبات حقيقية في مجال نقل المعرفة بين اللغات المختلفة، حيث تكون النتائج أحياناً غير دقيقة أو غير موثوقة، ما يعرف بالهلاوس. في دراستنا الحديثة، نقدم بيئة مراقبة لدراسة أسباب وديناميات هذا الظاهرة من خلال تدريب نماذج Transformers صغيرة من الصفر على مجموعات بيانات لغوية متعددة.

خلال هذه الدراسة، تبين أن هناك عاملين رئيسيين يؤثران على نجاح النماذج في نقل المعرفة:
1. **العلاقة بين الحقائق واللغة التي تم تعلمها فيها** (Informativeness)
2. **سهولة التعرف على اللغة** (Extractability)
بناءً على تلك العوامل، يمكن للنماذج إما أن تُطور تمثيلات موحدة عبر اللغات أو تمثيلات منفصلة؛ وعندما تكون هذه التمثيلات موحدة، يمكن للحقائق أن تنتقل بفعالية بين اللغات.

تقدم هذه النتائج وجهة نظر موحدة تفسر مجموعة من الملاحظات السابقة المتعلقة بنقل المعرفة عبر اللغات في نماذج اللغات متعددة اللغات. علاوةً على ذلك، توضح دراستنا كيف يمكن أن تسلط البيئات المراقبة الضوء على ديناميات ما قبل التدريب وتقترح أساليب لتشجيع التوحيد التمثيلي كجزء من تدريب النماذج، مما يحسن قدرتها على نقل المعرفة بين اللغات المختلفة.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات!