في عالم الذكاء الاصطناعي، غالباً ما يُنظر إلى القابلية للتفسير على أنها عبء يُثقل كاهل القدرات. تم تدريب نماذج اللغة كأنظمة غير شفافة، تليها محاولات لشرحها بأساليب يصعب تحديد موثوقيتها. لكن في دراسة جديدة، تم تحدي هذا المفهوم.

تتناول الدراسة أهمية جعل القابلية للتفسير جزءاً من خط أنابيب التدريب، حيث يتم تحسينها جنباً إلى جنب مع الهدف الأساسي لنمذجة اللغة. هذا تم تأكيده من خلال ثلاث مستويات مختلفة من الحسابات، على كل من نماذج اللغة الذاتية التحفيز (autoregressive) ونماذج اللغة القائمة على الانفراج (diffusion models).

ما هو أكثر إثارة للاهتمام هو أن النتائج أظهرت أن تمثيلات النموذج تصبح أكثر تميزًا وتوافقًا مع المفاهيم المفهومة إنسانياً كلما زادت السعة. تم تطبيق وصفة زمن التدريب مع نموذج Steerling-8B، وهو نموذج لغوي قائم على الانفراج مزود بقناع انتباه سببي.

عند توليد أي مجموعة من الرموز، يربط Steerling-8B المخرجات برموز الإدخال ذات الصلة والمفاهيم المفهومة إنسانياً وبيانات التدريب، مما يسمح بالتدخل المغلق: تشخيص النتيجة من خلال نسبتها إلى المفهوم أو سمة معينة، واسترجاع بيانات تدريب مشابهة، وتصحيح السلوك من خلال توجيه المفهوم دون الحاجة لإعادة التدريب.

مع بقاء Steerling-8B تنافسياً مقارنة بالنماذج المفتوحة التي تم تدريبها على موارد حسابية تزيد عن 2-16 مرة، يبدو أن هناك نمطاً جديداً في عملية التوسع: يمكن تصميم القابلية للتفسير في عملية التدريب، بل تتحسن مع زيادة السعة.

إن دمج القابلية للتفسير في نماذج اللغة يشكل خطوة رائدة نحو تطوير ذكاء اصطناعي أكثر شفافية وكفاءة. فهل نحن نقترب من عصر يُمكن فيه للأجهزة الذكية فهم نفسها وفهمنا؟ شاركونا آراءكم في التعليقات!