أظهرت الأبحاث الأخيرة أن نماذج اللغات يمكنها نقل خصائص سلوكية عبر إشارات مخفية في البيانات التي يتم توليدها خلال التدريب، وقد أثار هذا السؤال حول إمكانية وجود قناة نقل أكثر مباشرة وصرامة. هل يمكن أن يتواصل نموذج لغوي مع آخر أثناء الاستنتاج من خلال ترجمة وتضمين التفاعيلات المخفية، بدلاً من استخدام النص الطبيعي؟

في تجربة محكمة تم تنفيذها بين نموذجَيْ بيثيا (Pythia) - بيثيا 160 مليون (Pythia-160M) وبيثيا 410 مليون (Pythia-410M) - تم اختبار هذه الفرضية في إعدادات تفكير متعددة الخطوات. وقد أظهر الطبقة الترجميّة الخطية قدرة قوية على التعلم على خريطة المساحات الموحدة بين حالات الإرسال والاستقبال، مع اقتراب تشابه الزاوي المصحح من 0.97 عبر الأنماط المختلفة.

ومع ذلك، وعند حقن التفاعلات المترجمة في النموذج المستلم خلال وقت الاستنتاج، لم يُحسن ذلك من الإجابات اللاحقة. حيث واصلت إضافة الحقن المنخفض القوة البقاء بالقرب من خط الأساس الذي لا يتضمن الحقن، مع فترات الثقة التي تتجاوز الصفر. أما حقن نمط الاستبدال، فقد ثبت أنه مضر بشكل مستمر، بينما لم تنجح محاولة إعادة قياس المتجهات المترجمة ليتناسب مع حالة النموذج المستلم في تحسين الأداء.

وبناءً على ذلك، فإن هذه النتيجة تُعَدّ سلبية على نطاق محدد: في هذا الإطار، لم يكن التوافق التمثيلي في الوضع غير المتصل كافياً للتواصل السببي المفيد داخل النموذج المستلم.

هل تعتقد أن هناك طرق أكثر فعالية يمكن من خلالها تحسين نماذج الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!