لا تزال النماذج اللغوية الكبيرة (LLMs) تكتسب زخمًا متزايدًا، ولكن التحديات لا تزال قائمة في كيفية تحقيق التوازن بين الأداء والتكلفة. في هذا الإطار، ظهرت تقنية جديدة تُعرف باسم ReLope، والتي تستخدم البروتينات الذكية لتحسين توجيه النماذج اللغوية متعددة الوسائط.

وفقًا لدراسة حديثة، فإن “probe routing” أو توجيه البروتينات أثبت أنه استراتيجية فعالة في النماذج اللغوية المخصصة للنصوص فقط، حيث يقوم التوجيه بتوقع دقة النموذج الصغير باستخدام حالاته الخفية. ومع ذلك، وُجد أن هذه التقنية تعاني من انخفاض كبير في دقتها عند تطبيقها على النماذج متعددة الوسائط (MLLMs).

أظهرت التحليلات التجريبية أن وجود مدخلات بصرية يُضعف من قابلية فصل إشارات الدقة في الحالات المخفية، مما يجعل من الصعب استخلاصها باستخدام تصميمات البروتين القياسية. لذلك، قدم الباحثون نهجين تكميليين لتحسين توجيه البروتينات في MLLMs:

1. **Probe الانتباه (Attention Probe)**: يجمع هذا النهج حالات من الطبقة السابقة بناءً على درجات الانتباه لاستعادة إشارات الدقة الموزعة.
2. **KL-Regularized LoRA Probe (ReLope)**: هذا النهج يتمثل في إدخال محول LoRA خفيف الوزن وتطبيق مُنظم KL لتعلم تمثيلات واعية بالتوجيه.

أظهرت التجارب الشاملة أن هذه الأساليب تتفوق بشكل مستمر على الأسس التقليدية، مما يؤكد أهمية تحسين جودة الحالات المخفية لتحقيق توجيه فعال في MLLMs. يُمكنكم الاطلاع على الكود المصدر الخاص بهذه التقنية عبر GitHub.

ما رأيكم في هذا التطور الهام الذي قد يمهد الطريق لمزيد من الابتكارات في مجال الذكاء الاصطناعي؟ شاركونا في التعليقات!