في ظل تزايد الحاجة إلى الخدمات اللغوية متعددة النماذج، تقع على عاتقهم مسؤولية توجيه كل طلب بكفاءة، مع الحفاظ على الميزانيات المختلفة مثل تكلفة المعالجة، والكمون، والذاكرة. إن حل هذه القضية يعتبر أكثر تعقيدًا بكثير من عملية اختيار النموذج الثابت. يُظهر البحث أن تمثيلات المطالبات ذات الأبعاد العالية تجعل من الصعب التنبؤ بالقيمة الإضافية لأي نموذج، حيث إن قليلًا من اتجاهات التضمين قد تكون كافية لتقدير هذا.

مع تغير مزيج الطلبات وانتقال النماذج مع إطلاقات جديدة وتعديلات دقيقة، يظهر التحدي الأبرز. وفي هذا الصدد، تم تطوير طريقة جديدة تُعرف باسم توجيه الفقرات الديناميكية العمياء (Drift-Aware Sparse Routing - DRS)، التي تحدد الطريقة التي يمكن بها تقييم الطلبات بالتوازي مع عدة نماذج.

تعتمد هذه السياسة على تقدير المكافآت واستخدام الموارد من نافذة تحقيق متحركة، حيث يتم توجيه الطلبات استنادًا إلى تقديرات مكافآت متشائمة وتكاليف متفائلة. يستخدم هذا النموذج ميزتين رئيسيتين: أولاً، إنه يراقب الوقت الحي للسؤال، مما يساعد على اتخاذ قرارات أكثر ذكاءً وثباتًا. وثانيًا، وجود تدفقات التدقيق الظلي يساعد في تقييم عينة صغيرة من المطالبات مما يحسن من الكفاءة بشكل كبير.

تطبيق توجيه الفقرات الديناميكية العمياء يتطلب فهمة دقيقة للإحصائيات ورسم البيانات، كما أنه يقيد الخسائر الناتجة عن التنبؤات غير الدقيقة، وهو ما يعد تحسنًا كبيرًا في عالم النماذج اللغوية (Language Models).

هل أنتم مستعدون لرؤية كيف يمكن لهذا الابتكار أن يُحسن من الأعمال التجارية؟ شاركونا في التعليقات!