في ظل تزايد الاعتماد على نماذج اللغات الكبيرة (Large Language Models) في تقديم الخدمات، تواجه هذه الأنظمة تحديات كبيرة في توجيه الطلبات بكفاءة وبشكل متزامن. في هذا السياق، طرحت دراسة جديدة نهجاً مبتكراً لعملية توجيه الطلبات باستخدام البرمجة الخطية عبر الإنترنت (Online Linear Programming).

يتمثل التحدي الرئيسي في إدارة الطلبات القادمة بشكل متتابع، والتي يجب توجيهها إلى عمال فك الشفرات المتعددين، كل ذلك ضمن قيود صارمة تتعلق بحجم الدفعة وذاكرة العرض (KV-cache). على عكس الأساليب التوجيهية التقليدية التي لا ترتبط بأهداف خدمة محددة، تم تقديم إطار عمل لتحسين متعدد الأهداف يتيح لتوجيه الطلبات أن يصبح أكثر دقة وكفاءة.

تستخدم الدراسة سياسة تحكم فعالة تعتمد على البرمجة الخطية عبر الإنترنت، والتي تقبل الطلبات عندما تتجاوز فوائدها المرتبطة بأهداف الخدمة أسعارها الظلية. هذه التكنولوجيا لا تقوم بتحسين زمن الاستجابة فحسب، بل تحقق أيضاً أداءً أعلى في مختلف مقاييس مستوى الخدمة، مثل زمن النقل، وزمن الوصول إلى الرمز الأول، والإنتاجية.

تم دمج هذا الرواتر الجديد في محاكي Vidur، حيث أظهرت النتائج تحسنًا ملحوظًا مقارنةً بالأساليب التقليدية، مؤكدين أن النهج القائم على الأدلة العلمية يتفوق بشكل كبير على الخيارات المعتمدة على الحدس.

وبهذا، فإن الدراسات تكشف عن وظيفة جديدة يمكن أن تُحدث تحولًا كبيرًا في طرق تقديم خدمات الذكاء الاصطناعي، مما يوفر تحكمًا أفضل في العلاقة بين زمن الاستجابة والإنتاجية. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.