في عالم الذكاء الاصطناعي المتسارع، تبقى جدولة نماذج اللغات الضخمة (LLMs) من المواضيع الحيوية التي تتطلب التحديث والمراجعة المستمرة. مؤخراً، قام الباحثون بتطوير مفهوم جديد يُعرف باسم SMETRIC، الذي يهدف إلى إعادة التفكير في الجدولة لتحسين أداء الوكلاء.

يسعى SMETRIC إلى معالجة التحديات القائمة في جدولة الطلبات، حيث يتم إصدار طلبات من قِبَل الوكلاء بدلاً من البشر. هذا الانتقال يغير طبيعة الحمل بشكل ملحوظ، إذ أن الوكلاء يتعاملون فقط مع الردود الإيجابية الكاملة. وبالتالي، يصبح تواتر الرموز في الثانية (TPS) الهدف الرئيسي، مع الحفاظ على متطلبات زمن الاستجابة المُرخاة.

وفقاً للدراسة التي أُجريت على بيانات حقيقية، تبيّن أن إعادة استخدام مفاتيح القيم (KV) تتجاوز 80% من الرموز في الطلب، مما يُشير إلى أهمية إدارة الموارد بشكل فعال. تتضح أهمية SMETRIC في تقديم رؤى جديدة تؤكد أن توازن الحمل ليس على حساب إعادة استخدام KV، وذلك بفضل مخزن KV العالمي.

تعتمد منهجية SMETRIC على جدولة الجلسات، حيث يتم توجيه الطلب الأول لكل جلسة بشكلٍ يضمن التوازن، بينما تُدار الطلبات التالية بطريقة تتيح إعادة الاستخدام المحلي. إن الاستخدام الذكي لمعلومات جلسة المستخدم كمعيار للجدولة يُعد خطوة استراتيجية تساعد في الحفاظ على الكفاءة.

وبفضل هذه الطريقة، شهدت أنظمة SMETRIC تحسيناً ملحوظاً في TPS تصل إلى 16%، دون التضحية بجودة خدمة الوكلاء. إن استخدام هذه الأساليب يمكن أن يُحدث فرقاً كبيراً في كيفية إدارة الطلبات في بيئات الإنتاج الشاقة.