في عالم الذكاء الاصطناعي، يبدو أن محولات LLM الديناميكية (Dynamic LLM Routers) كانت تُعتبر الأداة المثلى لتقليل تكاليف الاستدلال من خلال توجيه كل استفسار إلى النموذج الأكثر كفاءة في إجابته. لكن دراسة جديدة نشرت على arXiv تكشف عن مفاجآت غير متوقعة.

تحدث الباحثون عن تحليلهم لستة محولات تجارية تم اختبارها في 14 إعدادًا مختلفًا تغطي ثماني فئات مهام متنوعة. النتائج كانت مثيرة للقلق، حيث لم يتفوق أي من هذه المحولات على طريقة بسيطة تعتمد على الاختيار العشوائي لنموذجين تم اختيارهما بشكل جيد، حتى عند التكلفة المتطابقة. بعض المحولات سجلت أداءً أقل بفارق يصل لأكثر من 10 نقاط مئوية!

يوضح الباحثون أن هناك أربعة أنماط شائعة تساهم في هذه القصور: عمى الصعوبة (difficulty blindness)، والانعكاس في الطول (length reversal)، والتطابق الدلالي (semantic matching)، وعدم القدرة على استغلال التشكيلات المثلى (roster suboptimality). النتائج تشير إلى أن المنهج التقليدي في المكافأة قد يرشد النتائج بالسماح للأسئلة ذات الصعوبة المتوسطة بالتفوق على الأسئلة الأكثر تعقيدًا.

كما يبدو أن الافتراضات التي قد تدعم الحاجة إلى قوائم نماذج كبيرة، مثل تفصيل النماذج وتخصصها، لا تثبت واقعياً. يقترح الباحثون منهجية تقييم بديلة لا تكافئ هذه الأنماط، وأثبتوا أن مصفوفة بسيطة من نموذجين يمكن أن تتجنب جميع الأنماط الأربعة، على الرغم من أن المكاسب التي تحققها هذه الطريقة ما زالت محدودة.

تأملوا في هذه النتائج المدهشة! إلى أي مدى يمكن الاعتماد على هذه التكنولوجيا المتقدمة؟ وما الحلول البديلة التي يجب تطويرها لتحسين الأداء؟