في عالم الذكاء الاصطناعي، تواجه أنظمة نماذج اللغة الضخمة (Large Language Models) تحديًا كبيرًا عند استخدامها للأدوات. فالعملية تواجه توازنًا دقيقًا بين عرض الأدوات المناسبة فقط، وبين الحاجة إلى تخزين الكود الخاص بالطلبات. ولكن الآن، يمكننا أن نرحب بتقنية CacheRouter الجديدة، التي تعد بتحسين كبير في هذه المسألة.

تقوم CacheRouter على فكرة تصميم ممر ثنائي يوزع عملية اختيار الأداة وتقديمها عبر قنوات منفصلة. هذا يعني أن النموذج الرئيسي (Main Model) يعتمد دائمًا على مجموعة ثابتة وصغيرة من الأدوات الأساسية، مما يضمن أن رأس الطلب يظل ثابتًا على امتداد المكالمات. أما بالنسبة لبقية الأدوات، فيتم الوصول إليها عبر قناة توجيه مستقلة، حيث يقوم نموذج توجيه فرعي باكتشاف القائمة الكاملة للأدوات المتاحة واختيار الأداة المناسبة.

واحدة من المزايا الفريدة لهذه التقنية هي أنها تمكّن من تسجيل الأدوات تلقائيًا من الشيفرة المصدرية ودعم التحديثات أثناء التشغيل، مما يجعل مجموعة الأدوات تنمو دون تعديل في رأس طلب النموذج الرئيسي.

عند اختبارها، أظهرت نموذج CacheRouter أداءً مذهلاً في 55 استعلامًا وظيفيًا، حيث وصلت معدلات نجاح التخزين المؤقت على مستوى الرموز إلى 90.99% و95.2%. هذا يحسن التكلفة المدخلة إلى حوالي 12.0% و8.0% عند مقارنتها بتكاليف المدخلات دون تخزين مؤقت.

إذا كنت مهتمًا بعوالم نماذج اللغة الضخمة والتقنيات التي تحدث ثورة في استخدامها، فلا تفوت فرصة التعرف على هذه الابتكارات. هل ترون أن استخدام قنوات متعددة سيؤدي بالفعل إلى تحسين أداء هذه الأنظمة؟ شاركونا آراءكم في التعليقات!