في عالم الذكاء الاصطناعي، لا شك أن نماذج اللغات الضخمة (LLM) تلعب دورًا محوريًا في دفع الحدود التكنولوجية إلى الأمام. ومع ذلك، يبقى التحدي الأكبر في تقدير استهلاك الرموز (Tokens) خلال تنفيذ هذه النماذج. في هذا الإطار، تم تقديم نموذج TokenCast، الذي يعد بمثابة نقطة تحول في هذا المجال.

عندما يقوم وكيل اللغة الكبيرة (LLM agent) بتنفيذ نفس المهمة، يمكن أن يختلف استهلاك الرموز بشكل ملحوظ من مرة لأخرى. يعود السبب إلى أن الوكيل يعتمد على ردود الفعل من الأدوات والنتائج الوسيطة، بينما يتزايد حجم السياق بشكل تدريجي مما يؤدي إلى تضخم حجم الإدخال في كل استدعاء لاحق. لذا، يصبح من الصعب توقع الاستهلاك الإجمالي لمهمة معينة قبل تنفيذها.

ينشئ نموذج TokenCast تمثيلاً قابلًا للتشكيل لتكاليف التنفيذ لكل جزء من العملية، موثقًا استهلاكه الخاص والنمو المتزايد للسياق الذي يقدمه. من خلال دمج الأجزاء المجاورة، يتم تحقيق تقدير تراكمي يعكس التكلفة الزائدة التي يتم فرضها عندما يتم إعادة قراءة سياقات الأجزاء السابقة من الاستدعاءات اللاحقة.

بعد كل عملية تنفيذ، يتم تحديث التوقعات بناءً على الأدلة الجديدة التي تم جمعها، مما يتطلب إلا استدعاءات إضافية من نموذج اللغات الضخمة. وفي تجارب أُجريت عبر أربع مجموعات مهام وستة نماذج وكيلة، أظهرت TokenCast انخفاضًا بمعدل 14.5% في متوسط الخطأ المطلق مقارنة بأقوى منافس.

إذا كنت مهتمًا بالتكنولوجيا الحديثة وقدرتها على تجاوز الحدود، تفضل بزيارة كود النموذج على GitHub وشاركنا رأيك: هل تعتقد أن هذا النموذج سيغير طريقة تنفيذ نماذج اللغات الضخمة في المستقبل؟