من المفاتيح الثابتة إلى المخططات القابلة للقراءة: نماذج لغوية صغيرة لتحسين وظائف الوكلاء في السيارات

في عصر التكنولوجيا المتطورة، أصبحت المساعدات داخل السيارات تحتاج إلى تحويل الطلبات الطبيعية للمستخدمين إلى استدعاءات دقيقة لوظائف السيارات. تعد النماذج اللغوية الصغيرة (Small Language Models - SLMs) خيارًا جذابًا للاستخدام على الأجهزة نفسها، حيث تواجه قيودًا في الذاكرة والزمن.

إن الاختيار الأساسي في تصميم تلك النماذج هو كيفية تقديم واجهة الوظائف المتاحة. تتضمن طريقتان رئيسيتان: الأولى، تمثيل كل وظيفة بواسطة رمز وظيفي خاص (Functional Token - FT) والثانية، تقديم مخططات الوظائف مباشرةً في التعليمات. بينما تمكن رموز الوظائف من استنتاج مضغوط، إلا أنها تقيد الوظائف التي تم تعلمها فقط خلال التدريب. من ناحية أخرى، يمكن لمخطط التعليمات (Schema-in-Prompt - SIP) أن يتعمق في وظائف غير مألوفة ولكن بتكلفة أعلى تتمثل في طول التعليمات وزيادة زمن الاستدلال.

لقد أجرينا دراسة استقصائية شاملة تتضمن 9,822 مثالًا من طلبات فردية تغطي 79 وظيفة من وظائف السيارات المشتقة من Android Automotive، بما في ذلك وظائف محجوزة وطلبات تتطلب الرفض. تمت مقارنة الطريقتين تحت ظروف ضبط دقيق مماثلة عبر أربعة نماذج صغيرة تتراوح من 270 مليون إلى 1.7 مليار معلمة. أظهرت النتائج أن زيادة السعة لم تحقق فائدة كبيرة في الوظائف التي تم تعلمها خلال التدريب، حيث كان أداء النموذج الأصغر (270M) مماثلًا للنموذج الأكبر (1.7B)، بينما كان الأداء الأفضل بشكل عام عند 0.6B.

أما على الوظائف المحجوزة، فإن نموذج الرموز الوظيفية لم يحقق أي دقة بالاعتماد على التصميم، بينما أظهر نموذج المخطط العام تميزًا واضحًا في التعميم مع زيادة السعة. في حالات الطلبات خارج النطاق، يمكن لنموذج الرموز استدعاء وظيفة غير متاحة، بينما يرفض نموذج المخطط بشكل موثوق بناءً على الوظائف المقدمة. تعني هذه المرونة زيادة في استخدام الذاكرة والزمن المطلوب.

تقدم التحليلات النظرية تفسيرًا لكيفية تمكين نموذج المخطط من التعميم ولماذا يؤدي السياقات الأطول إلى زيادة تكلفة الاستدلال. بشكل عام، يتحدد تمثيل واجهة الوظائف، بدلاً من حجم النموذج فقط، قدرات وأنماط فشل استدعاءات وظائف السيارات المدعومة بالنماذج اللغوية الصغيرة.