في عالم التكنولوجيا الحديثة، يُعَدّ تنبؤ المسارات أمرًا حيويًا للأنظمة الذاتية المستقلة، حيث يتطلب قدراً هائلاً من التفكير المعقد حول تفاعلات الوكلاء المتعددين ونواياهم. في الوقت الذي تم فيه استغلال نماذج اللغة الكبيرة (Large Language Models) لهذا الغرض، إلا أن تلك النماذج غالباً ما تكون شديدة الاستهلاك للذاكرة والمعالجة، مما يجعل من الصعب استخدامها على الأجهزة الطرفية المحدودة الموارد، مثل الحواسيب المدمجة في الروبوتات الذاتية.

لردم هذه الفجوة، تم تقديم تقنية BitTP، التي تحول نموذج تنبؤ المسارات القائم على نماذج اللغة الكبيرة إلى بنية خفيفة الوزن تعتمد على ما يُعرف بـ Bitlinear.

تكمن الابتكارات الرئيسية في أن تقنيات التكميم، والتي تُستخدم لتقليل حجم البيانات، قد توصلت إلى نتائج مُثلى عند تكميم الأوزان إلى 1.58 بت، بينما يجب أن تظل تفاعلات النموذج في كامل دقتها. حيث أظهرت التجارب أن تكميم التفاعلات يحمل تأثيرًا سلبيًا على جودة النتائج.

الأرقام تتحدث عن نفسها: تمكنت تقنية BitTP-Weight من تحسين جودة التنبؤ مقارنة بالنموذج الكامل، حيث انخفض متوسط أخطاء التنبؤ بنسبة 14.29% في قيمة متوسط الخطأ المطلق (ADE) و20.97% في قيمة متوسط الخطأ النهائي (FDE)، بينما تم تقليل استهلاك الذاكرة وزمن الاستنتاج بالمقارنة مع طرق التكميم الأخرى.

تعكس هذه النتائج كيف أن التصميم المدروس للتكميم يمكن أن يعمل كعامل مثبت فعال، مما يجعل من الممكن نشر تفكير معقد قائم على نماذج اللغة الكبيرة في الأجهزة الطرفية.

إذا كنت تريد أن تكون جزءًا من هذا التقدم، يمكنك الوصول إلى الرمز المتاح عبر GitHub.