في عالم الذكاء الاصطناعي، يعتبر تسريع عمليات الترميز الآلي (autoregressive inference) أمرًا حيويًا، ولهذا السبب نشأت تقنيات مثل الترميز التقديري (speculative decoding).

ومع ذلك، على الرغم من فعالية هذه التقنية، فإنها تواجه تحديات مع زيادة طول السياق، حيث تصبح النماذج الحالية أكثر تكلفة، مما يقلل من المزايا الكفاءة التي تهدف إلى توفيرها.

ولكن، هل من الضروري أن تتوسع النماذج بشكل متزايد مع كل رمز يتم إنشاؤه؟

نموذج LongSpark يقدم إجابة واضحة. بينما يتحمل نموذج اللغة التقليدي مسؤولية كل رمز يستخرجه، فإن نموذج الدفعات (drafter) مثل LongSpark يقترح فقط مرشحين، ويترك لعميلة التحقق (verification) سحب وتصحيح الأخطاء قبل الالتزام بأي رمز.

ما يجعل LongSpark بارزًا هو قدرته على تقليل تكاليف الدفعات تمامًا لتكون مستقلة عن طول التفضيل (prefix)، مما يعني أن النموذج يمكن أن يقدم كفاءة عالية دون الحاجة لتكبد أعباء إضافية.

من خلال تقنية الدفعات المتعددة المقاييس (multiscale views)، يسحب LongSpark معلومات ثابتة الحجم من عملية التحقق، مزيلاً الحاجة إلى حالة ثابتة متزايدة.

وأظهرت النتائج التجريبية أن LongSpark يحافظ على كفاءة فريدة في الأداء عبر عدة مقاييس نموذجية وظروف تقديم واقعية، حيث يسجل أقل زمن لكل رمز مُخرَج في مهام سياق يطول. إن إصدار نتائج تجريبية مذهلة مع تقليل حالة سياق الدفعات بعدة أوامر من حيث الحجم، يجعل LongSpark هو الخيار المثالي للأجهزة التي تتطلب سرعات معالجة فعالة في محيطات بيانات ضخمة.