في عالم يتسارع فيه التطور التكنولوجي، جلبت الأبحاث الحديثة في نماذج التفكير المتسلسل (chain-of-thought reasoning) تطورات مثيرة، خاصة مع ظهور نموذج جديد يدعى LISA والذي يقفز إلى قمة الابتكار في مجال الذكاء الاصطناعي.

LISA، اختصار لـ Linear-Indexed Sparse Attention، يعد نقطة تحول تكسر قيود التعقيد الحسابي التقليدي الذي يبلغ O(n²) والذي يؤثر سلباً على أداء نماذج الذكاء الاصطناعي خاصة عند العمل مع سلاسل طويلة من المعلومات. حيث تؤدي هذه القيود إلى ارتفاع تكاليف الاستنتاج، مما يعيق استخدام نماذج التفكير الطويل بشكل فعّال في التطبيقات الإنتاجية.

تقدم LISA حلاً مبتكراً عن طريق دمج مكونين خفيفين: وحدة الانتباه الخطية (Linear Attention) التي تقدم ذاكرة طويلة المدى بتعقيد زمني O(n)، ومحدد البرق (Lightning Indexer) الذي يختار أهم الرموز من السياق الكامل لتغذيتها في انتباه ذاتي نادر.

وفي خطوة مهمة، يتم دمج مسارين عبر آلية تخفيف، مما يقلل من تعقيد الاستنتاج من O(n²) إلى O(nM) حيث M << n، مما يعزز كفاءة النموذج. بالإضافة إلى ذلك، تمتاز LISA بوجود خطتي تدريب متميزتين تهدفان إلى تعزيز القدرة على التقاط الاعتمادات طويلة المدى وتحسين أداء النماذج.

أظهرت التجارب التي أجريت على نماذج DeepSeek-distilled-Qwen أن LISA تحقق زيادة في سرعة الاستنتاج بنسبة تصل إلى 50% بمساعدة سياق مكون من 16K رمز، مع تحسن في الأداء المتوسط بنسبة 5.6% في اختبارات التفكير مثل AIME وMATH-500. هذا الابتكار يعكس خطوة هائلة نحو تحقيق تجارب أكثر ذكاءً وفعالية في تطبيقات الذكاء الاصطناعي.