تشهد نماذج اللغة الكبيرة (Large Language Models) تطوراً ملحوظاً، حيث أصبحت تقنية التنبؤ متعدد الرموز (Multi-Token Prediction) جزءاً أساسياً من العمليات التي تعتمد على التفكير سلسل العمليات. وفي هذا السياق، يقدم الباحثون تقنية جديدة تعرف باسم Pair-In، Pair-Out (PIPO)، والتي تهدف إلى تحسين الأداء وتقليل تكاليف التحقق.
تركز الدراسات السابقة إما على ضغط المدخلات (latent compression) أو على جانب المخرجات (التحليل الاستباقي والتنبؤ متعدد الرموز)، لكن هذا التخصص أظهر عدم التفاعل بين الجانبين. ومع ذلك، إن الابتكار في PIPO يعتمد على دمج كل من ضغط المدخلات والتنبؤ متعدد الرموز، حيث يعمل الضاغط على دمج رمزين لدخول واحد، بينما يقوم رأس التنبؤ بتوسيع حالة خفية إلى رمز خروج إضافي.
ما يميز PIPO هو كفاءته في إزالة تكاليف التحقق من خلال تدريب رأس ثقة خفيف الوزن يحدد ما إذا كانت الرموز المسودة يجب قبولها أم لا. وقد أظهرت التجارب على عدة منصات مثل AIME 2025 وGPQA-Diamond وLiveCodeBench v6 تحسناً ملحوظاً في أداء النماذج، حيث تم تحسين نسبة النجاح (pass@4) بمعدل يصل إلى 7.15 نقطة، مع تحقيق تسريع في زمن استجابة أول رمز بمعدل 2.64 مرة وزمن استجابة لكل رمز 2.07 مرة.
ابتكار ثوري: Pair-In، Pair-Out لتحسين أداء نماذج اللغة الكبيرة!
يشهد عالم الذكاء الاصطناعي إنجازاً جديداً من خلال تقنية Pair-In، Pair-Out (PIPO) التي تقدم حلولاً مبتكرة لتحسين فعالية نماذج اللغة الكبيرة. هذا الابتكار يعد بتسريع العملية وتقليل تكاليف التحقق بشكل ملحوظ.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
