في عالم الذكاء الاصطناعي، يُعتبر حل المشكلات المعقدة عبر خطوات متعددة مثل الرياضيات والمنطق والتخطيط أمرًا حاسمًا. وفي هذا السياق، تُظهر الأبحاث الحديثة أن قدرات التفكير في نماذج Transformers محدودة بفعل الحد الأقصى الثابت لعدد الخطوات الممكنة على أي مسار حسابي.
قمنا في دراستنا بإدخال مفهوم جديد يُعرف بـ Turbo Connection (TurboConn)، والذي عبارة عن بنية جديدة تتميز بمقدرتها على تجاوز قيود العمق الثابت عن طريق توصيل عدة روابط تكميلية من حالات المخ-hidden الخاصة بطبقات أعلى من كل رمز (token) إلى الطبقات السفلية للنموذج الخاص بالرمز التالي.
تجاربنا على نماذج مسبقة التدريب أظهرت نتائج رائعة، حيث حققنا تحسينًا في الدقة يتراوح بين 0.9% إلى أكثر من 10% في مقاييس الأداء مثل GSM8K وParity والأعداد الرياضية متعددة الخطوات.
وكانت النقطة الأكثر إثارة للاهتمام هي فعالية الكثافة العالية لهذه الروابط الخلفية، التي تفوقت بشكل كبير على البدائل "الخفيفة" التي تمرر حالة مخ-hidden واحدة فقط. فمثلاً، نموذج Qwen-3-1.7B، الذي أظهر أداءً قدره 53.78% في اختبار Parity، أصبح قادرًا على تحقيق 100% بعد دمج التعديل المعماري دون الحاجة إلى إعادة تدريب النموذج بالكامل.
تقدم نتائجنا أدلة تجريبية قوية تؤكد على أن عمق المسار الحسابي يمثل عاملًا رئيسيًا في القدرة على التفكير، وتفتح آفاقًا جديدة لتحسين نماذج اللغات الضخمة دون التأثير الكبير على زمن الاستجابة. هل أنتم مستعدون لاستكشاف كيف يمكن لهذه الابتكارات أن تغير وجه الذكاء الاصطناعي في المستقبل؟
اكتشاف جديد في الذكاء الاصطناعي: TurboConn وتحسين الأداء من خلال ربط الطبقات العليا بالسفلى!
قدمت دراسة جديدة مفهوم Turbo Connection (TurboConn) الذي يعزز أداء نماذج اللغات الضخمة (LLMs) عبر تحسين الربط بين الطبقات العليا والسفلى. النتائج أظهرت تحسنًا كبيرًا في الدقة، مما يبشر بإمكانيات واعدة في حل المشكلات المعقدة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
