في الآونة الأخيرة، حققت التطورات في نماذج التدفق المستمر والنماذج اللغوية القائم على التدفق (Flow-Based Language Models) تقدمًا ملحوظًا، مما أكد قدرتها التنافسية مع النماذج اللغوية التقليدية (Discrete LMs). ومع ذلك، كانت هذه الأطر تعتمد بشكل كبير على الطريقة التقليدية للتوجيه باستخدام دالة خسارة الانتروبيا المتقاطعة (Cross Entropy) نظراً لعدم ضمان مسارات التدفق للوصول إلى تمثيلات رمزية صحيحة.

ولمعالجة هذه القيد، نقدم لكم _ConvergeFlow_، وهو نموذج لغوي مبني على تدفق البيانات في فضاء التمثيل، والذي يقيد متنبئ البيانات ليعمل ضمن المحيط المحدب لتمثيلات الرموز. يعتمد النموذج على هدف متوسط مربع الخطأ (Mean Squared Error) الناتج عن مطابقة التدفق، مما يسهل تحقيق تدفق موثوق يصل مباشرة إلى الرموز الصحيحة بالرغم من الأخطاء المحتملة في متنبئ البيانات، وبالتالي، لا يحتاج إلى مشرف قوي.

قمنا أيضًا بتطوير ثلاث آليات لإجراء العينات للتحكم في التوازن بين تعقيد التوليد (Generative Perplexity) والانتروبيا (Entropy). أظهرت التجارب التي أُجريت على مجموعة بيانات OpenWebText أن ConvergeFlow يحقق أداءً تنافسيًا مقارنة بالنماذج اللغوية الحالية سواء كانت مستمرة أو تقليدية. هذه النتائج تمثل خطوة كبيرة نحو تعزيز فعالية الأنماط المستندة إلى التدفق في نماذج اللغة.

يمكنكم الوصول إلى الشيفرة المصدرية للنموذج عبر الرابط التالي: رابط GitHub. هل أنتم مستعدون لاستكشاف إمكانيات هذا النموذج المبتكر في عالم الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!