في عالم الذكاء الاصطناعي، تعتبر النماذج اللغوية الضخمة (LLMs) واحدة من المحاور الأساسية التي يتم البحث عنها وتطويرها بشكل مستمر. ومن بين أحدث التطورات في هذا المجال، تبرز تقنية "تحسين النزول عبر التدرجات النصية" (Textual Gradient Descent) التي تعتمد على التغذية الراجعة المقدمة من النماذج اللغوية. ومع تقدم الأبحاث، جاءتنا تقنية جديدة تُعرف باسم "النزول عبر التدرجات النصية العشوائية مع الزخم" (TSGD-M).

تتناول هذه التقنية التحديات التي تظهر عند محاولة توسيع البيانات التدريبية. فقد أظهرت الدراسات أن زيادة عدد أمثلة التدريب بشكل عشوائي قد لا تُحقق النتائج المرجوة، بسبب القيود المفروضة على طول السياق، وأيضًا جدار السياق الغير مرئي الذي يؤدي إلى تدهور الأداء عند استخدام سياقات طويلة.

يتمثل الابتكار في تقنية TSGD-M في إعادة وزن التحديثات من خلال تعديل الزخم، مستخدمةً دقة التحقق من الدفعات الصغيرة كأوزان أهمية. من خلال هذه الطريقة، تنجح TSGD-M في الحفاظ على المعلومات من النماذج السابقة، حيث تقوم بديناميكية استكشاف أعلى النماذج أداءً في الماضي دون الحاجة لزيادة طول السياق المدخل.

تتمتع TSGD-M بانسيابية في التنسيق مع أطر تحسين النماذج الحالية، مثل TextGrad و DSPy-COPRO و AdalFlow، مشيرةً إلى مكاسب متسقة عبر ستة معايير قياسية مختلفة.

مع تزايد أهمية تحسين النماذج اللغوية من خلال البحث والتقنية، فإن فكرة تفعيل الزخم في تحسين معالجة البيانات تمثل خطوة كبيرة نحو الأمام. هل أنتم معجبون بهذه التطورات في ميدان الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات.