في عالم البرمجة وتطوير البرمجيات، أصبحت النماذج اللغوية الضخمة (LLMs) من الأدوات الأساسية لدعم المبرمجين في توليد الأكواد. ومع ذلك، يتجلى السؤال هنا: هل تقوم هذه النماذج بإنشاء أكواد جديدة أم تسترجع أكوادًا معروفة من ذاكرتها؟ في دراسة جديدة، تم تقديم مفهوم "استرجاع الأكواد البرمجية (parametric code retrieval)" كطريقة لتقييم قدرات النماذج على توليد الأكواد.

تحتوي الدراسة على معايير جديدة أطلق عليها AlgoREval، والتي تتضمن 599 مشكلة تمثل 77 خوارزمية كلاسيكية عبر 14 مجالًا و7 لغات برمجة؛ مما يمكن من قياس أداء النماذج بشكل دقيق. وعند تقييم 15 نموذجًا مختلفًا بقدر يتراوح بين 7 مليارات إلى 34 مليار برمجة، تم الكشف عن تباين كبير في دقة الاسترجاع عبر اللغات المختلفة.

تجاوزت الدراسة التقييم الكمي لتصل إلى تحسينات ملموسة من خلال استراتيجيات مثل تعزيز المحفزات باستخدام شفرات مُسترجعة، مما يساهم في زيادة الدقة بالنسبة للخوارزميات المعقدة. ومع ذلك، تحذر النتائج من استخدام الأكواد التي تولدها النماذج دون التحقق الدقيق من دقتها.

إن نتائج هذه الدراسة تعيد تعريف كيفية تقييم الأداء في عالم البرمجة وتعطي أهمية أكبر لدور الاسترجاع في توليد الأكواد. في نهاية المطاف، يجب أن نتساءل: هل نفضل أن تكون مساعدة الذكاء الاصطناعي في شكل استرجاع ما هو موجود أم شكل توليد جديد بالكامل؟ ما رأيكم في هذا التطور؟ شاركونا في التعليقات.