في عالم تطوير البرمجيات، تُعتبر ملفات السياق مثل AGENTS.md من الأدوات العامة التي يُوصى بها لتعزيز أداء الوكلاء البرمجيين. ولكن، هل هي فعلاً فعّالة كما يُزعم؟ في دراسة جديدة نُشرت على منصة arXiv، أجرى الباحثون تقييماً دقيقاً لمدى فعالية هذه الملفات في أداء المهام البرمجية.

انقسمت الدراسة إلى قسمين رئيسيين، حيث تمت دراسة أداء الوكلاء البرمجيين في مهام من مجموعات معيارية مع ملفات سياق مُولّدة بواسطة نماذج لغوية ضخمة (Large Language Models)، بالإضافة إلى مجموعة جديدة من القضايا من المستودعات التي تحتوي على ملفات سياق مُعدّة من قبل المطورين.

قدمت النتائج مفاجآت غير متوقعة؛ إذ أظهرت النتائج أن توفير ملفات السياق لا يُحسن بشكل عام من معدلات النجاح في إتمام المهام، في حين أنها تزيد من تكاليف الاستدلال بنسبة تزيد عن 20% في المتوسط. كانت هذه النتائج ثابتة عبر نماذج لغات ضخمة متعددة والوكلاء البرمجيين.

وعلى الرغم من أن الوكلاء البرمجيين يتبعون التعليمات الموجوده في ملفات السياق بشكل جيد، إلا أن المراجعات العامة للمستودعات، والتي تُعتبر شائعة ومُوصى بها من قبل مقدمي النماذج، ليست مفيدة كما يُعتقد.

في نهاية المطاف، أكد الباحثون على ضرورة تقييم أي محاولات لتحسين الأداء على أساس رصين قبل طرحها في السوق، مُشيرين إلى أن ملفات السياق قد تكون مفيدة لتحديد الممارسات البرمجية غير القياسية، ولكن يجب توخي الحذر عند استخدامها.

في ضوء هذه النتائج، هل تعتقد أن استخدام ملفات السياق يستحق المخاطرة؟ شاركونا آراءكم في التعليقات!