في عالم البرمجة المتقدم، تسعى الوكالات البرمجية إلى تطوير تطبيقات تفاعلية معقدة مثل المواقع والتطبيقات المكتبية والألعاب. وفي حين يقوم البشر بتقييم هذه التطبيقات من خلال تجربة المستخدم، فإن التقييمات الآلية الحالية من نماذج اللغات الضخمة (Large Language Models) تركز بشكل أساسي على تحليل الشيفرة واختبارات الوحدة. هذا الاختلاف قد يتسبب في تفويت نماذج اللغات الضخمة لبعض الأخطاء التي تظهر بشكل فوري للمستخدمين البشر.

لتجاوز هذه المشكلة، اقترح الباحثون نموذجًا جديدًا تحت اسم 'التفاعل كحكم' (Interaction-as-a-Judge)، حيث تقوم الوكالات البرمجية (Coding agents) بالتفاعل المباشر مع التطبيقات. هذا التفاعل المباشر لا يساهم فقط في تحسين تقييم التطبيقات بل يشمل أيضًا جمع بيانات من مجموعتين رئيسيتين: 6858 زوجًا من التطبيقات مع تفضيلات بشرية و222 تطبيقًا مع علامات احتياجات مؤكدة من البشر.

المفاجأة كانت في مدى فعالية هذا النهج. فقد أظهرت الدراسات أن 'التفاعل كحكم' ساهم في تحسين دقة التقييم في توقع التفضيلات البشرية من 65.6% إلى 69.1%، وزادت من دقة التحقق من المتطلبات من 77.0% إلى 81.6%. كما أظهرت النتائج وجود فوائد في التوسع: كلما كانت التفاعلات ذات جودة أعلى، كانت الأداء أفضل.

علاوة على ذلك، أظهرت التجارب التي أُجريت خلال وقت استدلال واستخدام 'التفاعل كحكم' كإشارة مكافأة في وقت التدريب تحسينات هامة، حيث زادت نسبة الانتصارات بمقدار 6.7 نقطة مئوية، وانخفضت أطوال الشيفرة الناتجة بنسبة 35.7%، مع تقليل معدلات الفشل في البناء بمقدار 7.2 نقطة مئوية عند مقارنتها بإشارات مكافأة تعتمد فقط على الشيفرة.

إن 'التفاعل كحكم' يقدم لنا نافذة جديدة على كيفية تعزيز الذكاء الاصطناعي في تقييم التطبيقات التفاعلية، مما يسمح لنا بتوقع مستقبل أكثر تفاعلاً وابتكارًا. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.