في عالم الذكاء الاصطناعي، يُعتبر تقييم جودة التطبيقات التي تُولد من قبل نماذج اللغات الضخمة (Large Language Models) واحدة من التحديات الكبيرة. تلك النماذج يُمكن أن تُنتج تطبيقات ويب ذات مظهر جذاب، لكن هل تعكس جودتها الفعلية؟ هنا يأتي دور IWC-Bench، أداة مبتكرة تهدف إلى تحسين هذا التقييم.

من خلال رصد أداء التطبيقات المُولدة، تقوم IWC-Bench بتنفيذ اختبارات تفاعلية حيث تتفاعل مع التطبيق كما لو كان المستخدم الفعلي. تعتمد الأداة على تحليل تغطية الشيفرة لتوجيه عمليات الاستكشاف، مما يُضمن عدم تفويت أي من الوظائف المُنفذة. بعد ذلك، يتم تجميع بيانات التفاعل في رسم تخطيطي لحالة الانتقال، حيث يتم تقييم التطبيق وفقًا لثلاثة أبعاد رئيسية: الجمالية البصرية، سهولة الاستخدام، وملاءمة المتطلبات.

تتمثل ميزة IWC-Bench في فصل عملية الاستكشاف عن عملية التقييم، مما يجعلها تجمع أدلة من وقت التشغيل دون قيود على معايير القبول المحددة مسبقًا. تتضمن الأداة 369 متطلبًا من متطلبات المستخدم العملية و5,088 معيار قبول، مما يمنحها عمقًا وتحليلًا دقيقًا.

أظهرت نتائج تقييم 16 نموذجًا رائدًا من نماذج اللغات الضخمة أن كل نموذج يمتلك نقاط قوة مختلفة عبر الأبعاد الثلاثة، دون أن يتصدر أي نموذج في جميع الأبعاد. كانت نسبة الاتفاق مع تفضيلات البشر مرتفعة، حيث بلغت 85.3% في 197 جلسة تحقق، مما يُدعم فعالية هذه الأداة في العالم الواقعي.

باختصار، تعتبر IWC-Bench تطورًا مثيرًا في مجال تقييم البرمجيات المدعومة بالذكاء الاصطناعي. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.