تستمر تطورات الذكاء الاصطناعي في إحداث ثورة في حياتنا اليومية، ولا سيما في مجال مساعدي الاجتماعات المدعومين بنماذج اللغات الضخمة (LLMs). ورغم انتشار هذه التكنولوجيا، إلا أن التقييمات النظامية لجودة المعلومات التي توفرها لا تزال محدودة، مما يترك فراغًا كبيرًا في فهم فشل هذه الأنظمة أثناء تفاعلها مع المستخدمين.

لملء هذا الفراغ، تم عرض منهجية جديدة صممت لتكون موجهة نحو العلاقة التفاعلية، تُعرف بـ (Evaluation-as-Search) أو التقييم كبحث. هذه المنهجية تعتمد على تقييم الجودة بشكل تحفيزي للتكيف مع الأسئلة الطبيعية التي قد يطرحها المشاركون في الاجتماعات. عوضًا عن الاعتماد على طرق التقييم التقليدية، يركز هذا النظام على الجوانب المعرفية حيث من المرجح أن تحدث الفشل، معتمدًا على خريطة تغطية موجهة بمعدل تغطية محدد.

قام المطورون بإنشاء (MeetingProbe)، وهو معايير جديدة تضم أكثر من 3,000 زوج من الأسئلة والأجوبة، تشمل 20 نصًا من ثلاثة أنواع مختلفة من الاجتماعات وثلاث مساعدات مدعومة بـ LLM. ومن خلال التجارب، أظهرت منهجية البحث التكيفية قدرة على تحديد 2.5 مرة أكثر من حالات الفشل مقارنة بالطرق العشوائية، مما يدل على فعالية أكبر وتصميم استراتيجي.

عبر ثلاثة نماذج، تم التعرف على ثماني فئات متكررة من الفشل تتعلق بالتحديات المعنية الحوارية بدلاً من أخطاء الاستدعاء الواقعية، مما يعكس أهمية التركيز على طبيعة الحوار وكيفية تفاعله في محيط اجتماعي.

هذه الخطوة ليست مجرد تقدم تقني، بل تمثل تحولًا في كيفية تقييمنا للمساعدين الذكيين وضمان تفاعلاتهم السلسة والموثوقة. بفضل (MeetingProbe) الذي تم إطلاقه للجمهور، سيكون هناك فرصة أكبر لتحقيق تقييم موثوق لجودة المساعدين الذكيين في الاجتماعات، معززين بذلك قدرتنا على تحسين تكنولوجيا الذكاء الاصطناعي.