تتجه الأبحاث الحديثة إلى تعزيز قدرة النماذج اللغوية الكبيرة، خاصة تلك المتعلقة بالاستجابات الصوتية، لتطوير الأداء في مهام معقدة. وقد تم إطلاق نموذج ORCA (تقييم دقة الاستجابات المفتوحة) الذي يعد تقدماً مهماً في هذا السياق. الهدف من ORCA هو تقديم نظام موثوق ودقيق لتقييم مدى جودة الاستجابات التي تقدمها نماذج اللغة الصوتية.

يتناول هذا النموذج عملية تقييم ثلاثية المراحل تجمع بين الحكم البشري، والتعليقات المنظمة، وتصحيح الأخطاء بين الإنسان والذكاء الاصطناعي. من خلال تجميع 9,663 تعليقا عبر 3,699 زوجاً من الأسئلة والأجوبة من 15 نموذجاً كبيراً، تحقق ORCA نتائج مبهرة، حيث بلغت توافقية الحكم البشري 0.82.

عند التجارب، أظهر نموذج ORCA قدرةعلى تحقيق توافق توتر ما يصل إلى 0.91 مع التقييمات البشرية، كما تمكن من التعميم على معايير جديدة بمعدل 0.85، متفوقاً على عدة نماذج قاعدية أخرى. وهذا يعكس فعاليته في تحديد العناصر الإشكالية ضمن المعايير، بناءً على مدى تباين استجاباته.

بتقديم تقييم موثوق ودقيق لعمل هذه النماذج، يسهم ORCA في تحسين سبل تقييم التعلم والتطوير في مجال الذكاء الاصطناعي الصوتي، مما يعزز من فرص تحديث أساليب التعليم والتدريب لمثل هذه النماذج.