في إطار مساعي تحسين تقييم المحادثات الصوتية، تم إجراء دراسة شاملة حول موثوقية نماذج Gemini، والتي تعد جزءًا من عائلة نماذج LALM (Large Audio Language Models). تمكنا من تقييم أداء هذا النموذج من خلال تطبيقه على 209 جلسات صوتية واستعراض النتائج مقارنة بلجنة حكام بشرية.

النموذج الأبرز، Gemini 2.5 Flash، تم اعتماده كنموذج مرجعي للتحقق من دقة التقييمات. اختبرت الدراسة ثلاث نسخ مختلفة من النموذج: 2.5 Flash، 3.5 Flash، و3.1 Pro.

لقد أظهرت النتائج أن النموذج 2.5 Flash يتوافق مع خمسة من أصل ثمانية أبعاد تقييم، حيث كانت مخرجاته قريبة جدًا من تقييمات البشر في معظم الجوانب. ولقد تحقق ذلك من خلال مقارنة الفارق ما بين التقييم البشري والتقييم الآلي، والذي لم يتجاوز 0.07 في معظم الحالات.

النموذج 3.5 Flash أظهر تحسنًا ملحوظًا بتحقيق توافق تام في الأبعاد الثمانية، بينما النموذج 3.1 Pro قدم تقييمات أقل من البشر في بعض الأبعاد، مما يتطلب إعادة تقييم دقيقة.

تشير الدراسة إلى أنه بالرغم من أن التقييم البشري لا يزال يعد أكثر تكلفة، إلا أن استخدام نماذج LALM يمكن أن يساهم في تسريع إجراءات التقييم بنفس المستوى من الدقة، مما يفتح آفاقًا جديدة في استخدام الذكاء الاصطناعي كبديل أو مساعد في تقييم المحادثات الصوتية.