في عالم الذكاء الاصطناعي، تعتبر محركات الاستعلام الدلالي (Semantic Query Engines) من الأدوات الأساسية التي تُحسن تجربة البحث والاستعلام. ومع ذلك، تشير الأبحاث الأخيرة إلى وجود تباين كبير في النتائج بين تنفيذ وآخر. في هذا السياق، قامت دراسة جديدة بتناول تأثير النماذج اللغوية الضخمة (LLM) على النتائج، وذلك من خلال إعادة تنفيذ الاختبارات على مجموعة من البيانات.

في الدراسة، تم اختبار ثلاثة معايير رئيسية: SemBench و LRO-Bench و UDA-Bench، وتم تسجيل جميع المكالمات للنموذج، والتي بلغ عددها الإجمالي 1.2 مليون. النتائج أظهرت أن 0.07% إلى 10.2% من الصفوف قد تغيرت نتائجها خلال خمس عمليات تنفيذ، اعتمادًا على النموذج المستخدم، فيما وصلت النسبة إلى 24.0% في بعض المهام.

كيف يؤثر ذلك على دقة محركات الاستعلام؟ بحسب النتائج، يتضح أن خطط الاستعلام يمكن أن تضخم هذه التغيرات، مما يطرح تساؤلات حول مدى موثوقية تلك النتائج. حتى في الاختبارات التي يُفترض أنها تضمن نتائج محددة، أظهرت 21% من النتائج النصية تغيرات في الجودة بين التنفيذات.

علاوة على ذلك، تم ملاحظة أن الصفوف المتغيرة هي تلك التي تختلف فيها نماذج الذكاء الاصطناعي مع بعضها البعض، حيث تظهر اختلافات في النتائج حتى ضمن نفس التنفيذ. وأكدت الدراسة أن التصويت قد يقلل من هذا التباين، لكنه لا يزيله بالكامل.

النتائج والدروس المستفادة من هذه الأبحاث تمتد إلى قواعد الإبلاغ لهذه المعايير وقواعد تصميم جديدة لمحركات الاستعلام، مما يفتح الأفق لفهم أعمق حول كفاءة الذكاء الاصطناعي في معالجة البيانات.