في عالم الذكاء الاصطناعي، تعد دقة الاستشهادات من الأمور الحيوية التي تتطلب تحليلًا دقيقًا. قدمت دراسة حديثة تحليلًا ثلاثي القوة لنموذج GraphRAG، حيث أشارت النتائج إلى أن هذا النموذج يعاني من ضعف في دقة الاستشهادات مقارنة بالنموذج التقليدي القائم على المتجهات.

ركزت الدراسة على ثلاثة محاور رئيسية: نوع النموذج المستخدم (مثل e5-small و Azure text-embedding-3-small)، وكذلك نوع البيانات المستخرجة (طلبات DO-178C ونصوص من ويكيبديا عبر MuSiQue)، وأخيرًا، آلية الحكم (باستخدام نموذج GPT-5.4 و GPT-4.1) عبر مجموعة واسعة من الاختبارات.

أظهرت النتائج أن نموذج GraphRAG يطلق ما بين 11 إلى 15 معرفًا لكل إجابة بدقة تتراوح بين 0.12 و 0.23 واسترجاع يتراوح بين 0.68 و 0.87. ولكن تجدر الإشارة إلى أن عواقب موثوقية النموذج تعتمد بشكل كبير على نوع البيانات المستخدمة، حيث انخفضت موثوقية GraphRAG في بيانات DO-178C بشكل حاد من 74% إلى 40%. بينما عندما تم تطبيقه على نصوص ويكيبديا، زادت الموثوقية من 42% إلى 58%، مما يشير إلى أن النصوص التي تحتوي على اقتباسات زائدة تبقى متعلقة بالموضوع.

نتيجة لذلك، أظهرت الدراسة أن هناك حاجة ملحة لفهم كيفية تأثير تصميم النموذج والبيانات المستخدمة على دقة النتائج. وأخيرًا، أكدت الدراسة أن التحليل الثلاثي القوة هو الحد الأدنى المطلوب لقبول ادعاءات موثوقية بنية الاسترجاع المعقدة.

ما رأيكم في نتائج هذه الدراسة؟ هل تجدون أن تصميم النماذج يمثل أهمية كبرى في دقة النتائج؟ شاركونا آراءكم في التعليقات.