تعد الجداول مصدر معرفة بالغ الأهمية في نماذج توليد البيانات المعززة (RAG)، لكن في بعض الأحيان قد تفتقر الجداول المسترجعة إلى الأدلة الكافية للإجابة على الاستفسارات، وهي خاصية نسميها "قابلية الإجابة". ورغم أن قابلية الإجابة تتعلق عموماً بمدى احتواء المصدر أو مجموعة المصادر على أدلة كافية، إلا أن نماذج الاسترجاع المخصصة للملاءمة الدلالية لا تضمن ذلك حتى في حالة المصادر الفردية، مما يخلق اختلالاً أساسياً.
في محاولة لدراسة هذا الإشكال، تم تقديم "TCR-Bench" كمعيار تشخيصي لتحديد قابلية إجابة محتوى الجداول في نماذج RAG، والذي يعتمد على الجداول الشقيقة، أي الجداول التي تمتلك مخططات متشابهة للغاية ولكن بفروقات طفيفة في المحتوى. أظهرت نتائج الاختبارات أن النماذج الحالية التي تم تقييمها تواجه "فجوة دلالية في قابلية الإجابة": فهي في كثير من الأحيان تسترجع مجموعة الجداول الصحيحة لكنها تكافح لتحديد الجدول القابل للإجابة بشكل فريد داخل المجموعة، مما يؤدي إلى انخفاض أداء الأسئلة والأجوبة من 0.755 (نموذج مثالي) إلى 0.330 (أفضل 5 مسترجعات).
تشير تحليلاتنا إلى أن هذه الفجوة مرتبطة بتراكم دلالي، واعتماد Cue على مستوى المخطط وضعف الربط بين الصفوف والأعمدة. كاختبار لتحديد مصدر هذه الفجوة، جربنا ما يعرف بتقنية إعادة ترتيب القابلية (Answerability-Aware Reranking - AAR)، والتي تطبق حكم مباشر حول قابلية السؤال-الجدول، واستطاعت استعادة الأداء بشكل ملحوظ: إذ رفعت معدل الاسترجاع من 18.2% إلى 57.4%. هذه الزيادة الكبيرة تشير إلى أن الكثير مما يُعتبر فشلًا يعكس غياب خطوة التحقق من قابلية الإجابة، بدلاً من كونها قيدًا جوهريًا في قدرة النماذج فقط.
فجوة الإجابة الدلالية: كيف تؤثر على فعالية نماذج توليد البيانات المعززة؟
تقديم TCR-Bench كأداة لتحديد فجوة الإجابة الدلالية في نماذج توليد البيانات المعززة. تظهر النتائج أن النماذج الحالية تواجه صعوبة في تحديد الجداول القابلة للإجابة بدقة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
