في خطوة رائدة نحو تطوير استراتيجيات استرجاع المعلومات، أطلقت مجموعة CUP نظامًا تقييمًا جديدًا يسلط الضوء على دور نشر الكتب اليونانية. تتكون مجموعة CUP من 868 سجلًا كتالوجيًا و104 استعلامات تم تقييمها من قبل خبراء، مما يوفر معيارًا مثيرًا لدراسة تقنيات الاسترجاع.

تتضمن الدراسة تقييم عدة تقنيات، بما في ذلك طرق الاسترجاع التقليدية مثل BM25، إلى جانب تقنيات حديثة مثل نماذج تحويل الجمل (sentence-transformers) والاسترجاع الهجين، وأخيرًا أساليب مدعومة بنماذج اللغات الضخمة (LLMs). أشارت النتائج إلى أن النماذج متعددة اللغات تفوقت على النماذج اليونانية الخاصة.

وفقًا لمحللي البيانات، تظهر نتائج الاسترجاع الهجين أداءً متفوقًا بشكل عام، ولكن يظهر أن تحليل الاستعلامات على مستوى الاستعلام يُظهر تفوقًا ملحوظًا لطريقة BM25 خاصة في استعلامات الكيانات المعروفة. من ناحية أخرى، توفر الطرق الكثيفة والهجينة تحسينات كبيرة لاسترجاع الاستعلامات باللغة الطبيعية والأكثر ضجيجًا.

أحد الاكتشافات المثيرة هو تأثير تقنية التحفيز المدرك للحقول (field-aware prompting) الذي يظهر آثارًا مختلفة على النماذج. الدراسة أيضًا تسلط الضوء على كيفية تحسين تلخيص محتويات الفصول باستخدام LLMs، رغم أن ذلك يأتي بتكلفة عالية.

بشكل عام، توفر مجموعة CUP منصة تقييم حقيقية لاسترجاع المعلومات في سياق استعلامات لغوية ومعجمية صعبة، مما يفتح آفاقًا جديدة في مجال الذكاء الاصطناعي واستخدامه في نشر الكتب.