في ظل التحديات التي تواجه بحث اللغة الخمير، مثل نقص البيانات المُعلمة والحدود الغامضة للكلمات، تم تقديم دراسة جديدة تلقي الضوء على تقنية فريدة في استرجاع المعلومات. يُعرَف هذا البحث بـ KSE-Web، حيث يتناول تحليل استرجاع المعلومات الهجين وتوسيع الاستعلام المدعوم بنماذج اللغات الضخمة (Large Language Models).

تأسس هذا البحث على مجموعة بيانات مكونة من حوالي 17 ألف عنوان خميري مرشح، وتم الاحتفاظ بـ 3 آلاف مستند كامل تم تنظيفه بعد عمليات التصفية والتطبيع وإزالة التكرارات. وتشمل مجموعة البيانات 300 استعلام بحث خميري تم مراجعتها يدوياً مع تسميات ذات صلة موثقة جزئياً من قبل بشر.

تم تقييم أداة BM25 للتحليل الكتابي المتعدد الأحرف، واسترجاع المعلومات الكثيف المتعدد اللغات، والاسترجاع الهجين BM25+الكثيف، وتوسيع الاستعلام المدعوم بالـ LLM باستخدام نماذج Qwen2.5. أظهرت النتائج التجريبية أن BM25 حققت الأداء الأفضل، حيث وصلت إلى معدل استرجاع بلغ 0.943 وnDCG بلغ 0.876.

بينما حققت تقنية الاسترجاع الهجين BM25+الكثيف أداءً مشابهًا بمعدل استرجاع يبلغ 0.929 وnDCG 0.871، كان أداء الاسترجاع الكثيف بمفرده أقل. ومع ذلك، لم يتفوق توسع الاستعلام المدعوم بـ LLM على تقنيات الاسترجاع غير المتوسعة؛ لكن النتائج تشير إلى أنه كلما زاد حجم النموذج، زادت جودة الاستعلامات الموسعة، مما يظهر أهمية جودة التوسع في استرجاع المعلومات بلغة الخمير المحدودة الموارد.

تسلط هذه الدراسة الضوء على كل من إمكانيات وتحديات استرجاع المعلومات المعززة بنماذج اللغات الضخمة، حيث توضح كيفية تأثيرها على توسيع الاستعلامات. كما أن النتائج تدعو لتطوير مجموعات بيانات أفضل تحتوي على توثيقات بشرية أقوى ونماذج استرجاع مُعدة خصيصاً للخمير، ما سيفتح آفاقاً جديدة في هذا المجال.

الجميع مدعو لاستكشاف مجموعة البيانات والوثائق المتاحة على github.com/back-kh/KhmerSemantic-Search. ما رأيكم في دور الذكاء الاصطناعي في تعزيز البحث في اللغات الأقل استخداماً؟ شاركونا آراءكم في التعليقات.