في دراسة جديدة مثيرة، تم تقديم معيار CzechTopic بهدف تحسين عملية تحديد الموضوعات في الوثائق التاريخية التشيكية. يمتاز هذا المعيار بكونه مدعومًا بتعليقات بشرية على موضوعات معرفة سلفًا، مما يسمح بتقييم فريد يركز على توافق النتائج مع تقييمات البشر بدلاً من الاعتماد على مرجع واحد فقط.

تتضمن هذه الدراسات مجموعة متنوعة من نماذج اللغة الكبيرة (Large Language Models - LLMs) بالإضافة إلى نماذج تعتمد على BERT. وأظهرت النتائج تباينًا كبيرًا في الأداء، حيث تراوحت النتائج من دقة عالية في اكتشاف الموضوعات إلى إخفاقات ملحوظة في تحديد النصوص المعنية.

الجدير بالذكر أن النماذج الأقوى اقتربت من مستوى التوافق البشري، بينما أثبتت نماذج تضمين الرموز المنقحة قدرتها التنافسية رغم حجمها الأصغر. تقدم هذه الدراسة أدوات جديدة لفهم كيفية تمثيل الموضوعات في النصوص التاريخية، مما يفتح آفاقاً جديدة في مجال الأبحاث.

للمزيد من التفاصيل، يمكنكم زيارة الموقع الرسمي للمشروع، حيث تتوفر البيانات وأطر التقييم للجمهور.