في ظل التقدم المذهل في الذكاء الاصطناعي، أصبح فهم الوثائق المتعددة الأنماط (Multimodal Document Understanding) تحديًا يتطلب أدوات جديدة تتماشى مع تعقيد المضمون البصري والنصي.

يعاني الباحثون والطلاب من صعوبة في معالجة كميات كبيرة من المعلومات النصية والصورية، وخاصةً في قراءة أوراق PDF الطويلة التي تحتوي على تداخل بين النصوص والصور. هنا يأتي دور نموذج PDF-WuKong، الذي يتجاوز القيود الحالية من خلال تقديم تقنيات جديدة لتحسين كفاءة القراءة وفهم الوثائق.

هذا النموذج هو نموذج لغوي متعدد الأنماط (Multimodal Large Language Model) مصمم خصيصًا لتعزيز القدرة على الإجابة على الأسئلة (QA) المتعلقة بالمستندات الطويلة. من خلال استخدام متسابق Sparse Sampler، يقوم PDF-WuKong باختيار الفقرات أو الرسوم البيانية الأكثر صلة بأسئلة المستخدم، مما يسهم في زيادة كفاءة النموذج وقدرته على تقديم استجابات دقيقة وسريعة.

لضمان فعالية هذا النموذج، تم إنشاء مجموعة بيانات جديدة تُعرف بـ PaperPDF، التي تضم مجموعة واسعة من الأوراق الأكاديمية باللغة الإنجليزية والصينية. تمت معالجة أكثر من 1.1 مليون زوج من أسئلة وإجابات مع مصادر دليلها، مما يعزز دقة النتائج وضمان جودتها.

أظهرت التجارب أن PDF-WuKong يتفوق على النماذج الأخرى في فهم الوثائق متعددة الأنماط الطويلة، محققًا معدل تفوق يبلغ 8.6% أعلى من المنتجات المملوكة.

لنكتشف كيف يمكن أن يغير PDF-WuKong طريقة بحثنا ونتائج استفساراتنا في عالم الأكاديميا! هل أنتم مستعدون لهذه الثورة في عالم فهم الوثائق؟ شاركونا آراءكم في التعليقات.