في عالم الذكاء الاصطناعي، تُعد الأطر متعددة الوسائط (Multimodal) أساسية لتحقيق تجارب متميزة في معالجة البيانات المختلفة. ومع ذلك، فإن العديد من الطرق الحالية تعتمد على تجميع النصوص والصور بشكل عشوائي، مما يؤدي إلى ضعف التنظيم وفقدان المنطق التفاعلي بين النصوص والصور. يقدم الباحثون تقنية HAM-RAG (Hierarchy-Aware Multimodal RAG) التي تعتمد على فهم الهيكل التنظيمي للوثائق.

تتيح هذه التقنية الجديدة تحسين إنتاج النصوص المتداخلة من خلال الحفاظ على موضع المصدر والعلاقات المحلية بين النصوص والصور في الإشارات. وتعتبر دراسة الهياكل هي الأساس لتحقيق اختيار دقيق للأدلة وعرضها بطريقة موثوقة.

ويتمثل الابتكار الأكبر في تطوير منصة HAM-Bench التي تشمل مجموعة واسعة من البيانات بما في ذلك Wukong، Wiki، arXiv، ووصفات الطهي، مما يوفر تجارب شاملة تشمل كافة أنواع الوثائق مثل الدلائل الفنية والأدلة الإجرائية.

تظهر النتائج أن تقنية HAM-RAG تتفوق بنسبة 17.3% على الأساليب السابقة، بالإضافة إلى تحسين كبير في التوافق بين النصوص والصور، بنسبة 24.2% على مجموعة Wukong. تشير هذه النتائج إلى أهمية الأساس الهيكلي في تطوير مساعدات متعددة الوسائط يمكن الاعتماد عليها لإنتاج إجابات دقيقة ومتسقة مع بنية المصدر.

للمزيد من المعلومات والتفاصيل التقنية، يمكنك زيارة GitHub.