في عالم المعلومات الرقمية، يُعتبر الصوت مصدرًا غنيًا بالمعلومات يتجاوز مجرد النص، حيث يحمل في طياته مشاعر المتحدث وخصائصه وسياق البيئة المحيطة. لكن، خلال السنوات الأخيرة، كانت الأبحاث في استرجاع المعلومات المتعددة الوسائط (Multimodal Information Retrieval) تتركز بشكل رئيسي على الصور، متجاهلةً الصوت في كثير من الأحيان، خاصة في سياق استرجاع المعلومات الصوتية والنصية التفاعلية.

مؤخراً، تم تقديم مهمة "استرجاع المعلومات الصوتية والنصية التفاعلية" (Audio-Text Interleaved contextual Retrieval - ATIR) التي تتيح للمستخدمين تنسيق استفساراتهم بين صيغتين: الصوت والنص. لتنفيذ هذه الفكرة، تم تطوير معيار ATIR الجديد الذي يجمع بين عدة مجموعات بيانات تشمل التعرف التلقائي على الكلام (Automatic Speech Recognition) وإجابات الأسئلة (QA) بالإضافة إلى استرجاع البيانات، مما يخلق بنية تحتية متكاملة لأربعة أنواع من مهام الاسترجاع السياقي.

من جهة أخرى، تم التعليم على نموذج ATIR باستخدام نماذج اللغة الكبيرة المتعددة الوسائط (Multimodal Large Language Model - MLLM) مع إدخال آلية ضغط جديدة للتوكنات تساعد في حل مشكلة التوكنات الزائدة في النماذج القائمة على MLLM. التجارب أثبتت أن نموذج ATIR يُحقق تحسنًا كبيرًا مقارنةً بمعايير قوية سابقة، مما يشير إلى إمكانية هذا النظام في تغيير مفهوم استرجاع المعلومات بشكل جذري.

إن اعتماد ATIR على الصوت والنص يُعدّ خطوة جريئة نحو توفير حلول أكثر كفاءة ودقة في عالم مليء بالمعلومات المتنوعة. هل تعتقد أن هذا النظام سيغير طريقة تفاعلنا مع المعلومات؟ شاركونا آراءكم في التعليقات.