في عصر يتسارع فيه استخدام الذكاء الاصطناعي (Artificial Intelligence) في مجالات متنوعة، أصبح من الشائع إدخال هذه التقنيات في سير عمل الأبحاث العلمية. تشير الدراسات إلى أن هذه الأدوات قد تعزز الكفاءة في مهام مثل تحليل الوثائق، الإجابة عن الأسئلة (Question Answering)، والبحث في الأدبيات. إلا أن هناك مجموعة من التحديات التي يجب مراعاتها، تتعلق بصعوبة التحقق من نتائج الأنظمة، ووجود نقص في الشفافية حول كيفية توليدها، فضلاً عن قابلية الخطأ.

تمت الإشارة إلى الحاجة الملحة لوضع معايير مناسبة لتوثيق القضايا الناشئة وتقييمها، غير أن الأساليب التقليدية لقياس الأداء لم تعكس بشكل كافٍ المعايير المرتبطة بالإنسان، مثل قابلية الاستخدام (Usability)، وسهولة الفهم (Interpretability)، ودمج الأدوات ضمن تدفقات العمل البحثية.

للتصدي لهذه الفجوة، تم اقتراح إطار عمل يجمع بين المقاييس التي تركز على الإنسان والمقاييس الحاسوبية لتقييم أدوات الإجابة عن الأسئلة ومراجعة الأدبيات المرتكزة على الذكاء الاصطناعي.

تشير النتائج إلى أن أدوات الإجابة يمكن أن توفر رؤى قيمة وملخصات دقيقة بشكل عام، لكن ليست دائمًا موثوقة لاستخراج المعلومات الدقيقة. كانت دقة الذكاء الاصطناعي القابل للتفسير (Explainable AI) منخفضة بشكل خاص، ما يعني أن الفقرات المستخدمة كمصادر لم تتطابق غالبًا مع الإجابات المولدة، مما أعاد عبء التحقق إلى الباحث.

أما أدوات مراجعة الأدبيات، فقد دعمت عمليات البحث الاستكشافية، لكنها أظهرت انخفاضًا في القابلية لإعادة الإنتاج، وشفافية محدودة بشأن المصادر وقواعد البيانات المختارة، وجودة مصدرية غير متناسقة، مما يجعلها غير مناسبة للمراجعات النظامية.

تظهر مقارنة بين مجموعات هذه الأدوات نمطًا مشابهًا: بينما يمكن أن تعزز أدوات الذكاء الاصطناعي الكفاءة في المراحل المبكرة من سير العمل البحثي، فإن نتائجها لا تزال تتطلب تحققًا بشريًا. تؤكد هذه التوجهات على أهمية ميزات الشفافية لتحسين كفاءة التحقق ودمج أدوات الذكاء الاصطناعي في تدفقات عمل الباحثين بحذر. علاوة على ذلك، يبقى تقييم الممارسات البشرية مصدر قلق هام لضمان التطبيق الفعال لهذه الأدوات.