في عصر الذكاء الاصطناعي، أصبحت نماذج اللغة الضخمة (Large Language Models) تعتمد بشكل متزايد على استرجاع المعلومات من الويب لتقديم إجابات فورية ودقيقة. ولكن كيف تعمل هذه الأنظمة؟ وما هي كفاءتها في التعرف على حاجة المعلومات واسترجاعها؟

لتسليط الضوء على هذه التساؤلات، أجرينا تقييمًا لمدى ضرورة وفعالية البحث الداخلي عبر الويب من منظور خارجي في نماذج اللغة المغلقة المصدر. قد يكون الوصول إلى معلمات النموذج أو التكوينات الداخلية أمرًا مستحيلًا، لذا اعتمدنا على أساليب تقييم جديدة.

قمنا بتحليل 783 استفسارًا زمنيًا يمكن الإجابة عليها بناءً على المعرفة المتاحة قبل نقطة قطع البيانات، وكان الهدف هو اختبار ما إذا كانت عمليات الاسترجاع يتم استدعاؤها بناءً على عدم اليقين في الحقائق. كما أجرينا تقييمات ديناميكية لـ 288 استفسار يُعتمد عليها بعد نقطة القطع، لتقويم فعالية الاسترجاع تحت الحاجة إلى معلومات حديثة.

أجرينا تجارب عبر أربعة نماذج من عائلتين مختلفتين باستخدام مقاييس متنوعة. كانت النتائج تشير إلى أن تفعيل الاسترجاع يؤدي إلى تحسينات جوهرية في الدقة على الاستعلامات الثابتة، ولكن يسجل انتكاسًا في موثوقية الثقة. في التقييمات الديناميكية، استدعت النماذج بشكل متكرر الاسترجاع، لكنها لم تتجاوز 70% من الدقة، وكانت الأخطاء ناتجة في الغالب عن مشاكل في صياغة الاستفسارات واختيار المصادر بدلاً من محتوى الاسترجاع نفسه.

رغم أن الاسترجاع يعد خيارًا غير مكلف للتفعيل وقد يكون مفيدًا بشكل انتقائي، إلا أن المحاولات المتكررة للاسترجاع غالبًا ما تفشل في التعافي من الأخطاء الأولية، مما يؤدي إلى تضخيم الثقة عندما يصبح الاسترجاع متاحًا. بوجه عام، يُظهر الاسترجاع عبر الويب فعال كآلية تحقق ذات زمن استجابة منخفض، لكنه يفشل كقناة موثوقة لاسترجاع المعلومات، مما يسلط الضوء على الحاجة لتحسين تفعيل الاسترجاع، صياغة الاستفسارات، ومعايرة الثقة المستندة إلى الأدلة في نماذج اللغة الممكنة عبر الويب.

ما رأيكم في هذه النتائج؟ هل سيؤثر ذلك على مستقبل نماذج اللغة؟ شاركونا أفكاركم في التعليقات.