تشهد نماذج اللغة الكبرى (Large Language Models) تحولات كبيرة في كيفية دعمها لتوليد الاستجابات المستندة إلى المعرفة المقدمة من قبل المستخدمين، مع حقيقة أن هذه المعرفة تتنوع عبر هياكل البيانات المختلفة. ومع ذلك، لا تقدم المعايير الحالية تقييمًا شاملًا لقدرة هذه النماذج على تنفيذ سلاسل التفكير المعقدة عبر سياقات معرفية متعددة بينما تظل محمية من التغييرات في ترتيب المدخلات.

لذلك، تم تقديم معيار جديد يُعرف باسم TKFQA، الذي يتكون من 10,130 زوجًا من أسئلة وإجابات تتعلق بالحقائق، مستندًا إلى جداول وبيانات نصية ورسوم بيانية معرفية (Knowledge Graphs). كل مثال تم بناؤه يعتمد على سلسلة تفكير مضادة واقعية، مما يسمح بتقييم دقيق لكل من صحة الإجابات وبدقة سلاسل التفكير ومدى مقاومتها لتغييرات الترتيب في المدخلات.

أظهرت التقييمات الشاملة لـ 14 نموذجًا من المصدر المفتوح والمغلق أن النماذج المتقدمة كانت تعاني من دقة محدودة في سلاسل التفكير، وكانت حساسة للتغيرات في ترتيب المدخلات ضمن سياقات معرفية متنوعة.

للتغلب على هذه التحديات، يتم تقديم إطار تدريب يُعرف باسم ORLF، والذي يعمل بشكل مستقل عن نماذج اللغة (LLM-agnostic) ويعزز العلاقات الطوبوغرافية عبر المتجهات الكامنة المرتبطة بالمعرفة. يتضمن ORLF تشفير موضع سياقي، وقناع انتباه لجسر الكامنة، وانحياز معرفي طوبوغرافي، مما يساعد على الحفاظ على تأثيرات معرفية محددة وتشفير الدلالات الطوبوغرافية.

أظهرت التجارب عبر أربعة نماذج رئيسية أن ORLF يتفوق على المعايير التنافسية غير المعتمدة على التدريب وLoRA، حيث أدى ذلك إلى تحسين متوسط الدقة والتوافق مع سلاسل التفكير بنسبة 2.15% و4.29% على التوالي، بينما تم تقليل الانحراف القياسي الناتج عن ترتيب المدخلات من 0.04% إلى 3.01%.

يمثل هذا التقدم خطوة هامة نحو تعزيز كفاءة الذكاء الاصطناعي، فكيف سيؤثر ذلك على مستقبل نماذج اللغة وإنتاج المعرفة؟ شاركونا آرائكم!