تعد طرق نسب فهم السياق (Context Attribution) من الأدوات الحيوية في نماذج اللغة الكبيرة (Large Language Models) لفهم كيفية تفاعلنا مع الذكاء الاصطناعي. لكن ماذا يحدث عندما تتداخل البيانات التي تم تدريب النماذج عليها مع سياق الإدخال؟ هذا ما أظهره بحث حديث تم نشره في arXiv، حيث أكدت الدراسة أن النماذج قد تواجه مشكلات في تحديد المساهمات الحقيقية من تلك السياقات.
أظهرت هذه الأبحاث أن طرق النسب الحالية قد تقدم بيانات غير موثوقة عندما يتداخل السياق المعطى مع المعلومات التي تحويها أوزان النموذج. بناءً على ذلك، قرر الباحثون تطوير بروتوكولات جديدة تعتمد على أربعة مقاييس مبتكرة تشمل:
1. **نسبة فهم سياق النموذج الأساسي (BCS)**
2. **اتساق نسبة فحص السياق بين النماذج (CAC)**
3. **نسبة الحفاظ على النسبة (APS)**
4. **دقة فصل المصادر (SSP)**
علاوة على ذلك، قدم الباحثون مجموعة بيانات مرجعية جديدة تعرف بـ WMDP-Cyber++ مع تسميات أصلية دقيقة، مما يسمح بتقييم منهجي أكثر للسياقات التي تتداخل مع أوزان النموذج. من خلال التجارب التي أجريت على أربع طرق معروفة لنسب فهم السياق، تم التأكيد على أن هذه الطرق قد تعطي نتائج غير موثوقة عندما يتواجد المعرفة في كل من السياق والأوزان. في الختام، تم تكيف هذه الطرق لتساعد في فصل المصادر بين التعلم ضمن السياق (ICL) وبناء الأوزان، مما يظهر أنها تعاني من صعوبة في هذا الفصل بناءً على النسبة المساهمة المحددة.
كيفية معالجة نسب الفهم في نماذج اللغة الكبيرة: ثورة في تحديد المساهمة الحقيقية!
يكشف بحث جديد عن كيفية تأثير التداخل بين البيانات التدريبية وسياق الإدخال على دقة نماذج اللغة الكبيرة (LLMs). تقدم الدراسة بروتوكولات جديدة لقياس فعالية نسب الفهم، مما يساهم في تحقيق دقة أفضل في النتائج.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
