كيف تُشكّل العلاقات السياقية النماذج اللغوية لفهم الحقائق؟

في عالم الذكاء الاصطناعي، يعتمد التفكير البشري على كيفية ارتباط العناصر ضمن المقترحات. ولكن، كيف تنظم العلاقات إدراك النماذج اللغوية لفحوى السياقات؟ هذا ما استكشفته دراسة جديدة، تركز على نماذج اللغات الضخمة (Large Language Models) وكيفية تعاملها مع الحقائق المتعاقبة.

تم تعريض نموذج لغوي لقائمة من الحقائق في سياقه، مثل "أليس تأكل تفاحة. بوب يأكل كمثرى." وبعد تغيير السؤال من "ماذا تأكل أليس؟" إلى "ماذا يأكل بوب؟" تم قياس كيفية تغير حالة النموذج المخفية. من خلال تجميع البيانات عبر العديد من القوائم، اكتشف الباحثون ما يسمى
بـ"المتجه الترتيبي"، الذي يشير إلى مدى تأثير ترتيب ذكر الحقائق في استجابة النموذج.

وجدت الدراسة أن النماذج اللغوية تمثل الحقيقة التي يسأل عنها السؤال وفقًا لترتيب ذكرها بدلاً من الاسم الذي يتضمنه السؤال. تُطلق هذه النظرية على
"فرضية العنوان الترتيبي": حيث لكل ترتيب ذكر عنوان حقيقة في حالة النموذج، يشارك في جميع السياقات، ويقوم السؤال بتحريك الحالة إلى عنوان الحقيقة المعنية.

أظهرت النتائج عبر ثلاثة نماذج - Qwen و Gemma و Llama - أن:
1. العناوين مرتبة حسب الذكر، حيث يتم تنظيم حالات الاستفسار وفقًا لترتيب الحقائق وليس الأسماء.
2. يمكن توجيهها، فإضافة متجه ترتيبي إلى سؤال حول أول حقيقة في قائمة جديدة يؤدي إلى جواب يتعلق بالحقيقة الثانية.
3. تتمتع طبيعة منخفضة الرتبة، حيث يسهل الوصول إلى أول حقيقة مذكورة.
4. تنشأ العناوين من طبقات متوسطة متأخرة، وتتمتع باستمرارية من النماذج ذات 1.5 مليار إلى 32 مليار معلمة.

هذا الاكتشاف العميق يوفر رؤى جديدة حول كيفية عمل النماذج اللغوية في معالجة اللغة والفهم، مظهرًا كيف يصل النموذج إلى حقيقة معينة بناءً على سياق ذكرها.

ما رأيكم في هذه الطريقة الفريدة لفهم النماذج اللغوية للحقائق؟ شاركونا آراءكم في التعليقات!