في عالم الذكاء الاصطناعي، يثير النقاش حول كيفية استناد نماذج اللغات الكبيرة (LLMs) في تفكيرها على القواعد الشكلية أو على القوانين الإحصائية التي اكتسبتها خلال مرحلة التعلم. أحدث أبحاث في هذا المجال تعود بنا للبحث في مفهوم جديد من خلال دراسة تطبيق البرمجة.

تم تطوير أداة جديدة تُدعى PLSemanticsBench، والتي تربط بين برامج C خفيفة الوزن ونظامين دلاليين؛ وهما "السطور التشغيلية الصغيرة" و"دلالات K". تهدف هذه الدراسة لاستكشاف أربعة قدرات: صياغة القواعد للحالات النهائية، اختيار القواعد عند عدم تغيير الحالة، الحفاظ على هذه الشروط على مدى فترات طويلة، واتباع القواعد المقدمة تحت دلالات جديدة.

لنفصل بين التفكير الدلالي والمعرفة التركيبية، قام الباحثون بإعادة تعريف مشغلات مألوفة لتحفيز صراع بين الرمز والمعنى، بالإضافة إلى تقديم رموز جديدة تُعرف فقط من خلال القواعد المخصصة. تم اختبار النماذج على نصوص مكتوبة بواسطة البشر، ونماذج مترجمة، ونماذج تم إنشاؤها بواسطة أدوات ضغط البيانات، مع زيادة التعقيد الهيكلي.

نتائج مثيرة! عبر 11 نموذجاً من نماذج اللغات الكبيرة، فقدت الدقة النهائية تحت الدلالات القياسية (حتى 90%) بشكل حاد تصل إلى 40-60 نقطة عند مواجهة طفرات دلالية وزيادة التعقيد الهيكلي. فقط عدد قليل من النماذج استطاعت تحقيق دقة طويلة الأمد غير صفرية، حتى أن أفضل الأنظمة لم تتجاوز 35%.

هذا يثير تساؤلات حول مدى اعتماد الأنظمة الحالية على الروابط المعجمية التي تم تعلمها مسبقاً بدلاً من القواعد الشكلية المنهجية. لمزيد من التفاصيل، يمكنكم زيارة الموقع الرسمي لأداة PLSemanticsBench المتاحة للعامة.