فهم عدم اليقين في عمليات التفكير لنماذج اللغة: الطريق نحو تحسين الأداء

تشهد نماذج اللغة (Language Models) تطوراً ملحوظاً في مجال الذكاء الاصطناعي، خاصة في مجالات معالجة اللغة الطبيعية والتفكير المنطقي. يعتبر مفهوم التفكير عبر سلسلة (Chain-of-Thought) جزءاً أساسياً من تحسين أداء هذه النماذج. لكن، حتى الآن، كانت الديناميكيات الكامنة وراء هذا المفهوم غير مفهومة بالشكل الكافي. في دراسة حديثة نشرت في arXiv، تم تناول هذه الديناميكيات من خلال منظور قياس عدم اليقين (Uncertainty Quantification).

تقوم الدراسة بتحليل مسارات التفكير، التي هي تو sequences لتوكنات (tokens) تم توليدها بواسطة نماذج اللغة. ويقوم الباحثون بتلخيص كل مسار من خلال ملف تعريف عدم اليقين، وهو مجموعة صغيرة من الميزات التي تصف شكل إشارة عدم اليقين عبر المسار، مثل الانحدار ومستوى الخطية. وقد أظهرت النتائج، من خلال تقييم خمسة نماذج على مجموعتي بيانات GSM8K وProntoQA، أن هذه الملفات تستطيع التنبؤ ما إذا كان المسار سينتج عنه إجابة صحيحة بما يصل إلى AUROC 0.807، مما يظهر تحسناً ملحوظاً عن الأعمال السابقة.

تبين النتائج أن الأخطاء يمكن الكشف عنها مبكراً أثناء عملية التوليد، حيث تم الوصول إلى AUROC 0.801 باستخدام فقط المئات الأولى من التوكنات. بينما تُظهر المقارنة التفصيلية بين المسارات الصحيحة وغير الصحيحة وجود انحدار مختلف في ملفات عدم اليقين، حيث تتميز المسارات الصحيحة بانحدار أكثر حدة وأقل خطية. تشير هذه النتائج مجتمعة إلى أن الطريقة المستخدمة قد تكون أداة فعالة لفهم العمليات التوليدية وراء 'التفكير' في نماذج اللغة، مما يدعم اتخاذ القرارات في سياقات عدم اليقين.