نعيش اليوم في عصر الذكاء الاصطناعي، حيث تلعب نماذج اللغة (Language Models) دورًا حيويًا في معالجة البيانات وتقديم الإجابات. لكن، ماذا عن ثقة هذه النماذج في الإجابات التي تقدمها؟

أصدر فريق من الباحثين الدليل الفني الجديد الذي يشرح كيفية اختبار ثقة نماذج اللغة في إجاباتها من خلال أداة مفتوحة، تم تطويرها خصيصًا لهذا الغرض. تعتمد الأداة على نموذج لغوي صغير يتم تحسينه باستخدام مجموعة بيانات مصنوعة، حيث يتم تقديم إجابة واحدة مختلقة لكل زوج من أزواج الأرقام ذات الرقم الفردي.

يتميز هذا الدليل بتوثيق شامل لكل مرحلة في عملية التحسين: بدءًا من إنشاء فضاء الحقائق، قياس الثقة المدرك مع مراعاة طول الرموز، انتهاءً ببناء مجموعة البيانات وتحسين النموذج. كما يشرح الدليل التحديات المختلفة التي تم التغلب عليها لضمان دقة القياسات.

من خلال إجراء مقارنة بين ثقة النموذج قبل وبعد عملية التحسين، يسعى الباحثون إلى فهم كيفية تأثير التدريب على نماذج اللغة ومدى دقتها.

يُعتبر هذا الدليل مرجعًا مهمًا للباحثين والعاملين في مجال الذكاء الاصطناعي، حيث يوفر وصفًا تفصيليًا للأداة ومحيطها التفاعلي، مما يتيح لهم استخدام النتائج التجريبية في بحوثهم المستقبلية.