أعلنت مجموعة من الباحثين عن تطوير BrailleBench، وهو معيار مبتكر يهدف إلى تقييم أداء نماذج اللغات الضخمة (Large Language Models) في فهم لغة برايل. يهدف هذا المشروع إلى تأمين وصول المعلومات والموارد للمستخدمين المكفوفين والمكفوفين جزئيًا، في إطار سعي نموذج الذكاء الاصطناعي إلى تحقيق الشمولية.

تتضمن BrailleBench مجموعة متكاملة تتألف من 5,570 حالة من خمس مجموعات بيانات، تشمل مجالات الرياضيات، والحس العام، والإجابة على الأسئلة متعددة الخطوات، مدعومة بنماذج اللغة الإنجليزية وبرايل الممثل في الدرجتين 1 و2. قد صممت تكوينات متنوعة لتقييم قدرة هذه الأنظمة على فهم المحتوى المدروس بلغة برايل، والتعبير عن الإجابات باستخدامها، وإتمام التفاعلات الكاملة.

ولضمان جودة النظام ومنع أي انحياز في التقييم، تم بناء هذا المعيار باستخدام أدوات مراجعة من قبل خبراء والاعتماد على الموارد التي تم إنشاؤها بشكل ذاتي دون الاعتماد على بيانات مولدة من نماذج اللغة. تقييم ستة نماذج لغوية تم تنفيذه من عدة جوانب، مما أظهر وجود فجوة مستمرة بين القدرة على معالجة اللغة المطبوعة بالإنجليزية وقدرة الوصول إلى برايل.

علاوة على ذلك، تبين أن فهم وتعبير لغة برايل غير متكافئين، حيث كانت الدرجة الثانية بشكل خاص ضعيفة في الجانب الإدخالي مقارنة بالدرجة الأولى. كان للحالات التي تتطلب طلبات كاملة بلغة برايل تأثير سلبي على الأداء.

تسهم هذه الملاحظات التجريبية في توجيه تطوير الأنظمة المستقبلية للذكاء الاصطناعي الخاصة بلغة برايل. الهيئة العملياتية المتاحة من BrailleBench تم توفيرها للعامة لتيسير الأبحاث المستقبلية في هذا المجال.