في خطوة جديدة تساهم في تعزيز كفاءة نماذج اللغات الضخمة (Large Language Models)، تم إطلاق معيار جديد يعرف بـ Office Comprehension Benchmark (OCB). هذا المعيار يعد الأول من نوعه على مستوى العالم، حيث صُمم خصيصًا لتقييم فهم نماذج الذكاء الاصطناعي لمجموعة من الملفات المكتبية الشهيرة، بما في ذلك مستندات Word وجداول بيانات Excel وعروض PowerPoint، من خلال الملفات بتنسيقاتها الأصلية مثل (.docx، .xlsx، .pptx).

يتكون OCB من مسارين رئيسيين: الأول هو "ملف Fidelity Q&A"، الذي يختبر كيفية إدراك النماذج الهيكلية والمرئية للبيانات داخل المستندات، كالجدوال والرسوم البيانية والصور المضمنة والعبارات المعقدة. بينما المسار الثاني، "Domain Q&A"، يتناول التحليل المتعمق، مما يتطلب من النماذج استخدام تفكير خبير من خلال استجابات مستندة إلى مستندات صناعية حقيقية عبر 12 مجالًا مهنيًا.

تشير البيانات الأولية إلى أن حتى أقوى النماذج المتاحة، في نمط التفكير الافتراضي، تحقق فقط حوالي 59.3% في اختبارات Domain Q&A. هذا يبرز التحديات الكبيرة التي تواجه تطوير النماذج، حيث تحسين العمق الفكري ضمن نفس المستوى لا يؤدي إلى تحسين كبير، بينما الانتقال إلى مستويات أعلى يحقق مكاسب متواضعة فقط.

للمساهمة في هذا الجهد، تم نشر مجموعة البيانات، وأدوات التقييم، وإرشادات القضاة، بالإضافة إلى قائمة مرجعية عامة. يمكن للباحثين والمطورين استخدام هذه الموارد لتطوير أنظمة أكثر كفاءة في المستقبل.

إذا كنت مهتمًا بالتقدم في فهم الذكاء الاصطناعي للبيانات المكتبية، فتابع التطورات وشاركنا آرائك! ما رأيكم في هذا التطور؟ شاركونا في التعليقات.