في عالم الذكاء الاصطناعي، يعد الوصول إلى بيانات دقيقة وموثوقة أمراً حاسماً، وهنا تأتي تقنية CroissantMiner لتحدث ثورة في مشهد جمع البيانات.

لقد ظهر "كرواسان" (Croissant) كمقياس قياسي للبيانات الوصفية القابلة لقراءة الآلات، ولكن كانت عملية ملء حقوله تحتاج إلى جهد كبير وتركيز على قراءة الوثائق المرافقة للبيانات. نحن هنا لنقدم لك أول معيار يتيح تقييمًا شاملاً لاستخراج البيانات وفقًا لمخطط قياسي معترف به في المجتمع.

تتألف مجموعة البيانات من 602 ورقة بحثية، بما في ذلك 102 تحتوي على بيانات موثقة من قبل البشر و500 تعتمد على ملاحظات نموذج اللغة الكبيرة (LLM). تغطي هذه البيانات جميع حقول مخطط كرواسان، بما في ذلك المجالات الأساسية والمجالات المتعلقة بالأخلاقيات في الذكاء الاصطناعي (Responsible AI).

من خلال هذا المعيار، نقوم بتقييم مجموعة من أنظمة الاستخراج التي تشمل نماذج متطورة ونماذج ذات وزن مفتوح وهيكليات عوامل، وذلك تحت إطار تقييم مزدوج يجمع بين التصنيف القائم على القواعد والقاضي المعتمد على نموذج اللغة الكبيرة الذي يتم اختياره عبر تدقيق من البشر.

تظهر النتائج أن الاستخراج الجانبي يتفوق بشكل متواصل على النماذج الأربع التي تم تقييمها. فبينما تحقق النماذج المقطعية دقة أقل، يظهر الفارق الأكبر في المجالات الطويلة الخاصة بالأخلاقيات، حيث تتطلب معالجة وتفسير معلومات موزعة عبر الورقة وليس مجرد نسخها من مكان واحد، مما يشير إلى أن الأنظمة الحالية تحتاج إلى تحسين كبير في هذه النقطة.

نحن متحمسون للإعلان عن إطلاق المعيار الجديد، مع توفير الشيفرة التقييمية وتدقيق القاضي وعرض حي، بالإضافة إلى لوحة نتائج مفتوحة للأنظمة الجديدة. انضم إلينا في هذه الرحلة المثيرة نحو المستقبل المتقدم في ميدان الذكاء الاصطناعي!

ما رأيكم في هذا التطور الجذري؟ شاركونا في التعليقات.