في عالم الذكاء الاصطناعي، تتزايد الحاجة إلى قياس القدرة على الاستنتاجات المعقدة التي تعتمد على المعلومات المتعددة. هنا يأتي دور معيار بيانات القرابة (KinshipQA) الذي يهدف إلى اختبار قدرة نماذج اللغة الكبيرة (LLMs) على دمج معلومات متعددة في استنتاجات متماسكة.

تم تصميم معيار KinshipQA ليتعامل مع العلاقات الأسرية، حيث يمكن للمستخدمين استنتاج المعلومات من أشجار العائلة المعقدة، مما يسمح بقياس التحديات الثقافية والافتراضات المرتبطة بالنظام الأسري. يتمثل الابتكار في وجود خط إنتاج توليدي الذي يوفر بيانات أنساب دقيقة وعرضية تناسب ثقافات متنوعة، مع أخذ اعتبارات مثل الحدود الزواجية في الاعتبار.

يتيح هذا المعيار التحكم المنهجي في صعوبة المهام وعمق العلاقات، حيث نستخرج المهام النصية التي تتطلب التفكير في سلسلتي علاقات ضمنية. تمت مراجعة المعيار باستخدام ستة من نماذج اللغة المتطورة، مما يتيح لنا فرصة شاملة لفهم كيف تختلف هذه النماذج في طريقة أدائها لتحديات الاستنتاج متعددة المستويات.

النتائج تشير إلى وجود تنوع واسع في الأداء، مما يكشف عن الفروقات النظامية في التفكير المتعدد المستويات عبر النماذج والإعدادات الثقافية المختلفة. إن هذا التطور لا يعد مجرد خطوة صغيرة في عالم الذكاء الاصطناعي، بل هو تحول يمكن أن يغير الطريقة التي نفهم بها المعلومات واستخدامها.