في دراسة جديدة أُجريت لتقييم أداء نماذج اللغات الضخمة (LLMs) في فهم كود المواد الخطرة البحري (IMDG)، تم تحديد الحاجة الماسة لدقة التفسير في هذا المجال الحيوي.

يعد النقل البحري للمواد الخطرة من الأنشطة المعقدة التي تخضع لإطار تنظيمي صارم، حيث يمكن أن تؤدي الأخطاء في التصنيف أو التعبئة أو التخزين إلى عواقب وخيمة. ولضمان الامتثال الصحيح، يجب تفسير مئات الصفحات من القوانين المتفاعلة بدقة، مما يجعل هذه المهمة تتطلب أدوات دقيقة وتعتمد على الذكاء الاصطناعي.

قدمت الدراسة أداة جديدة تُدعى DGEval، التي تمثل أول معيار لتقييم معرفة نماذج اللغات الضخمة بتعديل كود المواد الخطرة رقم 42-24. وقد تم إنشاء هذه الأداة من أسئلة كتبها خبراء على منصة التعليم الإلكتروني NCB Hazcheck، وتتضمن 1,678 سؤالاً تغطي عدة مجالات مثل اختيار متعدد، مفتوحة، تحديد المواد الخطرة، والتعرف على القوانين.

واستهدفت الدراسة 13 نموذجًا من ستة مزودين مختلفين، بما في ذلك نموذج محدد للقطاع البحري. تبين أن أفضل النموذج أداءً يتفوق على مستوى الممارسين البشريين في أسئلة الاختيار من متعدد، لكن جميع النماذج كانت ضعيفة في المجالات الحرجة المتعلقة بالسلامة مثل التخزين والتفريق.

تشير النتائج إلى أن نماذج اللغات الضخمة قد تدعم مهام الامتثال، خاصة في البحث عن المعلومات المتعلقة بقوائم المواد الخطرة، ولكن عدم الاعتمادية في المناطق التشغيلية يعني أن الرقابة البشرية والتحقق من المصادر تبقى ضرورية قبل استخدامها في أي سياق يتطلب الأمان.

أداة DGEval مصممة كأداة لضمان السلامة، يجب تطبيقها بشكل مستمر مع تطور النماذج، وليس كتصنيف نهائي للقدرات الحالية.