تدخل نماذج اللغة الضخمة (Large Language Models) في مختلف مجالات البرمجيات، حيث تُستخدم بشكل متزايد لأتمتة مهام متعددة عبر دورة حياة تطوير البرمجيات. ومع ذلك، يظل السؤال مطروحاً حول مدى قدرة هذه النماذج على التعامل مع المعاني والسمات المختلفة للبيانات التي تعمل عليها، خصوصاً في سياق تصميم المعمارية.

في دراسة جديدة، تم تناول هذا الموضوع عبر فحص الرسوم البيانية لتسلسل الرسائل عالية المستوى (High-Level Message Sequence Charts - HMSCs)، والتي تعتبر نماذج بصرية تتمتع بمعاني رسمية صارمة، وتستخدم في عدة أغراض، بما في ذلك كأساس لمخططات التسلسل في لغة النمذجة الموحدة (Unified Modeling Language - UML).

تم اختبار ثلاث نماذج لغة ضخمة: Gemini-3 وGPT-5.4 وQwen-3.6، من خلال تقييم أدائها في 129 مهمة دلالية تتراوح من استعلامات عن البنى الدلالية الأساسية في HMSCs (مثل الأحداث وترتيبها) إلى التجريدات والتركيبات الحافظة للمعنى وحساب مجموعة من السلاسل وأنظمة الانتقال المصنفة المعادلة.

أظهرت النتائج أن نماذج اللغة الضخمة تتمتع بفهم محدود إلى حد ما للمعاني الرسمية الخاصة بـ HMSCs، حيث حققت دقة عامة تبلغ حوالي 52%. وعلى الرغم من أن هذه النماذج يبدو أنها تفهم المفاهيم الأساسية للتسلسل (حيث بلغت دقتها حوالي 88%)، إلا أنها تعاني بوضوح في التفكير الدلالي المرتبط بالتجريد والتركيبات (بمعدل دقة 36%)، بالإضافة إلى السلاسل وأنظمة الانتقال (بحدود 42%).

تواجه جميع النماذج الثلاثة صعوبة في فهم مفهومي المناطق المشتركة والاعتماديات السببية الصريحة، حيث لم تُستخدم هذه المفاهيم في التحولات الحافظة للمعنى.

إذا كنت مهتمًا بمزيد من التفاصيل حول مدى تأثر تقنيات الذكاء الاصطناعي بفهم المعاني المعقدة، فلا تتردد في متابعة هذه الأبحاث.