في عالم التعليم الحديث، تعتبر بناء النماذج ممارسة أساسية تساهم في تعزيز عملية التعلم العلمي، حيث تعتمد على التصور والتفاعل. ومع تزايد استخدام نماذج اللغة الكبيرة (Large Language Models) والتي تم تعزيزها بقدرات متعددة الوسائط، بدأت تظهر في الأوساط التعليمية لدعم التعلم، ومع ذلك، كانت تعاني هذه الأدوات من نقص في التفاعل البصري المطلوب في بعض السياقات التعليمية.

هنا يبرز دور تقنية "Text to Multimodal Model" (T2MM)، وهي معمارية قوية وديناميكية مدعومة بالنماذج اللغوية الكبيرة، تساعد في إنشاء النماذج ضمن برنامج "المساعد التجريبي الافتراضي" (Virtual Experimental Research Assistant - VERA) المعتمد على النمذجة البيئية القائمة على الاستفسار. يقوم T2MM بتحليل السياق الحالي لنموذج المتعلم، ويخلق نماذج تفاعلية بدلاً من الصور الثابتة، مما يمكّن النموذج من الاستجابة للتعديلات اليدوية.

لقياس الجدوى التقنية لهذه المعمارية، تم تقييم T2MM من خلال مجموعة بيانات تم إنشاؤها خصيصًا تتضمن طلبات نمذجة لغوية طبيعية ونماذج مستهدفة ضمن نظام VERA. أظهرت نتائج هذه التقييمات أن T2MM يتفوق على العمارة التقليدية المتبعة في إصدار نماذج معتمدة على توليد كامل للكود المدعوم بالنماذج اللغوية الكبيرة، وذلك في جميع المقاييس المنجزة.

مساهمتنا لا تقتصر فقط على عرض دمج النماذج اللغوية الكبيرة في أدوات التعليم القائم على الاستفسار، بل توضح أيضًا بنية ممكنة يمكن من خلالها إنشاء أدوات LLM تفاعلية متعددة الوسائط بشكل أفضل.