هل يمكن لنماذج اللغات الكبيرة فهم معالجة تدفقات البيانات؟ اكتشافات مثيرة!

مع تزايد استخدام الأنظمة السريعة في تقديم المهام لنماذج اللغات الكبيرة (LLMs)، تتزايد الحاجة لفهم أداء هذه النماذج في معالجة الأحداث المبنية على الزمن. في أحدث الدراسات، تم اختبار قدرة نموذج على تمثيل معالج تدفقات البيانات الزمنية من خلال عملية تدعى StreamReason-Bench.

اختبار StreamReason-Bench يتطلب من النموذج أن يتفاعل مع استعلامات مؤطرة بينما يتلقى تدفقاً من الأحداث غير المرتبة، ويجب عليه تحديد أي النوافذ تعمل وأي الأحداث تعتبر متأخرة. قدّم الباحثون مرجعاً دقيقاً من خلال نموذج بسيط يتبع معايير Dataflow، مما أتاح لهم تقييم دقيق لنتائج الأداء. بدعم من 600 عنصر تم توليدها تغطي أنواع نوافذ مختلفة مثل المتدحرجة والساندة، أظهرت النتائج ضعف أداء النماذج في التعامل مع زمن الأحداث.

عند الطلب مباشرة من النماذج، لم يتمكن أي نموذج من تحقيق معدل مطابقة دقيق يبلغ 34%، بينما نجحت نماذج تستخدم أسلوب التسلسل المنطقي (Chain-of-Thought) في رفع هذا المعدل بنحو الضعف (مثل نموذج GPT-4o الذي ارتفع من 0.34 إلى 0.48). وفي حين أن نموذج وحيد حقق نتائج قريبة من الحل، لم يتمكن البقية من حل المسألة بالكامل.

من المثير للدهشة أن نماذج ذات تحكم في زمن المعالجة، التي لا تتضمن أي علامات مائية أو أحداث متأخرة، قد حلت تقريباً كل المحتويات بكفاءة. يبدو أن الفجوة بين الأداء في زمن الأحداث والمعالجة المتأخرة هي القوة الحقيقية للتوجه نحو تحسين النماذج، بينما أخطاء بيانات الأحداث المتأخرة هي العنصر الأكثر تعقيداً والذي يتطلب المزيد من البحث والنقاش.