في عصر تتزايد فيه الحاجة إلى تحليل الأسباب الجذرية (RCA) لأداء الأنظمة، يبرز معيار TriCalRAG كحل مبتكر. هذا المعيار يتجاوز التحديات المرتبطة باستخدام نماذج اللغة الكبيرة (LLMs) المستضافة على السحابة، والتي قد تتضمن مخاطر تتعلق بخصوصية البيانات وزيادة في تكاليف الاستعلام.

قام الباحثون بتطوير TriCalRAG كمعيار يقيم نماذج LLM ذات الأوزان المفتوحة، تُخدم محليًا عبر تقنية vLLM على محطات عمل مجهزة ببطاقات GPU عالية الذاكرة مثل NVIDIA RTX PRO 6000 بسعة 96 جيجابايت. تم اختبار النموذج ضد كاشف الأنماط المعتمد على LSTM التقليدي (DeepLog)، مستخدمين أربعة مجموعات بيانات حقيقية متاحة للجمهور.

تم تقييم نموذجين ذوي أوزان مفتوحة، وهما Qwen2.5-14B وMistral-Small، باستخدام ثلاث استراتيجيات تحفيز: صفر-shot، few-shot، وموالد التوليد المعززة بالاسترجاع (RAG) عبر سجل من الحوادث المصنفة. أظهرت النتائج أن RAG لا يسهم فقط في تحسين معدل F1 المتوسط بنسبة تصل إلى 0.27، بل يحافظ أيضًا على استقرار نماذج التقييم، حيث تتسبب الاستراتيجيات التقليدية في سلوكيات غير مستقرة قد تؤدي إلى توقع "شذوذ" في نسبة تصل إلى 100% في بعض الحالات.

ولكن، هل النموذج الذي سيحقق لك الأداء الأفضل يعتمد على؟

لقد سجل نموذج Mistral-Small معدل F1 أعلى من Qwen2.5-14B (0.644 مقابل 0.560)، ومع ذلك، فقد أظهر فشلًا في التحقق في عدد أكبر من التكوينات. ويشير هذا إلى أن اختيار النموذج الأفضل يعتمد على ما تفضل: الدقة القصوى أم السلوك المت predictible عبر ظروف التحفيز المختلفة.

في النهاية، يُمكن أن يُحدث معيار TriCalRAG ثورة في مجال أبحاث AIOps، حيث يفتح الباب لاستكشاف إمكانيات جديدة في تحليل البيانات وضمان حماية المعلومات أيضًا. إذا كنت مهتمًا بمزيد من التفاصيل، يمكنك الاطلاع على مجموعات البيانات وكود التقييم الذي تم إصداره لدعم أبحاث AIOps المحلية القابلة للتكرار. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.