تتزايد متطلبات أعباء العمل في الذكاء الاصطناعي، مما يستدعي بنية تحتية قوية للأداء العالي وطرائق تدريب متقدمة تدعم الاستدامة. رغم أن نماذج اللغات الكبيرة (Large Language Models - LLMs) تُظهر قدرات استثنائية في معالجة اللغة الطبيعية، إلا أن النماذج العامة غالبًا ما تفتقر إلى المعرفة التخصصية المطلوبة لتحليل أمن السيبرانية الفعّال.

تقدم الأبحاث الأخيرة منهجية مبتكرة تعرف بالتدريب المستمر المتكيف مع المجال (Domain-Adaptive Continuous Pretraining - DAP)، والتي تهدف إلى تحسين الفهم في مجالات أمن السيبرانية بكفاءة مثلى وموارد محدودة. تم تطبيق هذه المنهجية من خلال خط أنابيب موزع يعتمد على تقنية Fully Sharded Data Parallel (FSDP) عبر مجموعة متعددة من وحدات المعالجة الرسومية.

قد تم تطوير ثلاث معماريات قائمة على كودات (decoder-based architectures) -- Llama-3.1-8B، DeepSeek-R1-Distill-Qwen-14B، وLlama-3.3-70B-Instruct -- باستخدام مجموعة بيانات تتكون من 126 مليون كلمة تتعلق بمجال أمن السيبرانية، مستمدة من المعايير الأدبية والأكاديمية والتوثيق الفني.

أظهرت التقييمات عبر ثلاثة معايير رئيسية لأمن السيبرانية مثل CTI-MCQ، CyberMetric، وSecEval تحسنًا ملحوظًا بعد التكيف. ومن اللافت أن نموذج Llama-3.3-70B-Ins-DAP حقق أداءً متفوقًا مع دقة بلغت 0.718، 0.933، و0.864 على التوالي، متجاوزًا النماذج المتخصصة الأخرى بما في ذلك Llama-Primus-Base وFoundation-Sec-8B، على الرغم من استخدام 118.8 مليون توكن فقط، مما يمثل تقليصًا بنسبة تتراوح بين 23 إلى 42 ضعفًا في البيانات التدريبية.

تُساعد هذه المنهجية المبتكرة على التكيف الفعال مع مجال الأمن السيبراني من خلال بنية تحتية ذات أداء عالٍ، مما يقلل من البصمة الحاسوبية والطاقة المستخدمة. هذه التطورات تدعم تطوير مساعدين ذكيين متخصصين في تحليل التهديدات وتقييم الثغرات وتوثيق الأمان، مما يساهم في تعزيز تنمية الذكاء الاصطناعي بشكل مستدام ومسؤول.