يشهد الذكاء الاصطناعي (Artificial Intelligence) تقدمًا سريعًا، حيث تأخذ الأنظمة ذات القدرات المتزايدة أدوارًا كبيرة في التفكير، صناعة القرار، الاكتشاف العلمي، والتطور الذاتي. ومع بدء الذكاء الاصطناعي في المشاركة في تحسين ذاته، من تدريب النماذج وتراكم الخبرات إلى تطور الوكلاء وتطوير الذكاء الاصطناعي الآلي، تزداد أهمية مفهوم التحسين الذاتي المتكرر (Recursive Self-Improvement) بشكل ملحوظ.

تثير هذه النقلة سؤالًا أساسيًا حول السلامة: كيف يمكن الحفاظ على السلامة عندما يستمر النظام، والخبرات المتراكمة، وحتى العملية التي تنتج خلفاءه في التغيير؟ هنا يبرز مفهوم سلامة التطور (Evolutionary Safety) كأحد المنظورات لدراسة السلامة في إطار التحسين الذاتي المتكرر. فهو لا يهتم فقط بما إذا كانت أنظمة الذكاء الاصطناعي آمنة في لحظة معينة، بل بكيفية تغير الخصائص السلامية، واستمراريتها، وتراكمها، وانتشارها خلال عملية التطور.

نحدد من خلال هذا المقال التأثيرات المتكررة مثل تشتت النوايا (Intent Drift)، وتراكم الأخطاء (Error Accumulation)، وتلوث الخبرات (Experience Contamination)، وتآكل خصائص السلامة (Safety-property Erosion)، وتشتت المقيمين (Evaluator Drift)، وانتشار المخاطر (Risk Propagation).

علاوة على ذلك، نقوم بتطوير تصنيف يغطي حالة الوكيل المستمرة، وحالة النموذج، والتقييم والتغذية الراجعة البيئية، والمادة الحاسوبية، وآليات التحديث على المستوى الفوقي. بالاعتماد على هذا التصنيف، نستعرض كيفية اكتشاف المخاطر التطورية وتقييمها عبر الحالات، والتحديثات، والمسارات، والسلالات، ونستنبط مبادئ الحوكمة للتعديل، والاختيار، والتفويض، والأصالة، والتعافي.

في نهاية المطاف، نحدد المشكلات المفتوحة نحو المحافظة على ضمانات السلامة مع تزايد استدامة ومرونة الأنظمة الذكية وقدرتها على تحسين نفسها تكرارًا. ولمن يرغب في استكشاف المزيد من الموارد والمقترحات حول أساليب التقييم، يمكن زيارة رابط المشروع.

ما رأيكم في هذا التطور في مجال الذكاء الاصطناعي؟ شاركونا في التعليقات!