في عالم الأبحاث العلمية، تُعتبر الوكلاء المعتمدون على نماذج اللغات الضخمة (LLMs) من العناصر الأساسية لتحقيق الأبحاث بشكل مستقل. لكن، تبقى العديد من تحديات الأمان التي تُشعر الباحثين بالقلق. إذ أن طبقات الأمان الحالية منفصلة عن جوهر عمليات التفكير، مما يؤدي إلى تداخلات قد تعرض النتائج للخطر. لذلك، تمّ تطوير SciTrace، والذي يُعتبر إطار عمل متكاملاً يُظهر كيف يمكن للأمان أن يكون جزءً من كل خطوة في مسار العمل البحثي.
تقوم SciTrace بدمج آليتين متكاملتين:
1. **حلقة التفكير الآمن (Safety-Intrinsic Reasoning Loop - SIR)**: تحافظ هذه الحلقة على حالة المخاطر التراكمية عبر مراحل التفكير، والتجريب، والكتابة، والمراجعة من خلال تحليل مشترك للمهام والمخاطر.
2. **المحقق في سلسلة الأدوات المركبة (Compositional Tool-Chain Verifier - CTV)**: يُجري هذا المحقق فحوصات أمان تراعي المسارات قبل التنفيذ، مما يمكّنه من التقاط المخاطر التي قد تظهر فقط من خلال تسلسل الأدوات المتعددة.
خلال تقييمه على 240 مهمة بحثية عالية المخاطر و120 مهمة تتعلق بالأدوات عبر ستة مجالات علمية، أثبت SciTrace كفاءته في تحسين مستويات الأمان مقارنة بالأطر الأخرى، حيث حقق تحسنًا ملحوظًا في السلامة وجودة النتائج. بالإضافة إلى ذلك، تم التعرف على 78.8% من حالات الهروب التي لم تُكتشف بواسطة المراقبات الأحادية للخطوات.
يمكنكم زيارة موقع المشروع للاطلاع على المزيد من التفاصيل: https://opensciagent.github.io/[SciTrace/].
ثورة في الأمان: SciTrace لتحسين أمان الوكلاء العلميين
تقدم SciTrace إطار عمل مبتكراً يجمع بين التفكير الآمن والتجربة العلمية لتحقيق نتائج بحثية ذات جودة عالية. مع تحسين قدرة الوكلاء العلميين، يمكننا التصدي للمخاطر بفاعلية أكبر.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
