في عالم تتزايد فيه الحاجة إلى إنشاء وتحرير الصور بشكل معقد، تظهر أداة CanvasAgent كحل مبتكر يعتمد على تنسيق أدوات بصرية متقدمة. غالبًا ما تحتاج الطلبات المتعلقة بالصورة إلى أكثر من مجرد نموذج واحد للتوليد أو التحرير، حيث تشمل هذه الطلبات مهام متعددة مثل تركيب الصور، تحديد المواقع، تقسيم المناطق، تحرير المحتوى المحدد، وإضافة النصوص لتعزيز النتيجة النهائية.

تسعى CanvasAgent إلى تحويل الوكلاء المتعددين النماذج من التركيز على الإدراك إلى إنشاء بصري مرتبط بالتلاعب، مما يتطلب من الأدوات أن تساهم بفعالية في تحويل الحالات المرئية بدلاً من مجرد التحقق منها. ولغاية الآن، كانت معظم الوكالات في هذا المجال مُحسّنة فقط لأغراض البحث أو التحرير في مجالات معينة، بينما تفتقر إلى الإشراف الكبير للنماذج القابلة للتنفيذ في مسارات إنشاء الصورة.

لذلك، نقدم لكم CanvasCraft، وهو مجموعة بيانات ضخمة تتعلق باستخدام الأدوات المتعددة الأبعاد لإنشاء الصور المعقدة، بالإضافة إلى CanvasAgent، الوكيل الذي يتعلم تنسيق الأدوات البصرية المتنوعة عبر تفاعلات متعددة. تحتوي مجموعة CanvasCraft على 140,000 مسار قابل للتنفيذ و10,000 مواصفة لمهام التعزيز التعلمي (RL).

يتم تدريب CanvasAgent في البداية باستخدام تقنية التعلم بالإشراف بواسطة بيانات متوافقة (SFT) لفهم مسارات العمل القابلة للتنفيذ، ثم يتم تحسينه بواسطة GRPO باستخدام مكافأة هجينة تجمع بين إشارات النتائج والإجراءات.

خلال التجارب، تتم مراجعة النتائج الوسيطة من قبل CanvasAgent والذي يتتبع الأصول المرئية ويتكيف مع حالة الصورة المتطورة، مما يؤدي إلى تقييم فعال لجودة الصور النهائية وسلوك المسار. تقدم هذه الأداة الجديدة أملاً كبيراً في تحسين مستويات الإبداع في إنشاء وتحرير الصور باستخدام أدوات متعددة متكاملة.