في عالم الذكاء الاصطناعي، تعتبر نماذج اللغات الضخمة (Large Language Models) من أبرز الابتكارات التي غيرت كيفية معالجة البيانات اللغوية. لكن، هل فكرت يومًا في كيفية استخراج المعلومات الكامنة بفعالية من هذه النماذج؟ هنا يأتي دور دراسة جديدة تقدم إطارًا متقدمًا لاختيار الحالات الخفية في المكونات المستخدمة في التشفير.

تُظهر الأبحاث أن الحالات الخفية من طبقات مختلفة في نماذج اللغات الضخمة غالبًا ما تقوم بتشفير معلومات تكاملية. ومع ذلك، تعتمد الأساليب الحالية للتشفير على مجموعة محدودة من الطبقات، مختارة باستخدام خوارزميات ثابتة تعتمد على الموضع، مما يجعل اختيار الطبقات المثلى تحديًا معقدًا. لكننا هنا لنقدم لك خبرًا مثيرًا: تم تطوير إطار عمل مبدع يعتمد على معيارين متكاملين؛ وهما المعلوماتية التي تُقاس من خلال تحليل المصفوفات، والتنوع الذي يُقاس باستخدام محاذاة النواة المركزية (CKA).

تتعمق الدراسة الجديدة في تحليل الانتروبيا الشانونية (Shannon entropy) طبقةً بطبقة، وتجمع الانتروبيا تحت تداخل الحالات الخفية، بالإضافة إلى ديناميكيات CKA المتزاوجة عبر عمق النموذج. وقد كشفت النتائج عن وجود مقاطع هندسية ومعلوماتية مميزة داخل تمثيلات التشفير. وبناءً على هذه الاكتشافات، تم اقتراح خوارزميات لاختيار الطبقات التي تمنح الأولوية لمجموعات الحالات الخفية ذات المعلومات العالية والحد الأدنى من التكرار.

ولتعزيز هذه العمليات، تم تقديم فلترة انتروبيا الرموز، التي تزيل الحالات الخفية المرتبطة بالرموز ذات الانتروبيا التنبؤية المنخفضة، مما يقوي من جودة إحصائيات اختيار الطبقات. من خلال استراتيجيات التشفير المحددة بأسلوب EAGLE3، تُظهر النتائج أن مجموعاتنا المختارة تتفوق على الخيارات الثابتة التقليدية، مما يوفر لدينا تفسيرًا أوضح لسبب تنافسية بعض الخيارات الافتراضية.

إجمالًا، تُقدم نتائج هذه الدراسة وصفة عملية لاختيار حالات خفية متعددة في عمليات التشفير، بالإضافة إلى رؤى عميقة حول الهندسة والمعلومات في حالات نماذج اللغات الضخمة، مما يمهد الطريق لتوسيع هذا التحليل ليشمل تطبيقات ذات صلة.