في عالم الذكاء الاصطناعي، أصبح التعلم السياقي (In-context Learning) نموذجًا قويًا لتكييف النماذج اللغوية الكبيرة (Large Language Models) مع المهام الجديدة التي تعاني من نقص في البيانات. ولكن، مع حجم السياق المحدود لتلك النماذج، يبرز سؤال محوري: كيف نحدد الأمثلة الأكثر فعالية لتحقيق أداء عالٍ في استفسارات المستخدم؟

لقد تم اعتماد طرق تعتمد على جيران القريب (Nearest-Neighbor) مثل KATE بشكل واسع لتحقيق هذا الهدف، رغم ما تواجهه من عيوب في فضاءات التضمين عالية الأبعاد، بما في ذلك ضعف القدرة على تعميم النتائج ونقص التنوع. في هذا السياق، يناقش بحث KITE هذه المسألة من منظور مبني على نظرية المعلومات.

يبدأ هذا البحث من خلال نمذجة LLM كدالة خطية على تضمينات الإدخال، وتصوير مشكلة اختيار الأمثلة كمسألة تحسين خاصة بالاستفسار. وهذا يعني اختيار مجموعة فرعية من الأمثلة من بنك أمثلة أكبر لتحقيق أقل خطأ في التنبؤ. هذه الطريقة تختلف عن المناهج التقليدية التي تركز على تعميم التعلم، حيث تستهدف دقة التنبؤ لاستفسار معين.

تقدم الدراسة هدفًا بديلًا مبنيًا على مبادئ نظرية المعلومات، مما يتيح استخدام خوارزمية طمعية (Greedy Algorithm) مع ضمان تقريبي. كما يعزز الباحثون طريقتهم من خلال إدماج الخدعة النووية (Kernel Trick) للعمل في فضاءات الميزات عالية الأبعاد بدون خرائط صريحة، وأيضًا إدخال مُنظم يعتمد على التصميم الأمثل لتعزيز التنوع في الأمثلة المختارة.

لقد أظهرت التجارب تحسينات ملحوظة مقارنة بالطرق القياسية للاستخراج عبر مجموعة من مهام التصنيف، مما يبرز الفوائد الكبيرة لاختيار أمثلة متنوعة ومدروسة في حالات العالم الحقيقي التي تعاني من نقص في التصنيفات.

هل أنتم متحمسون لاستخدام هذه الأساليب الجديدة في تحسين نماذج الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!