تتجه الأبحاث الحديثة نحو استخدام نماذج اللغات الضخمة (Large Language Models - LLMs) لتقديم توصيات حول الأكاديميين، مما يظهر أهمية هذه التكنولوجيا في تشكيل وجهات النظر الأكاديمية. ولكن، مع ذلك، تظل أسئلة حاسمة تدور حول أثر تصميم المطالبات (prompt design) واختيار النماذج في دقة وواقعية هذه التوصيات.

تشير الأبحاث الأخيرة إلى وجود تنوع في نتائج التوصيات الأكاديمية يعتمد على مجموعة من العوامل مثل اللغة، الموقع، والدور الوظيفي. على سبيل المثال، يُظهر تحليل 43 نموذجًا مختلفًا في اللغات الضخمة كيف تؤثر هذه المتغيرات على نتائج التوصية عبر ستة مجالات علمية. تم مقارنة الأكاديميين الموصى بهم مع الأكاديمية المرموقةSemantic Scholar.

النتائج كانت مثيرة للاهتمام، حيث وجد أن اختيار النموذج يؤثر بشكل كبير على الجودة التقنية للتوصيات، بينما تلعب الخصائص السياقية دورًا حاسمًا في دقة وحيادية النتائج. وفي السياق، أكدت النتائج أن المواقع الجغرافية تلعب دورًا إضافيًا، حيث أعطت المطالبات من جنوب أفريقيا قوائم أقل دقة، بينما كانت المطالبات من اليابان عالية الدقة ولكنها متماثلة، مما يشير إلى تفضيل الأكاديميين الأكثر إنتاجية.

من هنا، نتبين أن تصميم المطالبات يُعتبر جانبًا غير تافه في اكتشاف الأكاديميين باستخدام نماذج اللغات الضخمة، مما يستدعي الحاجة إلى إجراء مراجعات منهجية له بجوار اختيار النموذج نفسه. إن هذه النتائج تسلط الضوء على أهمية عدم إغفال أي عنصر من عناصر إعداد نماذج الذكاء الاصطناعي عند استخدامها في المجالات الأكاديمية، مما يفتح آفاق جديدة للفهم والتحسين.