هل تحتاج إلى reranker أفضل؟ افحص عملية retrieval أولاً

نشر The New Stack في 28 سبتمبر تحليلاً بقلم Kimberly Fessel يرى أن الفرق غير الراضية عن نتائج البحث تنتقل عادة إلى نموذج reranking أكبر قبل التحقق مما إذا كانت الوثائق الصحيحة تصل أصلاً إلى قائمة المرشحين. ويقترح المقال، المنشور بدعم من Vespa.ai، مساراً متعدد المراحل لعملية retrieval بدلاً من خطوة reranking واحدة مكلفة.

لماذا لا يحل reranker أفضل المشكلة

ترى Fessel أن ضخ الموارد في reranker أكبر يحمل كلفتين. الأولى أن إعادة الترتيب على نطاق واسع تصبح مكلفة سريعاً وترفع زمن الاستجابة، لأن النظام يضطر إلى تفحص كومة ضخمة من المرشحين قبل إنتاج ترتيب نهائي. والثانية أن reranker لا يستطيع إظهار نتائج أفضل لم يحصل عليها أصلاً؛ فإذا لم تُعِد مرحلة retrieval الوثيقة الصحيحة، فلن تعيدها أي عملية إعادة ترتيب.

لذلك يوصي المقال بالتحقق أولاً من أمرين: هل تصل النتائج الصحيحة إلى قائمة المرشحين، وكم تكلف إعادة ترتيب القائمة كاملة.

مسار retrieval المتعدد المراحل

بدلاً من خطوة واحدة مكلفة، يقترح المقال التعامل مع عملية retrieval كمسار متعدد المراحل. تبدأ العملية ببناء قائمة مرشحين واسعة من مجموعة وثائق كبيرة عبر بحث معجمي أو متجهي أو هجين منخفض الكلفة نسبياً. ثم تضيق القائمة، ولا تنتقل سوى مجموعة مختارة من الإجابات المرجحة إلى مرحلة reranking المكلفة القائمة على machine learning inference. بهذه الطريقة تتحقق تغطية واسعة في البداية، وتُحصر العمليات المكلفة في نهاية المسار.

يتطلب تصميم هذا المسار موازنة بين recall والملاءمة وزمن الاستجابة والكلفة. فجلب مرشحين أكثر قد يحسّن recall، لكنه يعني أيضاً تقييم نتائج أكثر وربما إعادة ترتيبها، ما يرفع الكلفة وزمن الاستجابة معاً.

أين يأتي دور RAG

ينطبق المنطق نفسه على retrieval-augmented generation. فمع توسع أنظمة RAG يزداد وزن مرحلة retrieval في إيصال المعلومات الصحيحة إلى النموذج، وحتى بعد العثور على الوثائق الصحيحة يبقى قرار أي المقاطع تستحق مكاناً في نافذة السياق. ويساعد التضييق التدريجي في هذه المرحلة أيضاً.

ستعرض Bonnie Chase، مديرة تسويق المنتجات في Vespa.ai، وJenny Morris، كبيرة مهندسي الحلول، هذا النهج في ندوة مباشرة بعنوان “Why the Best Reranker Can’t Fix Bad Retrieval” في 13 أكتوبر. وتتناول الجلسة عدد المرشحين الذين ينبغي نقلهم بين المراحل، ومتى يكفي البحث المعجمي، ومتى تضيف الأساليب المتجهية أو الهجينة قيمة، وكيف يُعرف ما إذا كانت إعادة الترتيب المكلفة تحسّن النتائج فعلاً، وكيف يمتد النهج إلى اختيار السياق في RAG.