Потрібен кращий reranker? Спершу перевірте retrieval

The New Stack 28 вересня опублікував аналіз Kimberly Fessel. У ньому стверджується, що команди, незадоволені результатами пошуку, зазвичай беруться за потужнішу модель reranking, не перевіривши, чи правильні документи взагалі потрапляють до списку кандидатів. Матеріал, опублікований за підтримки Vespa.ai, пропонує багатоетапну воронку retrieval замість одного дорогого етапу reranking.

Дві причини, чому кращий reranker не зарадить

За словами Fessel, вкладення ресурсів у потужніший reranker має дві ціну. Перша: масштабний reranking швидко дорожчає та підвищує затримку, адже система мусить перебрати величезну купу кандидатів, перш ніж сформувати рейтинг. Друга: reranker не може показати кращі результати, яких не отримав, тож якщо етап retrieval не повернув потрібний документ, жодне перевпорядкування його не поверне.

Тому стаття радить спершу перевірити два моменти: чи потрапляють правильні результати до списку кандидатів і скільки коштує reranking усього цього списку.

Воронка retrieval

Замість одного дорогого етапу матеріал пропонує розглядати retrieval як воронку. Спершу з великого корпусу будують широкий список кандидатів за допомогою відносно дешевого лексичного, векторного або гібридного пошуку. Далі список звужують, і лише відібрана група ймовірних відповідей переходить до дорогого reranking на основі machine learning inference. Широке покриття забезпечується на початку, а дорогі операції обмежуються кінцем процесу.

Проєктування такої воронки вимагає балансу між recall, релевантністю, затримкою та витратами. Більше кандидатів може поліпшити recall, але тоді доведеться оцінювати й повторно впорядковувати більше результатів, що підвищує і витрати, і затримку.

Де тут RAG

Та сама логіка стосується retrieval-augmented generation. Зі зростанням RAG-систем retrieval набуває дедалі більшого значення, щоб потрібна інформація одразу доходила до моделі. Навіть після того, як правильні документи знайдено, треба вирішити, які фрагменти займуть місце у вікні контексту. Поступове звуження допомагає й на цьому етапі.

Bonnie Chase, директорка з продуктового маркетингу Vespa.ai, та Jenny Morris, старша архітекторка рішень, розкажуть про цей підхід на живому вебінарі “Why the Best Reranker Can’t Fix Bad Retrieval” 13 жовтня. Серед тем: скільки кандидатів переносити з етапу на етап, коли лексичного пошуку достатньо, коли додають цінності вектори чи гібридний підхід, як зрозуміти, чи справді дорогий reranking поліпшує результати, і як підхід поширюється на вибір контексту для RAG.