Daha iyi bir reranker mı gerekiyor? Önce retrieval'ı kontrol edin

The New Stack, 28 Eylül'de Kimberly Fessel imzalı bir analiz yayımladı. Analiz, arama sonuçlarından memnun olmayan ekiplerin doğru belgelerin aday havuzuna girip girmediğini kontrol etmeden önce daha büyük bir reranking modeline yöneldiğini savunuyor. Vespa.ai desteğiyle yayımlanan yazı, tek bir pahalı reranking adımı yerine çok aşamalı bir retrieval hunisi öneriyor.

Daha iyi reranker neden sorunu çözmez

Fessel'e göre daha büyük bir reranker'a kaynak ayırmanın iki maliyeti var. Birincisi, geniş ölçekli reranking hızla pahalılaşıyor ve gecikmeyi artırıyor; çünkü sistem bir sıralama üretmeden önce devasa bir aday yığınını taramak zorunda. İkincisi, reranker hiç almadığı daha iyi sonuçları ortaya çıkaramıyor: retrieval aşaması doğru belgeyi döndürmediyse, hiçbir yeniden sıralama onu geri getiremez.

Bu yüzden makale önce iki şeyin kontrol edilmesini öneriyor: doğru sonuçlar aday havuzuna giriyor mu ve tüm havuzun reranking'i ne kadara mal oluyor.

Retrieval hunisi

Pahalı tek bir adım yerine yazı, retrieval sürecini bir huni olarak ele almayı öneriyor. İlk aşamada büyük bir korpustan görece ucuz sözlüksel, vektör veya hibrit arama ile geniş bir aday havuzu oluşturuluyor. Ardından havuz daraltılıyor ve yalnızca seçilmiş olası yanıtlar machine learning inference'a dayanan pahalı reranking adımına geçiyor. Böylece geniş kapsama başta sağlanıyor, maliyetli işlemler sürecin sonuna bırakılıyor.

Böyle bir huni tasarlamak recall, ilgililik, gecikme ve maliyet arasında denge gerektiriyor. Daha fazla aday getirmek recall'ı iyileştirebilir, ancak değerlendirilecek ve reranking'den geçecek sonuç sayısını da artırır; bu da hem maliyeti hem gecikmeyi yükseltir.

RAG nerede devreye giriyor

Aynı mantık retrieval-augmented generation için de geçerli. RAG sistemleri büyüdükçe doğru bilginin modele ulaşmasında retrieval'ın ağırlığı artıyor. Doğru belgeler bulunduktan sonra bile hangi pasajların bağlam penceresinde yer alacağına karar verilmesi gerekiyor. Aşamalı daraltma burada da yardımcı oluyor.

Vespa.ai ürün pazarlama direktörü Bonnie Chase ve kıdemli çözüm mimarı Jenny Morris, yaklaşımı 13 Ekim'de “Why the Best Reranker Can’t Fix Bad Retrieval” başlıklı canlı web seminerinde anlatacak. Oturumda aşamalar arasında kaç aday taşınacağı, sözlüksel aramanın ne zaman yeterli olduğu, vektör veya hibrit yaklaşımın ne zaman değer kattığı, pahalı reranking'in sonuçları gerçekten iyileştirip iyileştirmediğinin nasıl anlaşılacağı ve yaklaşımın RAG bağlam seçimine nasıl uygulanacağı ele alınacak.