Daha yaxşı reranker lazımdır? Əvvəlcə retrieval-ı yoxlayın

The New Stack sentyabrın 28-də Kimberly Fessel-in analizini dərc edib. Analizdə deyilir ki, axtarış nəticələrindən narazı komandalar düzgün sənədlərin namizəd siyahısına ümumiyyətlə düşüb-düşmədiyini yoxlamadan daha böyük reranking modelinə keçir. Vespa.ai dəstəyi ilə dərc olunan yazı bir bahalı reranking mərhələsi əvəzinə çoxmərhələli retrieval hunisi təklif edir.

Daha yaxşı reranker problemi niyə həll etmir

Fessel-in sözlərinə görə, daha böyük reranker-a resurs yatırmağın iki qiyməti var. Birincisi, genişmiqyaslı reranking sürətlə bahalaşır və gecikməni artırır, çünki sistem reytinq yaratmazdan əvvəl nəhəng namizəd yığınını nəzərdən keçirməlidir. İkincisi, reranker heç vaxt almadığı daha yaxşı nəticələri üzə çıxara bilmir: retrieval mərhələsi düzgün sənədi qaytarmayıbsa, heç bir yenidən sıralama onu geri gətirməyəcək.

Buna görə məqalə əvvəlcə iki şeyi yoxlamağı tövsiyə edir: düzgün nəticələr namizəd siyahısına düşürmü və bütün siyahının reranking-i nə qədər başa gəlir.

Retrieval hunisi

Bir bahalı mərhələ əvəzinə yazı retrieval prosesini huni kimi qurmağı təklif edir. İlk mərhələdə böyük korpusdan nisbətən ucuz leksik, vektor və ya hibrid axtarışla geniş namizəd siyahısı yaradılır. Sonra siyahı daraldılır və yalnız seçilmiş ehtimal olunan cavablar machine learning inference-a əsaslanan bahalı reranking mərhələsinə keçir. Beləliklə geniş əhatə erkən mərhələdə təmin olunur, bahalı əməliyyatlar isə prosesin sonuna saxlanılır.

Huninin dizaynı recall, uyğunluq, gecikmə və xərc arasında balans tələb edir. Daha çox namizəd tapmaq recall-ı yaxşılaşdıra bilər, amma eyni zamanda qiymətləndiriləcək və bəlkə də reranking ediləcək nəticələrin sayını artırır; bu da həm xərci, həm gecikməni yüksəldir.

RAG burada harada dayanır

Eyni məntiq retrieval-augmented generation üçün də keçərlidir. RAG sistemləri böyüdükcə düzgün məlumatın modelə çatdırılmasında retrieval-ın əhəmiyyəti artır, hətta düzgün sənədlər tapıldıqdan sonra hansı hissələrin kontekst pəncərəsində yer alacağına qərar verilməlidir. Mərhələli daralma burada da kömək edir.

Vespa.ai-ın məhsul marketinqi direktoru Bonnie Chase və baş həll arxitektoru Jenny Morris bu yanaşmanı oktyabrın 13-də “Why the Best Reranker Can’t Fix Bad Retrieval” adlı canlı vebinarda təqdim edəcək. Müzakirə olunacaq mövzular arasında mərhələlər arasında nə qədər namizədin ötürülməsi, leksik axtarışın nə vaxt kifayət etdiyi, vektor və ya hibrid yanaşmanın nə vaxt dəyər qatdığı, bahalı reranking-in nəticələri həqiqətən yaxşılaşdırdığının necə anlaşılacağı və yanaşmanın RAG kontekst seçiminə necə tətbiq olunacağı var.