უკეთესი reranker გჭირდებათ? ჯერ retrieval შეამოწმეთ

The New Stack-მა 28 სექტემბერს Kimberly Fessel-ის ანალიზი გამოაქვეყნა. მასალა ამტკიცებს, რომ გუნდები ცუდი ძიების შედეგებს ხშირად უფრო დიდი reranker-ის იმედით ასწორებენ, სანამ შეამოწმებენ, სწორი დოკუმენტები კანდიდატთა სიაში საერთოდ ხვდება თუ არა. Vespa.ai-ის მხარდაჭერით გამოქვეყნებული ტექსტი ერთი ძვირი reranking-ის საფეხურის ნაცვლად მრავალსაფეხურიან retrieval ფანერს გვთავაზობს.

რატომ ვერ ხსნის პრობლემას უკეთესი reranker

Fessel-ის თქმით, უფრო დიდ reranker-ში რესურსის ჩადებას ორი ხარჯი მოჰყვება. პირველი, მასშტაბური reranking სწრაფად ძვირდება და დაყოვნებას ზრდის, რადგან სისტემამ კანდიდატების მთელი მასა უნდა გადაამოწმოს, სანამ რანჟირებას დაასრულებს. მეორე, reranker ვერ იპოვის უკეთეს შედეგებს, თუ ისინი თავიდანვე არ მიუღია, ანუ თუ retrieval-ის საფეხურმა საჭირო დოკუმენტი ვერ დააბრუნა, გადალაგება მას ვერაფრით დააბრუნებს.

ამიტომ სტატია გვირჩევს, ჯერ ორი რამ შემოწმდეს: ხვდება თუ არა სწორი შედეგები კანდიდატთა სიაში და რა ჯდება ამ სიის სრული reranking.

retrieval-ის ფანერი

ერთი ძვირი საფეხურის ნაცვლად მასალა retrieval-ს ფანერად განიხილავს. საწყის ეტაპზე დიდი კორპუსიდან შედარებით იაფი ლექსიკური, ვექტორული ან ჰიბრიდული ძიებით კანდიდატების ფართო სია იქმნება. შემდეგ სია ვიწროვდება და მხოლოდ შერჩეული, სავარაუდო პასუხები გადადის ძვირ, machine learning-ის inference-ზე დაფუძნებულ reranking-ზე. ასე ფართო დაფარვა თავიდანვე მიიღწევა, ძვირი ოპერაციები კი პროცესის ბოლოს მცირდება.

ფანერის დაპროექტება recall-ის, შესაბამისობის, დაყოვნებისა და ხარჯის ბალანსს მოითხოვს. მეტი კანდიდატის მოძიებამ შეიძლება recall გააუმჯობესოს, მაგრამ მეტი შედეგის შეფასებაც საჭიროა, რაც ხარჯსა და დაყოვნებას ზრდის.

სად ჯდება RAG

იგივე ლოგიკა retrieval-augmented generation-საც ეხება. RAG სისტემების ზრდასთან ერთად retrieval-ის როლი იზრდება, რომ სწორი ინფორმაცია მოდელამდე პირველივე ცდაზე მივიდეს. სწორი დოკუმენტების მოძიების შემდეგაც უნდა გადაწყდეს, რომელი პასაჟი დაიკავებს ადგილს კონტექსტის ფანჯარაში. ეტაპობრივი შევიწროება აქაც ეხმარება.

Vespa.ai-ის პროდუქტის მარკეტინგის დირექტორი Bonnie Chase და უფროსი არქიტექტორი Jenny Morris ამ მიდგომას 13 ოქტომბერს პირდაპირ ეთერში გამართულ ვებინარზე წარმოადგენენ: „Why the Best Reranker Can’t Fix Bad Retrieval“. სესიაზე განიხილავენ, რამდენი კანდიდატი უნდა გადავიდეს საფეხურიდან საფეხურზე, როდის საკმარისია ლექსიკური ძიება და როდის მატებს ღირებულებას ვექტორული ან ჰიბრიდული მიდგომა, როგორ გავიგოთ, ნამდვილად აუმჯობესებს თუ არა ძვირი reranking შედეგებს და როგორ ვრცელდება ეს მიდგომა RAG-ის კონტექსტის შერჩევაზე.