Ավելի լավ reranker է պետք? Սկզբում ստուգեք retrieval-ը

The New Stack-ը սեպտեմբերի 28-ին հրապարակել է Kimberly Fessel-ի վերլուծությունը, որում պնդվում է, որ որոնման արդյունքներից դժգոհ թիմերը սովորաբար անցնում են ավելի մեծ reranking մոդելի՝ առանց ստուգելու, թե արդյոք ճիշտ փաստաթղթերը ընդհանրապես հասնում են թեկնածուների ցանկին։ Vespa.ai-ի աջակցությամբ հրապարակված նյութը մեկ թանկ reranking քայլի փոխարեն առաջարկում է բազմափուլ retrieval-ի ձագար։

Ինչու ավելի լավ reranker-ը չի լուծի խնդիրը

Ըստ Fessel-ի՝ ավելի մեծ reranker-ի մեջ ռեսուրսներ ներդնելը երկու գին ունի։ Առաջինը՝ լայնածավալ reranking-ը արագ թանկանում է և ավելացնում է ուշացումը, քանի որ համակարգը պետք է անցնի թեկնածուների հսկայական կույտով, մինչև վարկանիշ կկազմի։ Երկրորդը՝ reranker-ը չի կարող ցուցադրել ավելի լավ արդյունքներ, որոնք ինքը չի ստացել. եթե retrieval-ի փուլը ճիշտ փաստաթուղթը չի վերադարձրել, ոչ մի վերադասավորում այն հետ չի բերի։

Այդ պատճառով հոդվածը խորհուրդ է տալիս նախ երկու բան ստուգել՝ արդյոք ճիշտ արդյունքները հայտնվում են թեկնածուների ցանկում, և ինչ արժե այդ ցանկի ամբողջ reranking-ը։

Retrieval-ի ձագարը

Մեկ թանկ փուլի փոխարեն նյութը retrieval գործընթացը դիտարկում է որպես ձագար։ Սկզբում մեծ կորպուսից համեմատաբար էժան բառային, վեկտորային կամ հիբրիդ որոնմամբ ստեղծվում է թեկնածուների լայն ցանկ։ Այնուհետև ցանկը նեղացվում է, և միայն ընտրված հավանական պատասխաններն են անցնում machine learning inference-ի վրա հիմնված թանկ reranking-ի։ Լայն ընդգրկումը ձեռք է բերվում սկզբում, իսկ թանկ գործողությունները սահմանափակվում են գործընթացի վերջում։

Ձագարի նախագծումը պահանջում է recall-ի, համապատասխանության, ուշացման և ծախսի հավասարակշռություն։ Ավելի շատ թեկնածուներ գտնելը կարող է բարելավել recall-ը, բայց նշանակում է նաև ավելի շատ արդյունքներ գնահատել և հնարավոր է՝ reranking անել, ինչը բարձրացնում է և՛ ծախսը, և՛ ուշացումը։

Որտեղ է տեղը RAG-ին

Նույն տրամաբանությունը վերաբերում է նաև retrieval-augmented generation-ին։ Քանի որ RAG համակարգերը մեծանում են, retrieval-ն ավելի կարևոր է դառնում ճիշտ տեղեկատվությունը մոդելին հասցնելու համար, և նույնիսկ ճիշտ փաստաթղթերը գտնելուց հետո պետք է որոշել, թե որ հատվածները տեղ կստանան համատեքստի պատուհանում։ Աստիճանական նեղացումը օգնում է նաև այստեղ։

Vespa.ai-ի արտադրանքի մարքեթինգի տնօրեն Bonnie Chase-ը և ավագ լուծումների ճարտարապետ Jenny Morris-ը մոտեցումը կներկայացնեն հոկտեմբերի 13-ին՝ “Why the Best Reranker Can’t Fix Bad Retrieval” ուղիղ վեբինարի ընթացքում։ Քննարկվող հարցերից են՝ քանի թեկնածու տեղափոխել փուլից փուլ, երբ բառային որոնումը բավարար է, երբ վեկտորային կամ հիբրիդ մոտեցումը արժեք է ավելացնում, ինչպես հասկանալ՝ արդյոք թանկ reranking-ը իրոք բարելավում է արդյունքները, և ինչպես է մոտեցումը տարածվում RAG-ի համատեքստի ընտրության վրա։