צריך reranker טוב יותר? קודם בדקו את ה-retrieval

The New Stack פרסם ב-28 בספטמבר ניתוח מאת Kimberly Fessel שלפיו צוותים שאינם מרוצים מתוצאות החיפוש נוטים לעבור ל-reranker גדול וחזק יותר לפני שבדקו אם המסמכים הנכונים בכלל מגיעים למאגר המועמדים. הניתוח, שפורסם בתמיכת Vespa.ai, מציע משפך retrieval רב-שלבי במקום שלב reranking אחד ויקר.

שתי סיבות לכך ש-reranker טוב יותר לא יפתור את הבעיה

לדברי Fessel, להשקעה ב-reranker גדול יותר יש שני מחירים. הראשון: reranking בהיקף גדול מתייקר במהירות ומוסיף השהיה, משום שהמערכת נדרשת לעבור על ערימה עצומה של מועמדים לפני שהיא מפיקה דירוג. השני: reranker אינו יכול להציג תוצאות טובות שלא קיבל, ואם שלב ה-retrieval לא החזיר את המסמך הנכון, שום סידור מחדש לא יחזיר אותו.

לכן המאמר ממליץ לבדוק שני דברים תחילה: אם התוצאות הנכונות אכן נכנסות למאגר המועמדים, וכמה עולה לבצע reranking לכל המאגר.

משפך ה-retrieval

במקום שלב אחד יקר, המאמר מציע להתייחס ל-retrieval כמשפך. בשלב הראשון בונים מאגר מועמדים רחב מקורפוס גדול באמצעות חיפוש לקסיקלי, וקטורי או היברידי זול יחסית. לאחר מכן מצמצמים את המאגר, ורק קבוצה נבחרת של תשובות סבירות עוברת ל-reranking יקר המבוסס על machine learning inference. כך משיגים כיסוי רחב בשלב מוקדם ומגבילים פעולות יקרות לשלב מאוחר.

תכנון המשפך מחייב איזון בין recall, רלוונטיות, השהיה ועלות. שליפת מועמדים רבים יותר עשויה לשפר את ה-recall, אך משמעה גם יותר תוצאות להעריך ואולי לבצע להן reranking, מה שמעלה הן את העלות והן את ההשהיה.

איפה נכנס ה-RAG

אותו היגיון חל גם על retrieval-augmented generation. ככל שמערכות RAG גדלות, ל-retrieval יש משקל גדול יותר בהבאת המידע הנכון למודל, וגם לאחר שהמסמכים הנכונים נמצאו יש להחליט אילו קטעים יקבלו מקום בחלון ההקשר. צמצום מדורג עוזר גם כאן.

Bonnie Chase, מנהלת שיווק מוצרים ב-Vespa.ai, ו-Jenny Morris, ארכיטקטית פתרונות בכירה, יציגו את הגישה בווובינר חי בשם “Why the Best Reranker Can’t Fix Bad Retrieval” ב-13 באוקטובר. בין הנושאים: כמה מועמדים להעביר משלב לשלב, מתי חיפוש לקסיקלי מספיק, מתי וקטורים או חיפוש היברידי מוסיפים ערך, כיצד לדעת אם reranking יקר אכן משפר את התוצאות, וכיצד הגישה חלה על בחירת הקשר ל-RAG.