RAG უფრო მარტივია, ვიდრე გგონიათ: ექვსი არქიტექტურა ზედმეტი გართულების გარეშე

რატომ ართულებენ გუნდები ძებნას

Lighthouse Newsletter-ის ავტორის დაკვირვებით, retrieval-augmented generation (RAG) სისტემების უმეტესობა პირდაპირ embeddings-ზე, ვექტორულ ბაზებსა და reranking-ის პაიპლაინებზე გადადის, მაშინ როცა მომხმარებელს უბრალოდ ის დოკუმენტი სჭირდება, სადაც წერია, როგორ შეიცვალოს პაროლი. საინჟინრო პრაქტიკაში ყოველ ამოცანას თავისი ინსტრუმენტი აქვს და ძებნის სისტემებიც გამონაკლისი არ არის.

არქიტექტურის არჩევამდე ხუთი ფაქტორი უნდა გავითვალისწინოთ: რამდენად ახალი უნდა იყოს მონაცემები, რა ზომის და რამდენად ცვალებადია კორპუსი, როგორი შეკითხვები მოდის, რა მოცულობაა მოსალოდნელი და რა გამოცდილება აქვს გუნდს მანქანურ სწავლებაში.

ექვსი რეცეპტი — მინიმალურიდან რთულისკენ

პირველი რეცეპტი ჩვეულებრივი სრულტექსტური ძებნაა: BM25, Elasticsearch ან PostgreSQL-ის ჩაშენებული ძებნა. მოთხოვნა არაფერი ღირს, პასუხი ათ მილიწამზე ნაკლებ დროში მოდის, მოდელის მოძველება ვერაფერს გააფუჭებს და არც chunking-ის სტრატეგია გჭირდებათ, არც შეფასების ნაკრები. სამაგიეროდ, სინონიმებს ვერ იჭერს და საუბრისეულ კითხვებს ვერ პასუხობს.

მეორე რეცეპტი აგენტური გადაფორმულებაა: ენობრივი მოდელი არეულ კითხვას სუფთა საკვანძო სიტყვებად აქცევს, ზედმეტ სიტყვებს ამოაგდებს, სინონიმებს ამატებს და რთულ მოთხოვნას ნაწილებად ყოფს. ღირებულება მცირე მოდელის გამოყენებით ერთ მოთხოვნაზე დაახლოებით 0,001 დოლარია, ხოლო გაუმჯობესება პრომპტის რედაქტირებას ნიშნავს და არა მთელი კორპუსის ხელახლა ჩაშენებას.

შემდეგ მოდის ჰიბრიდული ძებნა: BM25 ირჩევს 50-დან 100-მდე კანდიდატს, რომლებსაც embedding-მოდელი ათ საუკეთესომდე ახარისხებს. text-embedding-3-small-ის ფასით (0,02 დოლარი მილიონ ტოკენზე) 50 დოკუმენტის, თითო დაახლოებით 500 ტოკენით, ჩაშენება ერთ მოთხოვნაზე დაახლოებით 0,0005 დოლარია — თვეში დაახლოებით 15 დოლარი ათასი მოთხოვნის შემთხვევაში. ნამდვილი ხარჯი კი დაყოვნებაა: ყოველ მოთხოვნას 200–500 მილიწამი ემატება.

დანარჩენი სამი რეცეპტია ჩაშენება „ფრენის დროს" ხშირად ცვალებადი მონაცემებისთვის, ცხელი და ცივი შრეები, სადაც წინასწარ მხოლოდ იმ 20 პროცენტს ჩაშენებენ, რომელიც ტრაფიკის 80 პროცენტს იღებს, და სრული წინასწარი ჩაშენება დიდი, სტაბილური კორპუსისთვის. მილიონი დოკუმენტის სრული ჩაშენება დაახლოებით 10 დოლარი ღირს, საცავი კი თვეში 10–30 დოლარი; თუმცა მოდელის შეცვლა მოგვიანებით 10 000 დოლარია, თუ ყველაფერი წინასწარ არის ჩაშენებული, 2 000 დოლარი — ცხელი შრის შემთხვევაში და ნული — „ფრენის დროს" მიდგომით.

კითხვები რამდენიმე განზრახვით

რეალური მომხმარებლები კომპოზიტურ კითხვებს სვამენ — მაგალითად, CSV ფაილის წაკითხვა, გამოტოვებული მონაცემების გასუფთავება და შედეგის გრაფიკად ჩვენება; ეს სამი დამოუკიდებელი განზრახვაა. Perplexity-ის მსგავსი სისტემები მათ ნაწილებად ყოფენ, თითოეულ ქვეკითხვას ყველაზე იაფ, საკმარის მეთოდს უგზავნიან და ერთ პასუხად აერთიანებენ. ავტორის გათვლებით ეს ერთ მოთხოვნაზე 0,002 დოლარია, დაშლის გარეშე კი — 0,03 დოლარი.

დასკვნა

ავტორის პრაქტიკული წესი ასეთია: სისტემების დაახლოებით 60 პროცენტმა სრულტექსტურ ძებნასა და კითხვის გადაფორმებაზე უნდა გაჩერდეს, 25 პროცენტს ჰიბრიდული მიდგომა სჭირდება, და მხოლოდ 10 პროცენტი იმსახურებს სრულ წინასწარ ჩაშენებას. დაიწყეთ უმარტივესით, ორიდან ოთხ კვირამდე გაზომეთ საკუთარი ძებნის ხარისხი და სიაში ქვემოთ მხოლოდ მაშინ ჩამოდით, როცა მონაცემები ამას მოითხოვს.