ტოკენიზატორის გადასახადი: რატომ იხდიან არაინგლისურენოვანი AI მომხმარებლები ტოკენებში მეტს

Coalition for Language Equity in AI Research-ის კვლევამ აჩვენა, რომ AI მოდელებს ზოგიერთ ენაზე გაცილებით მეტი ტოკენი შეიძლება დასჭირდეს. მკვლევარები ამას „ფარულ ტოკენიზატორის გადასახადს“ უწოდებენ: AI უფრო ძვირი ხდება ნაკლებად გავრცელებული ენების მომხმარებლებისთვის, განსაკუთრებით ინტერნეტში მცირე წარმომადგენლობისას. ტოკენები ტექსტისა თუ მონაცემების ერთეულებია, რომლებსაც AI მოდელები ამუშავებენ.

როგორ იცვლება ტოკენების რაოდენობა ენების მიხედვით

ტოკენიზატორები საწყის ტექსტს, სურათებს ან აუდიოს ტოკენებად ყოფენ. ინგლისური წინადადება ამოსაცნობ სიტყვებად დაიყო, მალაიალამურად იგივე წინადადება კი თითო სიტყვაზე რამდენიმე ფრაგმენტად, მრავალბაიტიანი სიმბოლოების გათვალისწინების გარეშე. ინტერნეტის 20 ყველაზე პოპულარულ ენას შორისაც სხვაობაა: ყველაზე ძვირი ყველაზე იაფზე 1,5-ჯერიდან 5-ჯერამდე მეტ ტოკენს იყენებდა. 200 ენამდე გაფართოებისას ერთ AI მოდელში სხვაობა 17-ჯერ გაიზარდა. კვლევის მიხედვით, ბენგალურუს სტარტაპი შეიძლება ყოველ პრომპტსა და პასუხზე დანამატს იხდიდეს, ოსტინში მისი კონკურენტი კი არა.

ფასი ერთადერთი უარყოფითი შედეგი არ არის

კვლევის მიხედვით, მეტი ტოკენი ნიშნავს უფრო მაღალ დაყოვნებას და ეფექტური კონტექსტის ტევადობის შემცირებას. Activate AI-ის თანადამფუძნებელი პრატიუშ ჩოუდჰური ამბობს, რომ არაინგლისურ ენებზე ნაკლები ადგილი რჩება დოკუმენტებისთვის ან საუბრის ისტორიისთვის და პასუხის გენერირებას მეტი მუშაობა სჭირდება. ის ამას ადარებს მასწავლებელს, რომელიც მოსწავლის წინა შეცდომებს იმახსოვრებს: თუ ისტორია ერთ ენაზე კონტექსტს უფრო სწრაფად ხარჯავს, ზარალი სერვისის ხარისხამდეც აღწევს. ყველაზე მძიმედ ეს იმაზე აისახება, სადაც გამოთვლითი რესურსები და კავშირი უკვე შეზღუდულია; ტოკენიზატორების უთანასწორობა ზღუდავს AI-ის ეკონომიკაში მონაწილეობას.

მნიშვნელოვანია დამწერლობა, მონაცემებიც და დიზაინიც

ტოკენების გამოყენებაში მხოლოდ ენის იშვიათობა არ არის განმსაზღვრელი; დამწერლობას დიდი როლი აქვს. ასტურიული, რომელსაც ცოტა მოსაუბრე ჰყავს და Common Crawl-ის მონაცემები არ აქვს, სარგებლობს ლათინური დამწერლობის უპირატესობით და იტალიურის მსგავსი რომანული ენების წარმომადგენლობით. იშვიათი დამწერლობების ენები, მათ შორის ბირმული, ტიბეტური, ტიფინაღი, ქმერული, ლაო და ოლ ჩიკი, ანალიზში თითქმის ყველა მოდელში ყველაზე ცუდად იყვნენ წარმოდგენილი. Maya Research-ის აღმასრულებელი დირექტორის დჰიმანთ რედის თქმით, ბევრი ტოკენიზატორი კვლავ ინგლისურისა და სხვა მაღალრესურსიანი ენებისთვის არაპროპორციულად არის ოპტიმიზებული, ძირეული პრობლემა კი მაღალი ხარისხის ციფრული მონაცემების ნაკლებობაა. Navana.ai-ის თანადამფუძნებელი რაულ ნანავატი მიუთითებს RESPIN-ზე, Indian Institute of Science-თან ინიციატივაზე, რომელიც Gates Foundation-ის დაფინანსებით ხორციელდება და 38 დიალექტის მშობლიური მოსაუბრეების ტექსტსა და წაკითხულ მეტყველებას აგროვებს.

ხარვეზის გამოსწორება

რედიმ გააფრთხილა, რომ მხოლოდ უკეთესი სავარჯიშო მონაცემები ტოკენიზატორის პრობლემას არ აგვარებს. ტოკენების ფასები სწრაფად ეცემა, ამიტომ პირდაპირი ხარჯის გავლენა დროთა განმავლობაში უნდა შესუსტდეს, უკეთესმა მრავალენოვანმა და სინთეტიკურმა მონაცემებმა კი მოდელის ხარისხი უნდა გააუმჯობესოს. თუმცა ტოკენიზაციის ხარვეზის გამოსასწორებლად ლაბორატორიებმა მომავალი ტოკენიზატორები განზრახ უნდა ისე დააპროექტონ, რომ ამ ენებსა და დამწერლობებს უკეთ უმკლავდებოდნენ. ჩოუდჰურის თქმით, ენობრივი ეფექტურობა სიზუსტეს, სიჩქარესა და სანდოობასთან ერთად პროდუქტის მოთხოვნა უნდა იყოს. სრულყოფილი თანასწორობა შეიძლება არარეალური იყოს, მაგრამ დიდი და მუდმივი განსხვავებები განმარტებასა და გაუმჯობესების გეგმას უნდა მოითხოვდეს. მან ლაბორატორიებს სთხოვა, გამოაქვეყნონ ენების მიხედვით შეფასების ბარათი შედარებადი ამოცანების წარმატებით შესრულების ღირებულებით და აიღონ ვალდებულება გაზომვადი გაუმჯობესებების შესრულებაზე ყველაზე ცუდად მომსახურებული ენებისთვის.

წყაროები: Rest Of World · Techmeme