რატომ ამბობს Featherless, რომ პიცის მისატანად ტანკი არ არის საჭირო

ინფერენსის სერვისების პროვაიდერმა Featherless-მა ღია კოდის ბიბლიოთეკა Simple Jev გამოუშვა. ის ღია მოდელებს სწრაფ კლასიფიკატორებად აქცევს, რომლებსაც შემავალი მონაცემების კატეგორიებში გადანაწილება მაგალითების გარეშე შეუძლიათ.

Simple Jev ეფუძნება ამ თვეში TypeSafe-ის მიერ გამოშვებულ Jev-ს, დახურული კოდის ტექსტურ სისტემას, და სტრუქტურირებული გადაწყვეტილების ფუნქციას ღია მოდელებზეც ავრცელებს. აპლიკაციებს შეუძლიათ შემავალი მონაცემები შეაფასონ და დაუბრუნონ კატეგორია ან ორიდან ერთი არჩევანი, საუბრის ტექსტის გენერირების გარეშე.

პიცის მისატანად ტანკი არ არის საჭირო

Featherless-ის აღმასრულებელი დირექტორის Eugene Cheah-ის თქმით, ისეთი ჩვეულებრივი ამოცანისთვის, როგორიც მომხმარებლის მოთხოვნის კლასიფიკაციაა, ფრონტირული მოდელის გამოყენება „პიცის მისატანად ტანკის გაგზავნას“ ჰგავს: ინსტრუმენტები ზედმეტია.

„პიცის ტანკი მაინც მიაღწევს ადგილზე, მაგრამ ნელია, ძვირია და არასწორი სატრანსპორტო საშუალებაა“, ამბობს ის. „ბიზნესს სჭირდება სწრაფი რეაქცია და ეს სხვა ტიპის AI-ა, რომელსაც ინდუსტრია დიდხანს უგულებელყოფდა“.

Cheah აღიარებს, რომ დიდ დახურულ მოდელებს ამ ამოცანების შესრულება შეუძლიათ, თუმცა მიიჩნევს, რომ ისინი ამ საქმისთვის არასწორი ინსტრუმენტია: ისინი პასუხს ტექსტის გენერირებით, ტრილიონობით პარამეტრის მქონე LLM-ების მეშვეობით აღწევენ და ამას ფრონტირული ფასი აქვს. Simple Jev პასუხს არ „წერს“: ის მოდელს იმ ადგილას აჩერებს, სადაც არჩევანს აკეთებდა, თითოეული ვარიანტის ქულას კითხულობს და ალბათობებს გამოაქვს.

სურათებით მუშაობა ჯერ მხოლოდ Gemma-სა და Qwen-ის მოდელებზეა.

რა არის კლასიფიკატორი, რომელსაც მაგალითები არ სჭირდება

ასეთი სისტემები წინასწარ გაწვრთნილ ენობრივ მოდელებს იყენებენ, რომ შემავალი მონაცემები ისეთ კატეგორიებში გადაანაწილონ, რომლებზეც ცალკე არ გაწვრთნილან. Cheah-ის თქმით, კლასიფიკატორები სიახლე არ არის, უნივერსიტეტებში ამას ChatGPT-ის გამოჩენამდე ასწავლიდნენ; ახალი კი კარგად შემუშავებული zero-shot API-ა.

მისივე აზრით, ნებისმიერ AI/ML-ის კურსდამთავრებულს Simple Jev-ის გამეორება ერთი წინადადებით შეუძლია, კოდი კი GitHub-ზე გამოქვეყნდა, ამიტომ ის ასობით ღია Jev-კლონს ელოდება.

ფასები და ღია მოდელების არგუმენტი

Featherless უფასო საჯარო ენდპოინტებსაც ხსნის, რომ დეველოპერებმა კლასიფიკაციის მოდელები API-გასაღების გარეშე გამოსცადონ; დემო შემოიფარგლება 2 000 ტოკენის კონტექსტით და წამში ორი მოთხოვნით. წარმოებისთვის ფასი მილიონ შემავალ ტოკენზე 0,03 დოლარიდან იწყება, გამომავალი ტოკენები უფასოა; TypeSafe-ის Jev-ის ფასი 0,042 დოლარია.

Cheah-ის შეფასებით, სურათის ან ტექსტის აბზაცის კლასიფიკაცია 500-დან 1 200 ტოკენს მოიხმარს, ანუ მილიონ ტოკენზე 0,03 დოლარის ფასით ერთი გადაწყვეტილება დაახლოებით სამ მეათასედ ცენტს ჯდება. Featherless მოუწოდებს ინდუსტრიას, უარი თქვას „მონოლითურ უნივერსალურ მოდელებზე“.

კომპანია ამ ნაბიჯს უფრო ფართო კონტექსტში ათავსებს: OpenAI-მა CLIP 2021 წლის დასაწყისში წარადგინა, Microsoft-ის Florence-2 კი 2024 წლის ზაფხულში. Simple Jev GitHub-ზეა ხელმისაწვდომი.