„პატარა მოდელები მოვიდნენ“: იაფი ინფერენსი ცვლის AI პროდუქტების ეკონომიკას

Segment-ის თანადამფუძნებელი კელვინ ფრენჩ-ოუენი 26 აგვისტოს გამოქვეყნებულ ტექსტში ამტკიცებს, რომ პატარა და სწრაფი ენობრივი მოდელები ჩუმად გახდნენ საკმარისად კარგი რეალური სამუშაოსთვის. მისი მთავარი მაგალითია gpt-5.6-luna, რომელსაც რამდენიმე კვირაა იყენებს: მოდელი წამში დაახლოებით 100 ტოკენს ამუშავებს და თავისუფლად მუშაობს მის კოდბაზაზე, ელფოსტასა და ცოდნის ბაზაზე.

სამომხმარებლო AI-ს ხარჯის ბარიერი

ფრენჩ-ოუენი იხსენებს ინვესტორების ხშირ კითხვას: რატომ არ ჩნდება მეტი სამომხმარებლო AI კომპანია? მისი პასუხი ტოკენების ხარჯია. AI-მდე პერიოდში სამომხმარებლო აპლიკაციების რეცეპტი ასეთი იყო: შექმენი იაფი ვებგვერდი, მოიზიდე მომხმარებლები, მოიზიდე ინვესტიცია და გაიზარდე, შემდეგ ააშენე რეკლამის ბაზარი — დაახლოებით ეს გზა გაიარეს Google-მა, Facebook-მა და Snapchat-მა. AI-ს დამატება ამ არითმეტიკას ცვლის, რადგან ყოველ მოთხოვნას რეალური ინფერენსის ხარჯი აქვს და საჭირო კაპიტალის მოცულობა მკვეთრად იზრდება.

ამას ის პირადი ტესტით აჩვენებს: მოთხოვნა, რომელიც აგენტს სთხოვს, ინტერნეტში მოძებნოს ინფორმაცია კონკრეტულ ადამიანზე, შეარჩიოს მისთვის საინტერესო სიახლეები და ააწყოს პერსონალიზებული მიკრო-საიტი. წინა თაობის მოდელებით, Sonnet-ის კლასიდან, ერთი გაშვება დაახლოებით 1 დოლარი ღირდა, რაც თვეში 30 დოლარიან გამოწერას წამგებიანს ხდიდა. luna-ს შემთხვევაში შედეგი, მისი შეფასებით, საკმაოდ კარგია, საშუალო ხარჯი კი დაახლოებით 0.10 დოლარია. ის ასევე აღნიშნავს, რომ GLM 5.3 ახლა პარეტოს ფრონტზეა და მყიდველს დამატებით არჩევანს აძლევს.

იაფი ტოკენები და სამუშაოს ბუნება

ფრენჩ-ოუენი ამ არგუმენტს ბიზნესზე ავრცელებს. ცოტა ხნის წინ ლაშქრობის დროს მისმა მეგობარმა და Segment-ის თანადამფუძნებელმა პიტერმა ორ სახის სამუშაოზე ისაუბრა: „IQ 180“ სამუშაო, როცა ვინმე ისეთ გადაწყვეტას პოულობს, რომელზეც არავის უფიქრია, და „ტოკენების მფრქვეველი“ სამუშაო — მუდმივად რეაგირება და საქმის ათობით ფრონტზე წინ წაწევა. პიტერმა Charm Industrial-ისთვის 100 მილიონ დოლარზე მეტი მოიზიდა და ცოტა ხნის წინ Revoy-ისთვის Series A დაახურა, თუმცა მისივე შეფასებით, მისი საქმის დაახლოებით 95% მეორე კატეგორიაში ჯდება. კომპანიებში დახარჯული „ადამიანური ტოკენების“ უმეტესობაც ასე გამოიყურება და დაქირავებაც სწორედ ამ ტიპისკენ იხრება.

მისი დასკვნა არ არის, რომ ფრონტის მოდელებმა მნიშვნელობა დაკარგეს. პირიქით, ის ელოდება, რომ მოწინავე შესაძლებლობებზე მოთხოვნა გააგრძელებს ზრდას იმ სფეროებში, სადაც ნამდვილი გარღვევაა საჭირო — ინჟინერია, ფუნდამენტური მეცნიერება, მოდელების შექმნა. თუმცა, მისი აზრით, სწრაფ და იაფ, საკმარისად კარგ მოდელებზე მოთხოვნა ახლა იწყებს ზრდას და ბიზნესში მათი სრულფასოვანი გამოყენებისთვის ჯერ კიდევ საჭიროა ახალი ჰარესები, prompt injection-ისგან დაცვა, როლები და უფლებები.