Kiçik modellər gəldi: ucuz inference AI məhsullarının iqtisadiyyatını dəyişir

26 avqustda dərc olunan yazıda Segment-in həmtəsisçisi Kalvin Frenç-Ouen kiçik və sürətli dil modellərinin səssizcə real iş üçün kifayət qədər yaxşı hala gəldiyini iddia edir. Əsas nümunəsi həftələrdir istifadə etdiyi gpt-5.6-luna-dır: saniyədə təqribən 100 token istehsal edir və onun kod bazasında, e-poçtunda və bilik bazasında rahat işləyir.

İstehlakçı AI üçün xərc maneəsi

Frenç-Ouen investorlardan tez-tez eşitdiyi bir sualı xatırladır: niyə daha çox istehlakçı AI şirkəti yaranmır? Cavabı token xərcləridir. AI-dan əvvəl istehlakçı tətbiqlərinin resepti belə idi: ucuz sayt qur, istifadəçi cəlb et, investisiya toplayıb miqyaslan və sonra reklam bazarı yarat — Google, Facebook və Snapchat təxminən bu yolla getdi. AI əlavə etmək bu arifmetikanı dəyişir, çünki hər sorğu real inference xərci daşıyır və tələb olunan kapital kəskin artır.

Bunu şəxsi testlə göstərir: agentdən internetdə bir şəxsi araşdırmağı, onu maraqlandıra biləcək xəbərləri seçməyi və fərdiləşdirilmiş mikro-sayt qurmağı xahiş edən sorğu. Sonnet sinfindən olan əvvəlki nəsil modellərlə bir icra təqribən 1 dollar başa gəlirdi ki, bu da ayda 30 dollarlıq abunəliyi mənasız edirdi. luna ilə nəticələrin kifayət qədər yaxşı olduğunu və orta xərcin təqribən 0,10 dollar olduğunu bildirir. O, həmçinin qeyd edir ki, GLM 5.3 artıq Pareto sərhədindədir və alıcılara əlavə seçim verir.

Ucuz tokenlər və işin xarakteri

Frenç-Ouen arqumenti biznesə də şamil edir. Keçən günlərdə bir gəzintidə Segment-dəki həmtəsisçisi Piter ona iki iş növündən danışdı: heç kimin düşünmədiyi həlli tapan «IQ 180» işi və «token püskürdən» iş — daim cavab verib onlarla cəbhəni eyni vaxtda irəli aparmaq. Piter Charm Industrial üçün 100 milyon dollardan çox vəsait cəlb edib və yaxınlarda Revoy üçün Series A turunu bağlayıb; buna baxmayaraq, öz təxmininə görə işinin təqribən 95%-i ikinci qrupa düşür. Şirkətlərdə xərclənən «insan tokenlərinin» çoxu da belə görünür və işə qəbul da bu tipə meyllidir.

Onun nəticəsi sərhəd modellərinin əhəmiyyətini itirməsi deyil. O, mühəndislik, fundamental elm və model təlimi kimi həqiqi sıçrayış tələb edən sahələrdə ən yüksək imkanlara tələbin artmağa davam edəcəyini gözləyir. Lakin sürətli, ucuz və kifayət qədər yaxşı modellərə tələbin indi sürətlə artmağa başladığını və biznesdə tam istifadə üçün yeni icra infrastrukturları, prompt injection müdafiəsi, rollar və icazələrin hələ də lazım olduğunu vurğulayır.