Փոքր մոդելները եկան. էժան ինֆերենսը փոխում է AI արտադրանքի տնտեսագիտությունը

Օգոստոսի 26-ին հրապարակված տեքստում Segment-ի համահիմնադիր Քելվին Ֆրենչ-Օուենը պնդում է, որ փոքր ու արագ լեզվական մոդելները լուռ դարձել են բավական լավ իրական աշխատանքի համար։ Նրա գլխավոր օրինակը gpt-5.6-luna-ն է, որն ինքը օգտագործում է արդեն շաբաթներ․ մոդելը վայրկյանում արտադրում է մոտ 100 տոկեն և հանգիստ աշխատում է նրա կոդային բազայում, փոստում և գիտելիքի բազայում։

Սպառողական AI-ի ծախսային պատնեշը

Ֆրենչ-Օուենը մեջբերում է ներդրողների հաճախակի հարցը․ ինչո՞ւ սպառողական AI ընկերություններ ավելի շատ չեն հայտնվում։ Նրա պատասխանը տոկենների ծախսերն են։ AI-ից առաջ սպառողական հավելվածների բաղադրատոմսը սա էր․ ստեղծիր էժան կայք, ներգրավիր օգտատերերի, գումար ներգրավիր ու մասշտաբավորիր, ապա կառուցիր գովազդային շուկա․ մոտավորապես այս ուղին անցան Google-ը, Facebook-ը և Snapchat-ը։ AI-ի ավելացումը փոխում է այդ թվաբանությունը, քանի որ յուրաքանչյուր հարցում իրական ինֆերենսի ծախս է կրում, և անհրաժեշտ կապիտալը կտրուկ աճում է։

Դա ցույց է տալիս անձնական թեստով․ հարցում, որը գործակալից պահանջում է ինտերնետում ուսումնասիրել մարդուն, ընտրել նրան հետաքրքրող լուրերը և հավաքել անհատականացված միկրոկայք։ Նախորդ սերնդի մոդելների՝ Sonnet դասի, դեպքում մեկ գործարկումը արժեր մոտ 1 դոլար, ինչը ամսական 30 դոլարանոց բաժանորդագրությունը դարձնում էր անշահութաբեր։ luna-ի դեպքում արդյունքները, ըստ նրա, բավական լավն են, իսկ միջին ծախսը՝ մոտ 0,10 դոլար։ Նա նաև նշում է, որ GLM 5.3-ն այժմ Պարետոյի ճակատում է՝ գնորդներին ապահովելով ևս մեկ տարբերակ։

Էժան տոկենները և աշխատանքի բնույթը

Ֆրենչ-Օուենը փաստարկը տարածում է բիզնեսի վրա։ Վերջերս զբոսանքի ժամանակ նրա գործընկեր և Segment-ի համահիմնադիր Փիթերը նկարագրեց աշխատանքի երկու տեսակ՝ «IQ 180» աշխատանք, երբ ինչ-որ մեկը գտնում է լուծում, որի մասին ոչ ոք չէր մտածել, և «տոկեն ցողող» աշխատանք՝ անընդհատ արձագանքել և միաժամանակ տասնյակ ուղղություններ առաջ տանել։ Փիթերը Charm Industrial-ի համար ներգրավել է 100 միլիոն դոլարից ավելի և վերջերս փակել է Series A Revoy-ի համար, սակայն իր իսկ գնահատմամբ նրա աշխատանքի մոտ 95%-ը երկրորդ կատեգորիային է պատկանում։ Ընկերություններում ծախսվող «մարդկային տոկենների» մեծ մասն էլ այդպիսին է, և հավաքագրումը նույնպես թեքվում է այդ տիպին։

Նրա եզրակացությունը չէ, որ ֆրոնտի մոդելները կորցնում են նշանակությունը։ Նա ակնկալում է, որ առաջատար հնարավորությունների պահանջարկը կշարունակի աճել այն ոլորտներում, որտեղ իսկական բեկումներ են պետք՝ ինժեներիա, հիմնարար գիտություն, մոդելների մարզում։ Սակայն արագ, էժան և բավական լավ մոդելների պահանջարկը, ըստ նրա, հենց հիմա է սկսում աճել, և բիզնեսում դրանց լիարժեք կիրառման համար դեռ պետք են նոր հարմարանքներ, prompt injection-ից պաշտպանություն, դերեր և թույլտվություններ։