Fireworks AI-ի փոխնախագահը ասում է՝ սեփական AI-ը կարող է վատնել GPU ծախսերը

Fireworks AI-ն աջակցում է սեփական կենտրոնում AI գործարկմանը, բայց փոխնախագահ Ռոբ Ֆերգյուսոնը պնդում է, որ շատ ընկերություններ պետք է խուսափեն մոդելները սեփական տվյալների կենտրոններում գործարկելուց, քանի որ GPU սարքավորումը թանկ է և անգործ մնալիս ծախսատար է։ Կառավարվող եզրակացման մատակարարը նաև ասում է, որ առաջադրանքների վերաուղղորդումը մոդելների շարքով, քեշավորումը, տվյալների մշակումը և արագությունը կարող են փոխել AI աշխատանքի իրական արժեքը։

Սեփական կենտրոնում AI-ը և GPU տնտեսությունը

Ֆերգյուսոնը The Register-ին ասել է, որ Fireworks AI-ն փորձում է հաճախորդներին հեռացնել սեփական կենտրոնում AI-ից, քանի որ դա պարզապես տնտեսություն է։ Նա ասել է, որ 10,000 GPU-ն ներկայացնում է մեկ միլիարդ դոլարի կապիտալ և որ ընկերությունները չեն ուզում, որ այդ համակարգերը անգործ մնան։ Զգայուն աշխատանքների համար Fireworks-ը առաջարկում է Sovereign կոչվող ծառայություն և ունի գործընկերներ, ինչպիսիք են Microsoft-ը, թեև Ֆերգյուսոնը ասել է, որ եզրակացման աշխատանքների մեծ մասը հավանաբար այդ պաշտպանության մակարդակի կարիքը չունի։

Մոդելների վերաուղղորդում՝ մեկ մոդելի փոխարեն

Ֆերգյուսոնը ասել է, որ լավագույն մոդելը շարք է, այլ ոչ թե մեկ մոդել, ինչպիսիք են Astra-ն կամ Fable-ը, և որ մի քանի մոդելների միջև վերաուղղորդումը ավելի լավ է, քան մեկ մոդելի օգտագործումը միայն։ Fireworks-ը դա անում է Nexus-ի և իր API-ի միջոցով՝ մրցակիցներ Together AI-ի, Baseten-ի և DeepInfra-ի հետ միասին։ Ընկերությունը ասում է, որ չի կատարում պարզունակ վերաուղղորդում, ինչպես AI դարպասը. այն գնահատում է առաջադրանքները ժամանելիս և ուղղորդում դրանք դեպի օպտիմալ մոդել։

Fireworks-ը կառուցում է հատուկ վերաուղղորդիչներ, և դրա ավտոմատ մոդելը շարունակաբար թարմացվում է։ Այն գնահատում է առաջադրանքի դժվարությունը և նշում մոդելների հակումները, օրինակ՝ Kimi-ն փոքր-ինչ ավելի լավ է JavaScript-ում, քան Python-ում։ Ֆերգյուսոնը ընկերության առավելությունը վերագրել է իր ինժեներական թիմին և հիմնադիրների PyTorch-ի վրա աշխատանքին՝ ասելով, որ թիմը հասկանում է թվային հաշվարկները, mixture of experts տոպոլոգիաները, լողացող կետի ճշտությունը և վերաուղղորդումը բարդ ցանցերով, որոնք կարող են ներառել մեկից ավելի մատակարար։

Արժեքը, տվյալները և արագությունը

Ֆերգյուսոնը ասել է, որ AI-ն շարունակաբար վերադառնում է տնտեսությանը՝ ներառյալ թե որքան աշխատանք կարող է գնալ քեշավորված կամ բաց մոդելներին և երբ է պետք մասնագիտացում։ Նա ասել է, որ առաջատար մոդելների ընկերությունները թափանցիկ չեն քեշավորման մակարդակների մասին՝ նշելով տվյալագիտության ընկերություն, որտեղ Fireworks-ը քեշավորել է առաջադրանքների մոտ 90 տոկոսը, իսկ Anthropic-ի Opus-ը՝ 30 տոկոսը։ Նա ասել է, որ AI վերամշակումը ամենամեծ ծախսն է, թոքենների արժեքը իրական ծախսը չէ, և հաճախորդները պետք է հետևեն մեկ առաջադրանքի արժեքին։

Ֆերգյուսոնը նաև ասել է, որ ընկերությունները թերագնահատում են իրենց տվյալների արժեքը։ Fireworks-ը ունի տվյալների պահպանման զրոյական քաղաքականություն, բայց նա ասել է, որ այլ ընկերությունները հաճախ չունեն այն, և հաճախորդները պետք է արժեք ստանան, եթե իրենց տվյալները օգտագործվում են։ Նա ասել է, որ մոդելները հիշողներ են և դրա ապացույցներ կան։ Արագությունը, նա ավելացրել է, թերագնահատված է և փոխում է այն, թե ինչպես է նա աշխատում AI-ի հետ։ Ֆերգյուսոնը պնդել է, որ մոդելների համակցումը կարող է հաշիվը առնվազն 50 տոկոսով փոքրացնել։ Նա ասել է, որ Fireworks-ը ասում է վեցից ութ անգամ ավելի էժան, մինչդեռ երաշխավորում է, որ հաշիվը կկրճատվի կիսով չափ, երբ հաճախորդները դեռ օգտագործում են փակ և բաց մոդելների խառնուրդ։

Աղբյուրներ՝ The Register