OpenAI-ը բարելավել է GPT-6-ի հուշումների քեշավորումը

OpenAI-ը հրապարակել է GPT-6-ի համար բարելավված հուշումների քեշավորման համակարգի մանրամասները։ Ընկերության խոսքով՝ այն լռելյայն բարձրացնում է քեշի հարվածների ցուցանիշը և մշակողներին տալիս մինչև 90 տոկոս զեղչ քեշավորված մուտքային թոքենների վրա։ Թարմացումը հրապարակվել է սեպտեմբերի 22-ին։

Քեշավորումը հատկապես կարևոր է գործակալների համար, որոնք ժամերով աշխատում են բարդ խնդիրների վրա՝ կոդի վերակառուցումից մինչև հետազոտական փաստաթղթեր։ Նման հավելվածները ուղարկում են հարցումների երկար շղթաներ՝ նույն հրահանգներով, գործիքների սահմանումներով ու նախկին համատեքստով, ուստի հաշվարկների կրկնակի օգտագործումը նվազեցնում է ուշացումն ու ծախսերը։

Ավելի բարձր հարվածների ցուցանիշ

GPT-6-ի հետ համապատասխան ընդհանուր նախածանցները զեղչ են ստանում, եթե դրանք կրկին օգտագործվում են 30 րոպեի պատուհանում։ Համակարգը ավտոմատ է, սակայն ընկերությունը ավելացրել է գործիքներ, որոնք թիմերին թույլ են տալիս չափել, թե ինչն է իրականում կրկին օգտագործվում։

Նոր Prompt Caching Dashboard-ը ցույց է տալիս, թե հավելվածի մուտքային տվյալների որ մասն է գալիս քեշից, հետևում ցուցանիշին ժամանակի ընթացքում և համեմատում քեշավորված ու չքեշավորված թոքենները։ Անսպասելի բացթողման դեպքում ախտորոշման գործիքը հարցումը համեմատում է վերջին պատասխանի հետ, նշում պատճառը՝ փոփոխված մոդել, գործիքների հավաքածու, կարգավորում կամ մուտքային տվյալ, և գնահատում տուժած թոքենները։ OpenAI-ի օրինակում tools_changed-ը 5,629 կրկին օգտագործելի թոքեն թողեց չօգտագործված։

Կառավարման գործիքներ մշակողների համար

Հստակ քեշի կետերը թույլ են տալիս ընտրել, թե որ նախածանցները կրկին օգտագործել. OpenAI-ը թարմացրել է նաև ուղեցույցը։ GPT-6 մոդելներում մտքի ջանքի մակարդակը կարելի է փոխել պատասխանների միջև՝ ավելացնելով configuration_update. հարցման մակարդակի կարգավորումը մնում է անփոփոխ, և քեշը չի խախտվում։

OpenAI-ը խորհուրդ է տալիս գործիքների սահմանումները, սխեմաները և հերթականությունը պահել կայուն. բացեք միայն անհրաժեշտ գործիքները allowed_tools-ով կամ tool_choice-ը դարձրեք none՝ սահմանումները ջնջելու փոխարեն։ Նոր հրահանգները ավելացվում են համատեքստի վերջում՝ developer հաղորդագրություններով, իսկ հայտնի համատեքստը կարելի է նախապես տաքացնել։

Ինչ են հայտնում հաճախորդները

GitHub Copilot-ի արտադրանքի ղեկավար Մարիո Ռոդրիգեսը հայտնել է, որ քեշավորումը միլիարդավոր հարցումներում ավելի քան 50 տոկոսով կրճատել է զրոյից մշակման կարիք ունեցող հուշում-թոքենների մասնաբաժինը։ Strawberry Browser-ի տեխնիկական տնօրեն Արիան Հանիֆին հայտնում է 20 տոկոսով ցածր ծախսերի և զրույցների ճյուղավորման տնտեսական օգուտի մասին։ Manus-ը մեկ շաբաթից էլ քիչ ժամանակում մոտ 85-ից հասել է կայուն 90 տոկոսից բարձր, իսկ Wordsmith-ը՝ 83-ից 91 տոկոսի՝ երկու երրորդով կրճատելով քեշի գրառումները և 36 տոկոսով՝ ինֆերենսի ծախսերը։