Pi-ի մինիմալիզմը առավելություն է. 4 գործիքով harness-ը Databricks-ի թեստում ավելի էժան գնով առաջ անցավ

Earendil ընկերության Pi-ն դիտավորյալ մինիմալիստական կոդավորման harness է՝ ընդամենը չորս ներկառուցված գործիքով, իսկ համակարգի հրահանգը գործիքների նկարագրությունների հետ միասին 1000 տոկենից պակաս է։ Ընկերությունը գրառման մեջ պնդում է, որ մինիմալիզմը սահմանափակում չէ, այլ Pi-ի ծախսային և արդյունավետության առավելության աղբյուրը։

Databricks. harness-ի ընտրությունը փոխում է նաև ծախսը

Databricks-ը հրապարակել է կոդավորման գործակալների բենչմարկ միլիոնավոր տողեր պարունակող կոդային բազայում, որը կազմվել է ընկերության ինժեներների սովորական առաջադրանքներից, այլ ոչ թե գերհագեցած հանրային թեստերից։ Ընկերության դիտարկմամբ՝ harness-ը, որտեղից կանչվում է մոդելը, կտրուկ ազդում է ծախսի և որակի վրա, և շատ դեպքերում Pi-ի նման պարզ harness-ները նրա ծանրաբեռնվածության վրա լավագույն արդյունքը տվեցին։

Opus 4.8-ի հետ բարձր մտածողության ռեժիմում Pi-ն գրանցեց ամենաբարձր ընդհանուր հաջողության ցուցանիշը՝ Claude Code-ի և Codex-ի համեմատ էականորեն ցածր ծախսով մեկ առաջադրանքի համար։ Databricks-ը նաև արձանագրել է, որ նույն մոդելը նույն ջանքով տարբեր harness-ներում կարող էր ավելի քան երկու անգամ տարբերվել մեկ առաջադրանքի ծախսով, մինչ որակը մնում էր նույնը, և որ Pi-ն մոտ երեք անգամ պակաս համատեքստ էր ուղարկում յուրաքանչյուր փուլում՝ ավարտելով առաջադրանքները ավելի քիչ գործարկումներով։

Shopify-ն Autoresearch-ը կառուցեց որպես ընդլայնում

Shopify Engineering-ի Դեյվիդ Կորտեսը pi-autoresearch-ը՝ ինքնավար օպտիմալացման ցիկլը, կառուցել է ուղղակիորեն որպես Pi-ի ընդլայնում՝ պարզապես խնդրելով Pi-ին ստեղծել այն։ Ընդլայնումը փորձարկումներ է անցկացնում՝ պարզելու, թե ինչն է աշխատում և ինչն է ռեգրեսիա առաջացնում, դեն նետում ռեգրեսիաները և շարունակում բարելավվել, քանի դեռ նպատակը չափելի է։ Shopify-ի հաղորդած արդյունքներից են՝ unit թեստերը 300 անգամ արագ, React կոմպոնենտների mount-ը՝ 20%-ով արագ, build-ի ժամանակի կրճատում մի քանի նախագծերում և pnpm-ի արդյունավետության բարելավում։

Earendil-ը նշում է, որ այս գործիքներից ոչ մեկը Pi-ի հետ չի մատակարարվում։ Harness-ը մնում է փոքր, իսկ օգտատերերն ինքնուրույն ավելացնում են անհրաժեշտը։

Ինչու մինիմալիզմը հաղթում է հենց հիմա

Մոտ մեկ տարի առաջ բնիկ harness-ները կարող էին հավակնել կառուցվածքային առավելության, քանի որ մոդելները կառուցվում էին դրանց շուրջ։ Earendil-ի խոսքով՝ այդ փաստարկը թուլացել է, քանի որ առաջատար մոդելները լավ տիրապետում են տերմինալային միջավայրին. նույն միտումի նշան է նաև Anthropic-ի կողմից Claude Code-ի համակարգային հրահանգի 80%-ով կրճատումը։ Հարցն այլևս այն չէ, թե որքան բնիկ է harness-ը, այլ թե ինչպես է այն կառավարում համատեքստը առանց ավելորդության։

Pi-ի համատեքստային կարգապահությունը հատկապես արժեքավոր է լոկալ մոդելների համար, որոնք սովորաբար ունեն ավելի փոքր համատեքստային պատուհան և երկար prefill. կայուն հրահանգի նախածանցը խուսափում է րոպեներ տևող կրկնակի մշակումից։ Earendil-ի եզրակացությունը՝ harness, որը միաժամանակ ավելի էժան է, մինիմալ ու ավելի արդյունավետ։