Pi-ის მინიმალიზმი უპირატესობაა: 4-ინსტრუმენტიანი harness Databricks-ის ტესტში უფრო იაფი აღმოჩნდა

Earendil-ის Pi — მიზანმიმართულად მინიმალისტური კოდირების harness, რომელსაც მხოლოდ ოთხი ჩაშენებული ინსტრუმენტი აქვს, სისტემური პრომპტი კი ინსტრუმენტების აღწერასთან ერთად 1000 ტოკენზე ნაკლებია. კომპანია პოსტში ამტკიცებს, რომ მინიმალიზმი შეზღუდვა არ არის, არამედ Pi-ის დაბალი ხარჯისა და მაღალი წარმადობის წყაროა.

Databricks: harness-ის არჩევანი ხარჯსაც ცვლის

Databricks-მა გამოაქვეყნა კოდირების აგენტების ბენჩმარკი მილიონობით ხაზის კოდურ ბაზაზე, რომელიც მისი ინჟინრების ყოველდღიური ამოცანების მიხედვით შედგა. კომპანიის დაკვირვებით, harness-ს, საიდანაც მოდელი გამოიძახება, მკვეთრად მოქმედებს ხარჯსა და ხარისხზე, და ბევრ შემთხვევაში ისეთი მარტივი harness-ები, როგორიც Pi-ა, მათ სამუშაო დატვირთვებზე საუკეთესო იყო.

Opus 4.8-თან და მაღალი აზროვნების რეჟიმით Pi-მ ყველაზე მაღალი საერთო pass-rate აჩვენა, Claude Code-თან და Codex-თან შედარებით მნიშვნელოვნად ნაკლები ხარჯით. Databricks-მა ასევე დააფიქსირა, რომ ერთი და იგივე მოდელი იმავე ძალისხმევით სხვადასხვა harness-ში 2-ჯერ მეტადაც განსხვავდებოდა ხარჯით თითო ამოცანაზე, ხარისხი კი უცვლელი რჩებოდა. Pi დაახლოებით 3-ჯერ ნაკლებ კონტექსტს აგზავნიდა თითო ტურზე და ამოცანებს ნაკლები გაშვებით ასრულებდა.

Shopify-მ Autoresearch გაფართოების სახით ააშენა

Shopify Engineering-ის ინჟინერმა დევიდ კორტესმა pi-autoresearch — ავტონომიური ოპტიმიზაციის ციკლი — პირდაპირ Pi-ის გაფართოებად ააშენა: უბრალოდ სთხოვა Pi-ს მისი შექმნა. გაფართოება ექსპერიმენტებს ატარებს, ადგენს რა მუშაობს და რა იწვევს რეგრესიას, წარუმატებელ ცვლილებებს აგდებს და გაუმჯობესებას აგრძელებს, სანამ სამიზნე გაზომვადია. Shopify-ის შედეგებში: unit ტესტები 300-ჯერ სწრაფად, React კომპონენტების ჩატვირთვა 20%-ით სწრაფად, build-ის დროის შემცირება რამდენიმე პროექტში და pnpm-ის წარმადობის გაუმჯობესება.

Earendil აღნიშნავს, რომ არცერთი ეს ინსტრუმენტი Pi-სთან ერთად არ მოდის: harness პატარა რჩება და მომხმარებელი თავად ამატებს საჭიროს.

რატომ იმარჯვებს მინიმალიზმი ახლა

წლის წინ ნატიური harness-ების სტრუქტურული უპირატესობა იმით აიხსნებოდა, რომ მოდელები მათზე იყო აგებული. Earendil-ის თქმით, ეს არგუმენტი დასუსტდა, რადგან უახლესი მოდელები ტერმინალის ტიპის გარემოს კარგად ერკვევიან; იმავე ტენდენციის ნიშნად მოჰყავთ ისიც, რომ Anthropic-მა Claude Code-ის სისტემური პრომპტი 80%-ით შეამცირა. კითხვა უფრო იმაზეა, თუ როგორ მართავს harness კონტექსტს გადაჭარბების გარეშე.

Pi-ის კონტექსტის დისციპლინა განსაკუთრებით სასარგებლოა ლოკალური მოდელებისთვის, რომლებსაც ჩვეულებრივ მცირე კონტექსტური ფანჯარა და ხანგრძლივი prefill აქვთ — სტაბილური პრომპტის პრეფიქსი წუთობით ხელახალ დამუშავებას თავიდან ირიდებს. Earendil-ის დასკვნაა: harness, რომელიც ერთდროულად იაფი, მინიმალური და უფრო წარმადია.