Pi-nin minimalizmi üstünlükdür: 4 alətli harness Databricks testində daha aşağı xərclə öndə oldu

Earendil şirkətinin Pi-si qəsdən minimalist kodlaşdırma harness-ıdır: kutudan yalnız dörd alət çıxır, sistem təlimatı və alət təsvirləri birlikdə 1000 tokendən azdır. Şirkət yazıda iddia edir ki, minimalizm məhdudiyyət deyil, Pi-nin xərc və məhsuldarlıq üstünlüyünün mənbəyidir.

Databricks: harness seçimi xərci də dəyişir

Databricks milyonlarla sətir kod bazasında kodlaşdırma agentləri üçün benchmark dərc edib; test doymuş vəziyyətə düşmüş açıq ölçmələrə deyil, şirkətin mühəndislərinin müntəzəm yerinə yetirdiyi tapşırıqlara əsaslanır. Şirkətin müşahidəsinə görə, modelin çağırıldığı harness xərcə və keyfiyyətə kəskin təsir edir və bir çox halda Pi kimi sadə harness-lar onun iş yüklərində ən yaxşı nəticə verdi.

Yüksək düşünmə səyi rejimində Opus 4.8 ilə Pi, Claude Code və Codex-ə nisbətən tapşırıq başına xeyli aşağı xərclə ən yüksək ümumi keçmə nisbətini göstərdi. Databricks həmçinin müəyyən edib ki, eyni model eyni düşünmə səyi ilə fərqli harness-larda tapşırıq başına xərci bəzi hallarda iki dəfədən çox dəyişə bilir, keyfiyyət isə eyni qalır; Pi hər mərhələdə təxminən üç dəfə az kontekst göndərir və tapşırıqları daha az işə salma ilə tamamlayırdı.

Shopify Autoresearch-ü uzantı kimi qurdu

Shopify Engineering-dən David Kortes avtonom optimallaşdırma dövranı olan pi-autoresearch-ü birbaşa Pi uzantısı kimi qurdu: sadəcə Pi-dən onu yaratmağı istəməsi kifayət etdi. Uzantı nəyin işlədiyini və nəyin reqressiya yaratdığını tapmaq üçün təcrübələr aparır, reqressiyaları rədd edir və hədəf ölçülə bilən olduqca təkmilləşməyə davam edir. Shopify-ın bildirdiyi nəticələr arasında 300 dəfə sürətlənən unit testlər, React komponentlərinin 20% daha sürətli yüklənməsi, bir neçə layihədə qısalan build müddətləri və pnpm məhsuldarlığında yaxşılaşmalar var.

Earendil vurğulayır ki, bu alətlərin heç biri Pi ilə birlikdə gəlmir. Harness kiçik qalır, istifadəçilər lazım olanı özləri əlavə edir.

Minimalizm niyə məhz indi qazanır

Təxminən bir il əvvəl yerli harness-ların struktur üstünlüyü olduğu iddia edilə bilərdi, çünki modellər onların ətrafında qurulurdu. Earendil-ə görə, qabaqcıl modellər terminal tipli mühitlərdə bacarıqlı olduqca bu arqument zəifləyib; Anthropic-in Claude Code-un sistem təlimatını 80% azaltması da həmin tendensiyanın əlaməti kimi göstərilir. Sual artıq harness-ın nə qədər yerli olmasında deyil, konteksti artıqlıq olmadan necə idarə etməsindədir.

Pi-nin kontekst intizamı xüsusilə yerli modellər üçün dəyərlidir: onların kontekst pəncərələri kiçik, prefill müddətləri uzun olur, sabit təlimat prefiksi isə dəqiqələrlə davam edən təkrar emalın qarşısını alır. Earendil-in nəticəsi: eyni zamanda daha ucuz, minimal və daha məhsuldar harness.