Мінімалізм Pi — його перевага: harness із чотирьох інструментів переміг у тесті Databricks за нижчої ціни

Pi від компанії Earendil — навмисно мінімалістичний coding harness із лише чотирма вбудованими інструментами; системний промпт і описи інструментів разом займають менш ніж 1000 токенів. У публікації компанія доводить, що мінімалізм — не обмеження, а джерело переваг Pi у витратах і продуктивності.

Databricks: вибір harness впливає і на витрати

Databricks опублікувала бенчмарк кодувальних агентів на своїй кодовій базі завбільшки мільйони рядків, складений із задач, які її інженери виконують регулярно, а не з переповнених публічних тестів. За спостереженням компанії, harness, з якого викликають модель, різко впливає на вартість і якість, а в багатьох випадках прості harness, як-от Pi, показали найкращі результати на її навантаженнях.

З Opus 4.8 у режимі високого зусилля міркування Pi мав найвищий загальний pass-rate за суттєво нижчої вартості задачі, ніж Claude Code і Codex. Databricks також зафіксувала, що та сама модель із тим самим рівнем зусиль у різних harness могла відрізнятися за вартістю задачі більш ніж удвічі при незмінній якості, а Pi надсилав приблизно втричі менше контексту за хід і завершував задачі за меншу кількість запусків.

Shopify створив Autoresearch як розширення

Девід Кортес із Shopify Engineering створив pi-autoresearch — автономний цикл оптимізації — прямо як розширення Pi, просто попросивши Pi його збудувати. Розширення виконує експерименти, визначаючи, що працює, а що дає регресії, відкидає невдалі зміни й продовжує покращення, доки ціль вимірювана. Shopify повідомила про результати: юніт-тести швидші у 300 разів, монтування React-компонентів — на 20% швидше, скорочення часу збірки в кількох проєктах і покращення продуктивності pnpm.

Earendil наголошує: жоден із цих інструментів не входить до Pi. Harness залишається малим, а користувачі додають потрібне самі.

Чому мінімалізм виграє саме тепер

Ще рік тому нативні harness могли претендувати на структурну перевагу, бо моделі створювали під них. Earendil каже, що цей аргумент послабився: сучасні моделі добре орієнтуються в термінальному середовищі, а скорочення системного промпту Claude Code на 80% з боку Anthropic — ознака тієї ж тенденції. Питання тепер не стільки в нативності, скільки в тому, як harness працює з контекстом без надлишковості.

Контекстна дисципліна Pi особливо цінна для локальних моделей із меншим вікном контексту й довгим prefill: стабільний префікс промпту уникає хвилинної повторної обробки. Висновок Earendil — harness, який одночасно дешевший, мінімальний і продуктивніший.