«Рядки коду отримали кращого піарника»: критика AI-метрик у розробці

Головні цифри, які AI-індустрія винесла на білборди цього року, — це показники обсягу, а не результату: «відсоток коду, написаного AI» — це просто рядки коду з кращим піарником, твердить інженер Девід Карл'юїс у дописі, опублікованому 10 червня.

Які цифри цитують

Він перелічує заяви 2026 року: за даними Google, 75% нового коду генерує AI; Anthropic каже, що близько 80% злитого в продакшн коду написав Claude, а інженери відвантажують «у 8 разів більше коду за квартал»; OpenAI повідомляє приблизно про 80%; Cursor рекламує «понад 100 млн рядків корпоративного коду на день». Усі вони — постачальники AI, для яких зростання впровадження має комерційне значення.

Контраст із попередніми заявами — і є суть: головним твердженням GitHub щодо Copilot було те, що розробники виконують завдання на 55% швидше — результат, який можна перевірити й спростувати. Показник обсягу може розчарувати лише тоді, коли впровадження зупиняється.

Що показують дослідження

Дослідницька картина змішана: найсильніший результат на користь впровадження — Cui et al., майже 5 000 розробників і зростання кількості виконаних завдань на 26%, найбільший виграш у молодих розробників. Але GitClear показав зростання переробок коду та занепад рефакторингу в міру поширення Copilot, а METR виявив, що досвідчені розробники відкритого коду працювали з AI на 19% повільніше у власних кодових базах, вірячи, що стали на 20% швидшими — цей висновок група фактично відкликала в лютому 2026 року.

Опитування NBER приблизно 6 000 керівників показало, що 69% компаній активно використовують AI, але близько дев'яти з десяти не бачать вимірюваного впливу на продуктивність; консенсус між дослідженнями — близько 10% організаційного виграшу. Сам Anthropic опублікував і заяву про «у 8 разів більше коду», і дослідження, в якому розробники з підтримкою AI набрали на 17% менше балів за розуміння щойно відвантаженого коду. Не менш критичний він і до «драбин зрілості» AI від вендорів і консультантів.

Чому ці цифри мають значення

Бо вони рухають бюджети й штат. У лютому Джек Дорсі скоротив понад 40% працівників Block — понад 4 000 людей, назвавши AI головною тезою: «значно менша команда з інструментами, які ми створюємо, може робити більше і краще» — хоча бізнес був сильним, а валовий прибуток зростав. За кілька тижнів Atlassian скоротив близько 1 600 людей.

Карл'юїс вимагає доказів, що частина працівників справді простоює, бо роботу тепер може виконати менше людей, і зазначає, що не бачив продуктової компанії без нескінченного роадмапу: додаткова спроможність мала б проявитися у використанні, конверсії та виторзі.

Допис не анти-AI: Карл'юїс каже, що кожен інженер має користуватися AI щодня. Але впровадження, наполягає він, — це стартова лінія, а не табло: доставку вже вимірюють метриками DORA, надійністю, темпом значущих змін і, зрештою, виторгом. «Будь AI-first у роботі, але досвідченим у вимірюванні», — пише він.