Основи програмної інженерії важливіші, ніж будь-коли

У дописі, опублікованому 15 серпня в його блозі Rhonabwy, розробник і автор Джозеф Гек стверджує: тепер, коли агентні середовища роблять робочий код дешевим, основи програмної інженерії — насамперед те, як система зібрана докупи — важать більше, ніж будь-коли.

Перетин «рубікону можливості»

За словами Гека, агентні середовища перетнули цю межу за останній рік, і поєднання середовища з моделлю справді є потужним інструментом. Найбільш вражаючу роботу, на його думку, роблять не ті, хто голосно пророкує кінець професії, а ті, хто знайшов важіль і шукає точку опори.

Щодо економіки він скептичніший. З усіх звітів, які він бачив, бізнес-моделі великих провайдерів моделей нежиттєздатні, але самі можливості нікуди не зникають — вони стрімко дешевшають. Моделі з відкритими вагами вже роблять потужний персональний комп'ютер цілком здатним на те саме: результат трохи слабший за фронтирні моделі, але різниця в часі та якості невелика.

«Працює» — це лише початок

Гек порівнює це з тим, як у двадцять років навчався зварюванню: він швидко почав робити речі, які не міг ані підняти, ані винести з майстерні. Урок той самий: усе вирішує те, як частини з'єднані між собою. За певної далекоглядності агентні середовища дають код, який не лише «працює», а й «тестується» — автор активно використовує промпт «develop with red/green TDD» — але вище цього рівня майже не піднімаються. Шви програмного забезпечення — те, як працює код, яким є його API і як він стикується з іншими системами — так само мистецтво, як і наука, і спираються на досвід, судження та припущення про те, як із цим кодом житимуть роками.

Де моделі не дотягують

Зробити програму здатною до налагодження, супроводу, розшарування й композиції досі складно, і значна частина цієї роботи потребує тривалого, вдумливого міркування — саме тут сьогоднішні моделі поступаються. LLM не міркують, пише Гек, вони передбачають, а самі моделі — це фактично стиснене людське знання: якщо міркування було в ньому закодоване, модель може його відтворити, але це не те саме, що міркувати. Він посилається на статтю «The Illusion of Thinking» про те, як погано LLM даються міркування, та на дослідження передбачення наслідків дій — моделі JEPA, LeWorld Model, останні виступи Яна Лекуна — як на окремий і захопливий напрям.

Як вичавити більше — і де межа

Способів підвищити ефективність LLM усе ще багато: давати їм добрі, стислі дані в потрібний момент, а також детерміновані інструменти перевірки й відгук природною мовою, за допомогою якого модель виправляє себе. Найбільше його вражає не передбачення тексту, а те, як добре моделі викликають інструменти й виконують інструкції.

У цього є й темний бік. Гек цитує «смертельне тріо» Саймона Віллісона: моделі не розрізняють доброї поради від поганої й принципово не здатні послідовно запобігати prompt injection. Вирівнювання, захисні оболонки та пісочниці додають бар'єрів проти найгіршого, але фундаментальні прогалини залишаються — а щось, що невтомно виконує інструкції без доброго міркування, він називає жахіттям.

Він сподівається на найближчий поступ у post-training і RLHF, який закріпить міркування про чисті інтерфейси, налагоджуваність і супровід.