„BootLoops“: харнес відкритого коду допомагає AI-моделям у точних наукових обчисленнях

Фізик Гарварду Метью Шварц створив харнес відкритого коду BootLoops, який допомагає AI-моделям у виконанні точних наукових обчислень. Проєкт описано у гостьовому пості в блозі Anthropic; сам Шварц наразі є запрошеним дослідником Anthropic. Вихідний код харнесу доступний на GitHub.

За словами Шварца, він відмовився використовувати Claude як людського дослідника і почав шукати «задачі форми Claude», тобто завдання, засновані на сильних сторонах сучасних моделей. Ідея спирається на поняття опуклої оболонки (convex hull): людські знання фрагментарні, окремі галузі розвиваються у різних напрямках, а прогалини між ними залишаються невивченими. BootLoops саме заповнює ці прогалини. Результати часто стають цінними лише тоді, коли до справи підключаються експерти галузі та задають напрямок.

36 рукописів у 18 галузях

За три місяці Шварц і 19 співавторів підготували 36 рукописів у 18 галузях. Все почалося з фізики частинок: за кілька тижнів Claude за допомогою BootLoops обчислив 30 інтегралів, 15 з яких повторювали відомі результати, а 15 були обчислені вперше.

У екології модель розв'язала 20-річну проблему нейтральної теорії біорізноманіття, масштабне обчислення якої досі вважалося неможливим. На даних острова Barro Colorado вона показує, що склад видів дерев змінюється в 4,5 рази швидше, ніж передбачає теорія. Разом з екологом Джеймсом О'Дуайєром відкриття перетворилося на прогнозну модель. У популяційній генетиці команда проаналізувала 5,7 мільярда пар мутацій проєкту 1000 Genomes Project і знайшла підтвердження механізму генної конверсії.

Серед інших проєктів — AI-редактор для економічних журналів, який перевірив 4452 пакети реплікацій, і база даних стресу 6072 мов разом із трьома мовознавцями.

Обмеження та застереження

Шварц застерігає, що моделі передчасно оголошують перемогу: фраза „done, with one asterisk“ часто означає, що робота взагалі не завершена. Вони погано оцінюють тривалість завдання та часто обирають brute-force обчислення замість більш елегантного рішення. Автоматичні перевірки ненадійні, а висновки можуть бути помилковими навіть тоді, коли самі обчислення правильні. Моделі схиляються до старих, багато разів процитованих дебатів і рідше шукають справді нові питання; до того ж проєкти виявилися дорогими за обчислювальними ресурсами та токенами.

Що це змінює у науці

На думку Шварца, AI настільки змінює темп наукової роботи, що попереднє планування стає майже неможливим: трирічний грант безглуздий, якщо модель може розв'язати те саме обчислення за одну ніч. Відкритим питанням залишається і модель підготовки аспірантів. Його ж словами, два роки тому курс Python для інженерів був «обов'язковим», а сьогодні — зайвим. Незважаючи на це, Шварц переконаний, що науковий метод не змінюється і людське керівництво залишається незмінним.