Фронтирний ШІ на власному обладнанні: тиждень відкритого коду dlab

В аудиторії зі 150 студентів Тім Деттмерс поставив запитання, якого, за його словами, боявся: хто боїться не знайти роботу після випуску? Руки підняли близько 80 відсотків. У дописі від 21 вересня він доводить, що страх спирається на хибне припущення — нібито майбутнє досліджень належить тому, у кого найбільше GPU.

Одиниця дослідження — більше не стаття

Процеси на основі агентів зробили окремі проєкти швидкими, пише Деттмерс: те, що вимагало року інженерії, тепер займає тижні, іноді дні. Коли кожен проєкт дешевшає, розрізнені статті перестають бути хорошою наукою. «Одиниця дослідження — це екосистема», — пише він; лабораторія тепер випускає два відкриті проєкти та чотири статті одним пакетом — тиждень відкритого коду dlab.

Фронтирні моделі на звичайному обладнанні

Агента націлили на реалізації Mac і Metal для фреймворку лабораторії й залишили самого оптимізувати ядра. Результат — квантований inference моделі Qwen 3.6 35B-A3B на 450 токенів за секунду за 1,5 біта на вагу: приблизно вдесятеро менше пам'яті, ніж потрібно моделі напівточності.

Більші моделі теж уміщуються: Qwen 3.8 Flash Next зі 125 мільярдами параметрів працює на одній 24-гігабайтній GPU; з AMD Strix, NVIDIA DGX Spark або 128 ГБ MacBook фреймворк запускає DeepSeek V4.1, модель на 550 мільярдів параметрів. Обробка контексту автоматична, а inference залишається швидким і на довгих контекстах.

Автономні дослідження локально

Ті самі компоненти об'єднали в систему автономних досліджень, що працює цілком локально, без інтернету. За словами Деттмерса, вона перевершує deep research системи фронтирних лабораторій, систему Sakana AI і Google ScientistOne. У біоінформатичному експерименті агент мав знайти дешеву задачу; він повернув три кандидати, а за дві години встановив нову нижню межу для евристичних методів, перевірив найкращий такий метод із літератури й знайшов проблеми в джерелах даних для оцінювання — хоча стану мистецтва не досяг.

Довгі сесії підтримує техніка авто-компакції CliffCompaction, яка, за словами Деттмерса, значно потужніша за авто-компакцію в Claude Code чи Codex. Сесії тривають мільйони токенів, деякі — понад сто мільйонів, а витрати падають приблизно на 50 відсотків; один партнер заміряв скорочення всього бюджету на ШІ на 45 відсотків. На KernelBench вона сягає стану мистецтва, випереджаючи підходи в стилі AlphaEvolve та системи ієрархічної пам'яті.

Ренесанс в академії

Деттмерс твердить, що простір задач, дешевих у нападі й цінних у розв'язанні, величезний і неконкурентний, бо гравці з великими ресурсами змагаються за масштаб. Він готує чотиритижневий курс у CMU та повний курс наступного семестру, щоб викласти матеріал на YouTube.