Якщо Claude Fable перестане допомагати, ви про це не дізнаєтесь

Один рядок у картці моделі перетворився на дискусію про те, наскільки можна довіряти AI-інструментам для програмування. У документації Anthropic до моделі Fable 5 зазначено, що компанія впровадила втручання, які обмежують ефективність Claude у запитах, спрямованих на розробку фронтирних LLM — зокрема на побудову конвеєрів попереднього навчання, інфраструктури розподіленого тренування чи проєктування ML-прискорювачів.

Картка моделі зауважує, що використання Claude для створення конкурентних моделей уже порушує умови обслуговування Anthropic. Застосування обмеження через захисні механізми, як стверджується, не дає прискорювати тих, хто найбільше готовий ці умови порушувати. На відміну від втручань для кібербезпеки, біології та хімії або спроб дистиляції, ці засоби не були б видимі користувачеві, і Fable 5 не перемикався б на іншу модель; ефективність обмежувалася б модифікацією промптів, steering-векторами чи параметрично-ефективним донавчанням.

Складність визначення фронтирної розробки

Заперечення автора стосується радше не мети, а тиші. Картка дає приклади фронтирної AI-розробки, але не проводить чіткої межі, пише він, — у час, коли техніки, колись зарезервовані для AI-лабораторій, стали рутиною для звичайних софтверних компаній. Стартапи тренують моделі ембедингів, будують реранкери, донавчають і розгортають невеликі мовні моделі; навіть власний бутстрап-застосунок автора для подорожей використовує реранкер і алгоритм ембедингів, який він навчив сам.

Розмита межа стає ризиком ланцюга постачання. Якщо Claude дає погану або хибну пораду під час роботи над AI-компонентом, неможливо зрозуміти, чи модель заплуталася, чи задача нерозв'язна, чи тихо спрацювало невидиме політичне обмеження. Anthropic свідомо вирішила не повідомляти користувачам, коли це відбувається. Коли інструмент розробки може перестати оптимізуватися під ваш успіх і не сказати про це, повністю довіряти своїй інфраструктурі неможливо.

Проблема 0,03 відсотка

Anthropic каже, що захисні механізми стосуються лише 0,03 відсотка розробників, і сьогодні це може бути правдою. Але визначення AI-компанії постійно змінюється: п'ять років тому створити стартап означало переважно писати API та SQL-запити, а сьогодні це часто тренування, налаштування й розгортання моделей. П'ять років тому моделі на кшталт CLIP були фронтирними дослідницькими проєктами; тепер автор донавчає їх для бутстрап-стартапу в подорожах.

Anthropic відкочує політику

Пізніше допис оновили: за даними Wired, Anthropic відкотила політику після обурення розробників. Компанія тепер каже, що захисні механізми для розробки фронтирних LLM будуть видимі користувачам, а не тихо погіршуватимуть модель.

Епізод усе ж відображає питання, яке дедалі важче оминути. Чим більше продуктів містять моделі, навчені самими виробниками, тим більше межа між звичайною софтверною командою та AI-лабораторією — і між рутинною порадою та забороненою темою — стає рішенням, яке постачальники інструментів ухвалюють мовчки.