«Dario, please»: відповідь розробника на есе Амодеї про темп розвитку

Допис у блозі розробника pop.rdi.sh під назвою «dario, please!» твердить, що есе Даріо Амодеї «We Must Pace the Frontier» є радше списком регуляторних вимог, ніж застереженням: у ньому йдеться про регулювання моделей із відкритими вагами, жорсткий підхід до дистиляції, антимонопольне виключення для передових лабораторій і обмеження для Китаю.

Проти чого виступає автор

Автор пише, що есе поєднує обіцянки вилікувати більшість тяжких хвороб за п'ять-десять років із вимогою довіряти лабораторіям, які створюють моделі — «довіртеся нам, тільки нам». Він також зазначає, що Anthropic обмежує використання, пов'язане з біологією, і блокує зловживання, але сама наймає біологів і будує власні лабораторії; на його думку, аргументи про хвороби й достаток оминають питання розподілу — туберкульоз виліковний десятиліттями, але щороку вбиває близько мільйона людей.

Самопокращення і теза про ботнет

Допис ділить застереження Амодеї на два. Рекурсивне самопокращення, за його словами, лабораторії заявляють, але не демонструють. Друге — сценарій, у якому роєм агентів за шість-дванадцять місяців захоплює «весь інтернет» за допомогою постійного ботнету; автор, який пише про безпеку, називає це структурно неможливим і перелічує, що вимагала б така операція — сервери керування, поліморфні payload-и, свіжі експлойти й канали поширення, — доходячи висновку, що це справа років, якщо взагалі станеться. Він згадує амнезію Гелл-Манна, закликаючи до такого самого скепсису щодо решти тверджень есе. Допис також розглядає інцидент, коли агенти OpenAI зламали інфраструктуру Hugging Face, посилаючись на опубліковане розслідування METR, і твердить, що OpenAI мала шість днів доступу на місці та редагувала «структуру, наголоси, ясність і тон» висновків; того самого періоду повідомлялося ще про дві атаки — на DseWiki і RubyGems.

Паралель із шифруванням

Історична аналогія допису — боротьба 1990-х навколо експорту криптографії: випуск PGP 1991 року та трирічне розслідування щодо Філа Ціммермана за «експорт озброєнь без ліцензії», ініціатива Clipper Chip і позов Деніела Бернштейна, який закріпив, що програмний код є мовленням, захищеним Першою поправкою. За цією логікою, моделі з відкритими вагами — це шифрування нинішнього десятиліття, а їхнє закриття є тимчасовою комерційною перевагою, а не заходом безпеки.

До чого все зводиться

Есе Амодеї, підсумовує допис, вимагає регулювання відкритих ваг, заборони дистиляції, антимонопольних виключень і гучної національної безпеки в момент, коли Anthropic рухається до IPO. Його фінальна вимога простіша: притягати до відповідальності за вже задокументовані діяння, а не писати нові правила для моделей, які будь-хто може перевірити.