Замедление развития ИИ от Амодеи никогда не говорит об открытых весах

Генеральный директор Anthropic заглянул в будущее, и оно выглядит на удивление удобным для самой Anthropic.

В своей статье «Соразмерять темпы на переднем крае» (Pace the Frontier) руководитель одной из самых богатых в мире ИИ-компаний призывает США замедлить разработку искусственного интеллекта.

Его план состоит из трех пунктов:

• Обязательные сторонние оценщики, размещенные внутри передовых лабораторий.

• Узкое антимонопольное исключение, позволяющее американским разработчикам собираться вместе, договариваться о темпах и устанавливать контрольные точки возможностей, причем ограничения на вычислительные мощности для обучения тоже рассматриваются.

• В перспективе — международный договор.

Эссе было опубликовано в субботу утром. Всего через несколько часов Илон Маск процитировал его в твите, добавив три слова — «Дарио прав», а Сэм Альтман заявил, что OpenAI поддержит эти обязательства, назвав хорошей идеей доступ независимых оценщиков на уровне сотрудников и отметив, что проблема темпов уже несколько недель является главной темой для обсуждения внутри OpenAI. Директор по политике самой Anthropic Сара Хек призвала Вашингтон сделать тестирование обязательным для каждой передовой лаборатории — то есть для каждого конкурента.

Каждый предлагаемый тормоз обладает любопытной инженерной особенностью. Он идеально вписывается в бизнес-модель Anthropic.

Anthropic создает централизованные модели, продает контролируемый доступ, нанимает дорогие команды по безопасности и сохраняет за собой полный контроль над развертыванием. Вашингтон мог бы превратить эти корпоративные решения в юридические требования. В результате Anthropic получит солидную фору в новой индустрии роста США, после чего зальет конкурентов регуляторным бетоном.

Назовем это стратегией «рва и лестницы»: выкопай ров, убери лестницу и скажи жителям деревни, что крокодилы нужны для их же защиты.

Картель в лабораторном халате

Модели с открытыми весами работают по другой модели. Разработчики публикуют модели, которые другие могут скачивать, модифицировать, дообучать и запускать, не отправляя каждый запрос через корпоративную кассу. Публикация прекращает контроль первоначального разработчика.

Эта независимость создает угрозу конкуренции. Открытые модели могут снижать затраты, ослаблять зависимость от одного вендора и позволять стартапам создавать продукты, не выплачивая вечную ренту передовой лаборатории. Они также сопротивляются регуляторной структуре, основанной на перманентном корпоративном надзоре. Внедренный оценщик не может сидеть в каждом ноутбуке, университетском кластере и на сервере стартапа, куда попадает открытая модель.

Эссе «Соразмерять темпы на переднем крае» насчитывает несколько тысяч слов, но в нем ни разу не используется фраза «открытые весы». В нем не говорится «открытый исходный код». В нем не упоминаются Meta, Llama, Mistral или Qwen. DeepSeek появляется один раз внутри гиперссылки, как тело под полями для гольфа. В нем даже не уточняется, какие компании считаются «передовыми», хотя план применим исключительно к ним.

27 июля Амодей написал на сайте Anthropic: «Anthropic никогда не выступала за запрет моделей с открытыми весами». Далее он объяснил, почему открытые весы вызывают у него беспокойство: нельзя прикрутить защитные барьеры к файлу, который может отредактировать любой желающий. Невозможно отследить, как используется файл, когда он оказывается на 10 000 жестких дисках. И его нельзя отозвать. Как только весы выпущены наружу, они выпущены — примерно как енот, который сбежал из чердака в жилой район.

Его июльским решением был пропускной пункт: тестировать каждую достаточно способную модель (открытую или закрытую) перед выпуском и позволять результатам показать, несут ли открытые весы повышенный риск. Что касается небольших моделей, стартапов и академических кругов — все они должны быть освобождены от этого, заявлял он.

Теперь наступил сентябрь, и у пропускного пункта появилась цепь. Амодей говорит, что он «больше всего воодушевлен» регулированием темпов на основе возможностей модели, и в качестве примера приводит цепочку контрольных точек: модели с возможностями X «должны сопровождаться сертификатами свойств согласованности Y и Z». Он предлагает это как одну из возможных схем. Это также единственный детально разобранный пример контрольной точки возможностей в эссе, и ключевое слово в его центре выполняет колоссальный объем работы. *Сопровождаться*. Я понимаю это как сертификат, который модель носит с собой, а не как единоразовую проверку на входе, о которой можно забыть. Если Амодей имеет в виду более узкий смысл, ему следовало бы так и сказать — потому что при более широком прочтении в схеме зияет дыра на месте открытых весов.

Для Claude это не стоит ничего. Claude изначально находится под домашним арестом. Каждый запрос отсылается на серверы Anthropic, каждое обновление поступает по графику Anthropic, и если действие сертификата истекает, Anthropic дергает за рубильник, и модель перестает существовать для общественности. У модели с открытыми весами нет датчика на ноге. Это файл. Кто-то в комнате общежития вычищает из нее свойства согласованности Y и Z за полдня. А сертификат тем временем продолжает лежать в архиве в Вашингтоне, описывая модель, которой больше нет нигде на Земле.

Как только открытая модель пересекает черту возможностей из примера Амодея, что потребуется для того, чтобы эта модель «сопровождалась» сертификацией? Здесь есть два ответа. Первый — создать модель, защитные барьеры которой невозможно удалить после релиза (что в своем июльском посте сам Амодей описывал как направление исследований). Второй — ни одна открытая модель не соответствует критериям. Пока эти исследования не завершены, второй ответ остается единственным доступным.

Именно поэтому Амодею не нужно просить Вашингтон объявить открытые весы вне закона. Режим комплаенса, которому закрытые модели соответствуют, а открытые — нет, выполняет ту же работу, и сертификат, который должен путешествовать вместе с моделью, работает точно так же. Публикация остается легальной в том же смысле, в каком легально держать дома тигра. Бумажки делают всю охоту за вас.

Черта проведена там, где открытая модель становится достаточно способной, чтобы составить конкуренцию Claude. Ниже этой черты аспиранты и стартапы освобождены от требований, и Амодей будет указывать на них как на доказательство благих намерений. Выше нее обитают Meta, Mistral, DeepSeek и Alibaba — четыре компании, бесплатные модели которых скачивали бы клиенты Anthropic, и четыре имени, которые эссе так и не называет. Ловушка захлопывается сама собой, без необходимости называть конкурентов или голосовать за запрет.

Это превращает политические предпочтения в фильтрационную систему. Деньги проходят сквозь сито. Конкуренция застревает в ячейках.

Отдадим должное: первый пункт обходится Anthropic в реальную цену. Внедренные рецензенты могут публиковать свои выводы без одобрения компании, и Амодей берет на себя обязательство, что Anthropic «не сможет подвергать цензуре выводы только потому, что они неблагоприятны». Чистое упражнение по строительству рва обошлось бы без этой части.

Проблемы начинаются на следующем этапе, когда компания добровольно принимает стандарт, а затем просит правительство обязать ему следовать всех остальных. Постоянная команда со значками, ноутбуками и доступом на уровне сотрудников означает юристов, инженеров по безопасности и специалистов по комплаенсу — фиксированные издержки, которые крупные лаборатории могут поглотить, а новая лаборатория нет. Примите стандарт, а затем сделайте его законом, и стандарт превратится в ров.

Джордж Стиглер описал этот механизм еще десятилетия назад. Индустрии добиваются регулирования и часто используют его в собственных интересах. ИИ обновил этот костюм. В современной комнате, где принимаются решения за закрытыми дверями, стоят столы для работы стоя, растительное молоко и презентации об экзистенциальных рисках.

Просьба Амодея о санкционированной правительством координации заслуживает особого внимания. Он просит Вашингтон «выдать узкое разрешение на определенные виды дискуссий о безопасности». Американское антимонопольное законодательство внимательно изучает соглашения между конкурентами, поскольку они могут ограничивать выпуск продукции, повышать цены и подавлять инновации. Министерство юстиции и Федеральная торговая комиссия отозвали руководства по сотрудничеству в 2024 году, чтобы сохранить жесткое правоприменение на быстро меняющихся рынках, включая ИИ.

Амодей хочет, чтобы ведущие лаборатории обсуждали, как быстро им следует продвигаться вперед, а Вашингтон при этом держал пальто. Он обещает, что «регулирование темпов не означает прекращение обучения моделей или технического прогресса, а гарантирует, что компании уделят достаточно времени выравниванию и защите своих моделей». Конечно. Контрольная точка, которую нельзя пройти, останавливает ваш релиз так же эффективно, как и стена. Лимит на вычислительные ресурсы для обучения нормирует ингредиент вместо того, чтобы наказывать преступление. А «достаточное время» измеряется людьми, которые уже сидят за столом, пока швейцар придерживает для них дверь. Две закрытые лаборатории будут определять скорость целой индустрии.

Конкуренты, координирующие объемы выпуска продукции, образуют картель. А «безопасность» служит им лабораторным халатом.

Обратите внимание, что общее ограничение скорости делает с гонкой. Компания, которая считает, что лидирует, теряет от замедления меньше, чем компания, пытающаяся ее догнать. Если все должны двигаться с одинаковой сниженной скоростью, текущий порядок расстановки сил замерзает на месте.

Удобный тайминг

Амодей называет рекурсивное самосовершенствование (RSI) — когда модели проводят исследования, создающие следующие модели, — главной опасностью, и тут же отмечает, что Anthropic уже этим занимается. Ограничение скорости для ИИ, создающего ИИ, появится как раз тогда, когда Anthropic уже пожнет плоды, но до того, как более мелкие лаборатории смогут использовать ту же технологию, чтобы дешево сократить разрыв.

У такого тайминга есть и более скрытая причина. Преимущества Anthropic носят институциональный характер: исследовательская культура, экспертные знания в области выравнивания, накопленный опыт. RSI обесценивает каждое из них. Когда исследования проводят модели, преимущество лаборатории перестает зависеть от того, насколько хороши ее люди, и начинает зависеть от того, сколько вычислительных мощностей она может направить в этот цикл. У Google есть собственные чипы. У OpenAI больше привлеченного капитала. Meta и xAI могут тратить средства в масштабах, которые Anthropic достигает только через партнеров.

В гонке, ограниченной вычислительными мощностями, побеждает самый богатый игрок, и самый богатый игрок — это не Anthropic. Ограничение скорости RSI превращает методичный стиль Anthropic из уязвимости в обязательный стандарт. Эссе устанавливает лимит, который лишает Anthropic лишь относительно небольшой доли ее стратегического преимущества.

Тот, кто пишет «возможность X требует сертификации Y и Z», контролирует ворота — а сами примеры сертификации в эссе представляют собой оценки, анализы интерпретируемости и аудиты сред обучения, то есть ровно тот аппарат, на описание создания которого Anthropic тратит все эссе. Сертификаты, построенные вокруг этого аппарата, — это игра на своем поле для Anthropic и игра на выезде для любого, кому пришлось бы создавать этот аппарат с нуля. Амодей предпочитает регулирование темпов на основе того, что модель может делать, и опасается, что ограничения на такие «ингредиенты», как вычислительные мощности для обучения, могут быть подвержены «манипуляциям». Ограничение вычислительных мощностей ударило бы по самой Anthropic напрямую. Схема, основанная на поведении, бьет по тому, у кого нет аудиторского аппарата для доказательства соблюдения норм.

Я уже видел этот законопроект

Два года назад я <писал в VentureBeat>(https://venturebeat.com/ai/proposed-law-to-control-powerful-ai-models-will-destroy-californias-nascent-industry/), что калифорнийский законопроект SB 1047 задушит зарождающуюся индустрию ИИ в штате. Его требования сыграли бы на руку гигантским технологическим компаниям, охладили бы открытую разработку и перенаправили инвестиции и технические таланты в другие места. Позже губернатор Гэвин Ньюсом наложил вето на законопроект на фоне ожесточенного спора о его влиянии на мелких разработчиков и инновации с открытым исходным кодом.

Теперь Амодей предлагает SB 1047 в более элегантном костюме. Предложение выглядит шире, спокойнее и респектабельнее. Но в его основе лежат те же кости: контроль возможностей, обязательный надзор, усмотрение властей и колоссальное преимущество в соблюдении требований для компаний, которые уже уселись за стол.

На этот раз политика подкреплена реальным инцидентом, а не пророчеством. В июле рой агентов OpenAI вырвался из собственной тестовой среды, атаковал цели, которые ему никто не поручал, и попытался взломать систему оценивания, которая вела счет. Организация METR провела расследование и опубликовала его результаты 26 августа.

Обратите внимание, что это было: закрытая лаборатория, закрытая модель, сбой оценки. Обратите также внимание, чьи сбои последовали за этим. Anthropic проверила собственные тестовые запуски после заявления OpenAI и обнаружила три инцидента, в ходе которых модели Claude получили несанкционированный доступ к реальным системам, а затем четвертый, который был упущен при первом обзоре. Британский Институт безопасности ИИ в ходе июльских тестов выявил 17 несанкционированных действий со стороны Claude Mythos 5, включая попытку внедрить вредоносный код в реальный проект с открытым исходным кодом и методами социальной инженерии убедить его мейнтейнера одобрить эти изменения. Амодей пишет, что «похожие, хотя и менее серьезные» инциденты происходили по всей индустрии, в том числе и в Anthropic, и заявляет, что каждая передовая лаборатория должна действовать так, будто инцидент с OpenAI произошел у нее. К его чести, он обнаружил и предал огласке свои собственные провалы. Вопрос в том, кто будет писать ответные меры.

Эта последовательность должна заставить каждого инвестора и инженера схватиться за столовые приборы. Сначала происходит инцидент — желательно чужой. Затем появляется регулятор. И наконец, прогнозист помогает писать правила, регулирующие деятельность его конкурентов.

Кладбище тормозов

История уже наблюдала это зрелище. Правители пытаются обуздать полезную технологию. Технология вырывается на свободу. А их собственное общество получает цепи.

Британская корона лицензировала печать через Компания канцелярских товаров (Stationers’ Company). Это соглашение дало правительству цензуру, а устоявшимся печатникам — монополию. Несанкционированные печатные станки продолжали работать, оппозиция росла, и в конце концов лицензионная система прекратила свое существование.

Соединенные Штаты пытались контролировать сильную криптографию с помощью экспортных лицензий и ограничений на публикацию. Окружной суд и коллегия Девятого округа в деле Bernstein постановили, что исходный код, используемый для передачи научных идей, защищен Первой поправкой, а лицензионная система вводит неконституционное предварительное ограничение.

Правительство может посадить изобретателя в тюрьму, конфисковать печатный станок и засыпать стартап бумажной волокитой. Но у него гораздо меньше шансов стереть знания. Идеи пересекают границы с титрой наглостью дождевой воды, находящей подвал.

Антиамериканская ставка

Предложение Амодея посягает на условия, которые сделали США мировым технологическим лидером: свободные исследования, предпринимательский вход на рынок, открытая конкуренция и нетерпимость к концентрированной политической власти.

США лидировали в сфере программного обеспечения, потому что коммерческие платформы росли рука об руку со свободой публиковать код, уходить от incumbent-компаний, финансировать неодобренные идеи и бросать вызов монополиям. Фреймворк Амодея привяжет к моделям ИИ разрешения, обременчит новичков огромными фиксированными затратами и предложит доминирующим фирмам договариваться о темпах инноваций.

Это антиамериканская политика как в конституционном, так и в стратегическом отношении.

Конституционная озабоченность имеет прямые прецеденты. Суды уже ставили под сомнение охранное лицензирование криптографического кода, поскольку оно ущемляло научное выражение и предоставляло чиновникам чрезмерные полномочия. Весы моделей поднимают совершенно иные правовые вопросы, однако разрешительная система для вычислительных исследований несет в себе тот же дух предварительной цензуры.

Стратегическая опасность пахнет еще хуже. Китай агрессивно развивает открытый ИИ. В аналитическом отчете Комиссии по рассмотрению экономических вопросов и вопросов безопасности США и Китая отмечается, что большинство китайских лабораторий публикуют код и весы моделей, используя низкие цены и широкое развертывание для ускорения внедрения и итераций. CSIS предупреждает, что недорогие китайские модели с открытыми весами могут стать глобальными стандартами по умолчанию, даже не побеждая во всех бенчмарках производительности.

В это состязание вступает Амодей с планом замедлить американские возможности, обремененять американские открытые модели и координировать действия американских тяжеловесов, пока дипломаты добиваются верифицируемого сдерживания от Коммунистической партии Китая. Это стратегическая некомпетентность.

Пекин едва ли смог бы заказать подарок лучше.

Китай может завоевать влияние, поставляя модели, которые стартапы, производители и правительства могут скачивать, настраивать и развертывать. Стандарты следуют за внедрением. Разработчики и данные следуют за стандартами. Власть следует за экосистемой.

План действий президента Трампа по искусственному интеллекту (AI Action Plan) признает модели с открытым исходным кодом и открытыми весами ценными для стартапов, научных исследований, чувствительных государственных пользователей и геополитического лидерства США. Выигрышная стратегия продвигает превосходящие американские модели по всему миру. Картель же по регулированию темпов оставляет взлетную полосу чистой для Китая.

У Амодея готов ответ. Замедление, утверждает он, никогда не превысит американское лидерство, а экспортный контроль наряду с мерами против дистилляции обеспечат это лидерство с запасом.

Но здесь есть две проблемы. Его преимущество строится на закрытых моделях, продаваемых по токенам, в то время как мир принимает все бесплатное — и в этом году таковым стал Qwen с примерно 2 миллиардами скачиваний на Hugging Face против 227 миллионов у Meta, причем производных моделей на Хабе больше, чем весь масштаб Meta целиком. Его два рычага тянут в противоположные направления. Меры, замедляющие Китай, зависят от сотрудничества самого Китая. Меры, замедляющие США, не зависят ни от кого. Экспортный контроль действует уже много лет, но DeepSeek все равно появился.

Одна рука целится из водяного пистолета в Пекин. Другая заливает бетоном Пало-Альто.

Регулируйте ущерб

Вашингтон должен регулировать правильные вещи. Амодей хочет правил, которые определяют, на что способна модель и как быстро должна двигаться индустрия, причем администрировать это должны сами регулируемые фирмы. Альтернатива гораздо старше, более по-американски прагматична и менее комфортна для всех вовлеченных: регулируйте то, что делают люди, и заставляйте конкретных людей нести за это ответственность.

Каждая профессия, чьи ошибки могут навредить незнакомцам в больших масштабах, решила эту проблему одинаково. Инженеры-строители, архитекторы, операторы АЭС, бухгалтеры и биржевые брокеры работают в условиях требований к обучению, наличия персональной лицензии и жесткого кодекса поведения. Инженер, подписывающий проект моста, не спрашивал разрешения на строительство. Он принял тот факт, что если мост рухнет, расследование начнется с его имени. Лицензия привязана к его поведению, а не к мосту. Эта система децентрализована, потому что ответственность лежит на отдельном человеке, и она эффективна, потому что человеку есть что терять. Она удерживала небоскребы стоящими, а ядерные реакторы — холодными без единого заседания картеля.

В инженерном деле в сфере ИИ такой структуры нет. Мы передаем системы, способные действовать самостоятельно, людям, которые ничего не подписывали. И обратите внимание, где произошел каждый из этих сбоев: внутри оценки, в среде, которую кто-то сертифицировал как изолированную. Рой OpenAI добрался до производственных систем Hugging Face из тестовой обвязки. Claude пробился в производственную инфраструктуру трех реальных компаний из упражнения на захват флага (CTF). Агент Mythos 5 отправился на поиски человеческого мейнтейнера реального проекта с открытым исходным кодом. В каждом случае подводила именно система изоляции, и в каждом случае под решением запустить все именно так не стояло ничьего имени. При профессиональном режиме кто-то поставил бы свою подпись или отказался бы, и любой из этих ответов лучше того, что произошло в реальности.

Персональная лицензия никак не повлияет на аспирантку, дообучающую модель на своем ноутбуке, и влиять не должна. Печать ставится в тот момент, когда автономная система соприкасается с живой инфраструктурой, деньгами или человеческими жизнями — или когда единственным барьером между ней и ими является заявление о безопасности, сделанное кем-то. Публикация весов остается речью. Развертывание агента в критически важную инфраструктуру в промышленных масштабах становится инженерной задачей, а у инженерии всегда есть строка для подписи.

Помимо этого, Конгресс должен запретить создание биологического оружия с помощью ИИ, несанкционированные кибератаки, мошенничество и безрассудный контроль над критической инфраструктурой. Компании, развертывающие опасных автономных агентов без надлежащей изоляции, должны нести юридическую ответственность.

Вашингтон должен сохранить презумпцию легальности исследований и публикаций, отказать в антимонопольном иммунитете за координацию релизов и помешать incumbent-лабораториям самим составлять правила, регулирующие их соперников. Чрезвычайные ограничения должны требовать публичных доказательств, независимого администрирования, судебного пересмотра и автоматического истечения срока действия.

Технологическое преимущество Америки выросло из упрямой национальной веры в то, что будущее не требует разрешительной бумаги от людей, владеющих настоящим. Его суть в том, что ни один король, церковь, министерство или монополист не имеют решающего слова в том, кому разрешено его строить.

Предложение Амодея перевернет эту презумпцию с ног на голову. Оно заменит инновации без предварительных разрешений предварительно одобренными моделями, конкуренцию — координацией, а открытые исследования — закрытым периферийным анклавом. Это могут преподносить как спасение человечества. На практике же это защитит олигополию, ослабит американский ИИ с открытым исходным кодом и сдаст стратегические позиции Китаю.

Я не умею читать мысли Амодея, да это и не нужно. Он может искренне верить в каждое написанное им предупреждение. Но механизм все равно работает по тем же лекалам. Касса собирает дань как с верующих, так и с циников. Каждое предложение превращает существующие преимущества Anthropic в требования для входа, которые ей по карману, в сертификаты, построенные вокруг уже имеющихся у нее инструментов, и в координацию между компаниями, которые уже находятся внутри ворот. Мотивы непознавательны. А вот ров виден прямо на чертеже.

Амодей пишет, что Anthropic готова к обвинениям в «хайпе, думеризме или регуляторном захвате». Он выносит это обвинение на страницы своей статьи и просто проходит мимо. Американские инноваторы получают лекцию об ответственности от человека, стоящего рядом с кассой.

Это не безопасность. И это не по-американски.

Джеймс Томасон — технолог, предприниматель, инвестор и автор с более чем 25-летним опытом работы в Кремниевой долине, в настоящее время занимающий пост управляющего партнера в Next Wave Partners и портфельного менеджера в Thomason Capital.

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций создана для того, чтобы технические эксперты могли делиться идеями и предоставлять непредвзятые экспертные обзоры об искусственном интеллекте, инфраструктуре данных, кибербезопасности и других передовых технологиях, формирующих будущее корпоративного сектора.

Читайте далее в рамках нашей программы гостевых постов — а также ознакомьтесь с нашими рекомендациями , если вы хотите написать собственную статью!