ИИ-модели с открытыми весами становятся дешевле и лучше. Вот как пользоваться ими, не неся расходов на их запуск
В вычислительной технике всякий раз, когда появляется более дешёвая и открытая альтернатива, происходящее нередко подают как схватку до победного конца, в которой победитель получает всё. Так было с Linux и Windows, а затем с Android и iOS. На деле в этих битвах «победили» обе стороны, потому что они обслуживают разные рынки, и взгляд по принципу «или — или» с самого начала был неверным.
Похожая картина складывается и с моделями ИИ. Хотя в корпоративном сегменте доминируют проприетарные модели OpenAI и Anthropic, расходы на токены инференса постепенно смещаются в сторону моделей с открытыми весами. Andreessen Horowitz сообщает, что 37% компаний используют в продакшене пять и более моделей — как открытых, так и закрытых.
Настоящий риск для бизнеса — не выбрать не ту сторону, а настолько привязаться к одному поставщику моделей, что переход в будущем окажется слишком дорогим или практически невозможным.
На самом деле компании хотят контроля
Модели с открытыми весами сокращают отставание от проприетарных по производительности, но это лишь часть причин их распространения. Во многом энтузиазм связан именно с контролем — над тем, куда уходят данные, как ведёт себя модель и насколько уязвим бизнес, если поставщик исчезнет или изменит условия.
Запуск модели на собственных серверах или в собственном облаке компании делает ИИ применимым в регулируемых отраслях — здравоохранении, юриспруденции и финансовых услугах, — где отправка данных во внешний API зачастую невозможна. Дообучение модели с открытыми весами на собственных данных компании оставляет эту настройку внутри организации: поведение модели формируется без передачи процесса поставщику. А владение весами означает, что бизнес не останется ни с чем, если поставщик исчезнет, будет поглощён или изменит условия. Модель невозможно отобрать.
У контроля есть обратная сторона
Но контроль имеет свою цену: он перекладывает больше ответственности на конечного пользователя. Открытые веса — не то же самое, что открытый исходный код. Как правило, вы получаете веса, но не обучающие данные, не код и не полноценную лицензию. Это важно, поскольку определяет, кто несёт ответственность, если что-то сломается.
В случае закрытой модели важную работу по безопасности выполнил поставщик. В случае открытой модели эта работа ложится на вашу команду, и свести её на нет проще, чем думает большинство.
Исследователи показали, что обучение модели безопасности можно обратить с помощью небольшого числа примеров для дообучения, а защитные механизмы таких моделей, как Llama и Gemma, по имеющимся данным, можно снять за считаные минуты. Это не повод отказываться от моделей с открытыми весами, но это риск, о котором компании должны знать, беря его на себя.
Где модели с открытыми весами оправдывают себя
Нагляднее всего, на мой взгляд, модели с открытыми весами окупаются на узких, чётко определённых задачах — таких как эмбеддинги, классификация и обнаружение персональных данных (PII). Специализированная модель, настроенная на одну из этих задач, — модель эмбеддингов или классификатор — часто может превзойти передовую модель при значительно меньших затратах, по крайней мере в части вычислений.
Дело в том, что большая передовая модель справляется с более широким кругом задач, но за эту гибкость вы платите, пользуетесь ею или нет. Модель, настроенная на узкую задачу, избавлена от этих накладных расходов.
Кому на самом деле стоит их запускать
Здесь напрашивается параллель с ПО с открытым исходным кодом, где код формально «бесплатен», а его эксплуатация и поддержка — нет. В случае ПО большинство организаций платят за управляемый сервис или готовый дистрибутив, поскольку самостоятельная поддержка редко оправдывает затраты, если функция не является ключевой для бизнеса.
Модели с открытыми весами подчиняются той же логике. Скачать модель с Hugging Face и запустить её через сервис вроде Ollama несложно. Добиться эффективности размещённой передовой модели при надёжности, необходимой вашему приложению, куда труднее. Для этого нужны специалисты, способные управлять GPU, настраивать инфраструктуру и поддерживать производительность модели под продакшен-нагрузкой.
Для большинства компаний более реалистичный путь — обратиться к провайдеру инференса вроде Fireworks, Together AI или Base10, которые специализируются на запуске и масштабировании моделей с открытыми весами. Это даёт преимущества в стоимости и контроле без операционной нагрузки. Исключение — самостоятельное размещение, когда ИИ является ключевым для бизнеса, а ваши масштабы и экспертиза это оправдывают. Начиная с определённого масштаба операционные вложения окупаются.
Где передовые модели по-прежнему сохраняют позиции
В случае передовых моделей вы платите за почти гарантированный уровень производительности, не создавая его самостоятельно. Модели с открытыми весами могут обеспечить сопоставимые способности к рассуждению дешевле, но затраты проявляются в другом — в задержках или в работе по обеспечению производительности модели при масштабировании.
Stanford AI Index показал, что разрыв между лучшими открытыми и закрытыми моделями в этом году даже немного увеличился — об этом стоит помнить, когда кто-то в очередной раз заявит, что открытые модели практически догнали закрытые. Какой компромисс разумен, зависит от задачи. Клиентское приложение часто не может позволить себе задержки. Внутренняя задача вроде составления сводок по обращениям в службу поддержки — как правило, может.
Ценность перемещается на уровень выше
В какой-то момент операционные системы стали товаром массового спроса: продажей ОС сегодня по-настоящему не заработаешь. Именно превращение уровня ОС в типовой товар отчасти сделало возможным облако, которое, в свою очередь, с тех пор стало двигателем множества инноваций. Ценность не исчезла — она переместилась на уровень выше.
Нечто подобное может произойти и с моделями. По мере того как модели с открытыми весами сокращают отставание в значимых задачах, вопрос «какая модель победит» перестаёт быть интересным. Реальная конкуренция переходит к тому, что строится поверх, — к приложениям, данным и контексту, которые делают модель полезной.
Именно на этом уровне выбор в пользу открытых весов действительно имеет значение, а не в абстрактном споре о том, какой тип моделей «лучше». Модели с открытыми весами — ценная часть диверсифицированной стратегии, но нужно проделать работу и выяснить, где именно они вам подходят.
Шон Фальконер — вице-президент по продукту, ИИ-продуктам и стратегии в Confluent
Добро пожаловать в сообщество VentureBeat!
В рамках нашей программы гостевых публикаций технические эксперты делятся идеями и предлагают нейтральные, независимые глубокие разборы ИИ, инфраструктуры данных, кибербезопасности и других передовых технологий, определяющих будущее корпоративного сектора.
Читайте другие материалы нашей программы гостевых публикаций — и ознакомьтесь с нашими правилами, если хотите предложить собственную статью!
