Настоящая цена, проблемы безопасности и культурные барьеры корпоративных ИИ-агентов
Источник: VentureBeat · VB Staff
При поддержке Red Hat
На недавнем мероприятии AI Impact, организованном VentureBeat, где основное внимание уделялось тому, что отличает компании, успешно масштабирующие агентный ИИ, от тех, чьи проекты буксуют на этапе пилотного тестирования, Брайан Грейсли (Brian Gracely), старший директор по стратегии продуктового портфеля в Red Hat, подробно рассказал о реальных проблемах, с которыми сталкиваются компании при выводе агентов в продакшн.
Он затронул темы контроля расходов, уникальных «слепых зон» безопасности автономных систем и организационных барьеров, которые определяют, выйдет ли внедрение агентов за рамки инициатив первых энтузиастов.
Предприятия переоценивают свое отставание в сфере ИИ-агентов
Многие руководители предприятий, особенно те, кто следит за ключевыми докладами в отрасли и анонсами в сфере ИИ, опасаются, что они уже безнадежно отстают от конкурентов, внедряющих агентов в массовом масштабе. Однако, по словам Грейсли, большая часть этой тревоги обусловлена неверным представлением о том, как быстро организации учатся в процессе разработки. Команды часто осваивают материал гораздо быстрее, чем ожидали.
Тем не менее этот стремительный прогресс порождает иную проблему. По мере расширения использования агентов затраты на ИИ растут с той же скоростью, превращая управление бюджетом из чисто инженерной задачи в предмет постоянных обсуждений на уровне совета директоров.
Использование агентного ИИ на порядки превышает масштабы эпохи чат-ботов, поэтому расходы на ИИ становятся все более острой проблемой для бизнеса. В то же время организации начинают острее осознавать свою зависимость от небольшого числа поставщиков моделей. По словам Грейсли, именно это сочетание факторов заставляет многие предприятия искать альтернативы, которые дают им больший контроль над затратами и инфраструктурой.
«Два-три ведущих провайдера уже заявляют рынку, что они работают в убыток, и пытаются выйти на биржу, чтобы покрыть эти разрывы, — пояснил он. — В какой-то момент такая зависимость будет означать одно из двух: либо вы покупаете по очень высокой цене, либо ищете альтернативы, чтобы контролировать происходящее».
Оптимизация размера моделей ИИ — самый быстрый рычаг для сокращения расходов на агентов
Главная финансовая проблема заключается в том, что предприятия перерасходуют средства, автоматически выбирая самую мощную из доступных моделей независимо от сложности задачи.
«Если я просто пытаюсь урегулировать страховой случай, мне не нужно, чтобы моя модель знала историю западной цивилизации или результаты матчей чемпионата мира по футболу», — отметил Грейсли.
Семантическая маршрутизация — это механизм, который многие компании используют для автоматического принятия таких решений: она классифицирует запросы и направляет каждый из них на модель, соответствующую конкретной задаче, избавляя пользователей от необходимости делать выбор вручную. В то же время инфраструктурные методы, такие как кеширование повторяющихся запросов, сокращают количество случаев, когда запрос вообще должен доходить до графических процессоров. По его словам, все эти инструменты опровергают мнение о том, что эффективность и инновации противоречат друг другу.
«Многого можно добиться на уровне инфраструктуры графических процессоров, и немало — за счет гибкости моделей, — пояснил он. — Это дает отличные возможности для выбора рычагов воздействия в зависимости от того, что вам важнее: эффективность или инновации. Это не должно быть бинарным выбором».
Финансовая дисциплина, необходимая для контроля затрат на токены, аналогична практикам FinOps, на развитие которых ушли годы, чтобы взять под контроль расходы на облачные вычисления. По словам Грейсли, эти базовые принципы пригодятся и здесь, даже несмотря на смену терминологии, особенно в условиях, когда организации настаивают на внутреннем обучении принципам выбора моделей, чтобы команды перестали по умолчанию выбирать самый разрекламированный вариант для задач, которые в нем не нуждаются.
«Точно так же, как нам сначала приходилось объяснять финансистам, что такое экземпляр EC2 и корзина S3, теперь им придется объяснять, что такое токены, — сказал он. — Нам не всегда нужен Rolls-Royce. Нам не всегда нужна икра, когда мы пытаемся решать самые базовые задачи».
Скорость выпуска патчей теперь критически важна, так как инструменты ИИ находят уязвимости быстрее
Обнаружение уязвимостей с помощью ИИ заставляет предприятия пересмотреть скорость, с которой они могут выявлять, проверять и устанавливать исправления. Давно устоявшиеся циклы управления исправлениями могут оказаться недостаточно быстрыми в условиях, когда ИИ способен находить новые уязвимости — а злоумышленники использовать их — гораздо быстрее.
«У большинства компаний, вероятно, будет окно примерно от семи до 14 дней, чтобы опережать угрозы, — отметил он. — Есть группы специалистов, включая Red Hat, которые будут создавать патчи для них, но окно для конфиденциального уведомления (embargo window) будет коротким».
ИИ также меняет то, на что должны обращать внимание защитники. Вместо того чтобы просто находить изолированные критические недочеты, инструменты безопасности на базе ИИ способны выявлять комбинации кажущихся незначительными уязвимостей, которые становятся опасными только в цепочке друг с другом. По мнению Грейсли, по мере ускорения как роста сложности программного обеспечения, так и процесса обнаружения уязвимостей, способность быстро управлять ПО и обновлять его становится стратегическим навыком, а не просто операционной необходимостью.
Профильные эксперты и специалисты по комплаенсу определяют, масштабируются ли агенты
В конечном счете внедрение технологий на уровне организации сводится к необходимости глубокого и постоянного участия экспертов в конкретных предметных областях, знания которых агент призван кодировать. Это делает завоевание их доверия и поддержки обязательным условием, а не второстепенной задачей.
«Нужно думать о мотивации, о том, что предложить людям, участвующим в этой работе, чтобы они не чувствовали угрозы своему рабочему месту, и о том, как стимулировать их долгосрочное сотрудничество с этими инновациями», — сказал он.
Спонсорские статьи — это контент, созданный компанией, которая либо оплачивает публикацию, либо имеет деловые отношения с VentureBeat, и такие материалы всегда четко маркируются. Для получения дополнительной информации обращайтесь по адресу sales@venturebeat.com.
