Главный риск корпоративного ИИ — это не автономные агенты. Это сложность взаимодействия между ними.
Источник: VentureBeat · Rory Blundell, Gravitee
При поддержке Gravitee
Сложность автономных агентов — это скрытая угроза, таящаяся сегодня внутри компаний, на которую необходимо пролить свет.
Всё потому, что предприятия не внедряют какого-то одного агента, чтобы просто понаблюдать за его работой; они развертывают целые парки, каждый из которых вызывает API, обращается к другим агентам и вторгается в приложения, изначально не рассчитанные на принятие решений машиной. Именно этот сценарий сбоя должен лишать вас сна: извилистая, запутанная система, которую никто не видит достаточно отчетливо, чтобы ею управлять. Но почему всё становится настолько непрозрачным так быстро?
Добавьте в систему второго агента — и вы добавили одно соединение. Добавьте десятого — и вы получили не десяток связей, а потенциально десятки, поскольку теперь любой агент может вызвать любой другой, а каждый из таких вызовов может спровоцировать обращение куда-то еще. Сложность не растет линейно с увеличением числа агентов. Она умножается на количество возможных путей между ними, и в чьи обязанности не входит прорисовка этой схемы. Запрос в службу поддержки, который раньше затрагивал одну систему, теперь может пройти через четырех агентов, прежде чем на него взглянет человек, и каждый такой этап передачи данных — это точка принятия решений, которую никто не утверждал.
Большинство корпоративных ИИ-программ буксуют, когда отвечающие за агентов люди теряют нить происходящего. Задайте службе безопасности простой вопрос: какие агенты имеют доступ к каким системам? В ответ будет тишина. Спросите, какой агент три шага назад инициировал то или иное действие в цепочке. Снова тишина.
Инстинктивная реакция здесь — подойти к этому как к контрольному списку. Одобрить агента. Зарегистрировать агента. Идти дальше. Я бы утверждал, что это неверный подход. Чек-лист проверяет лишь один момент времени. Сложность же простирается по всей цепочке, и нельзя управлять цепочкой с помощью пачки разовых одобрений — точно так же, как нельзя назвать диету успешной лишь потому, что вы один раз съели овощ.
Так где же именно происходит сбой?
Первыми накапливаются избыточные разрешения. Кто-то создает агента для суммирования тикетов поддержки, дает ему широкие доступы к API, потому что на корректную настройку ограничений ушел бы еще один спринт, и благополучно забывает об этом. Спустя шесть месяцев у этого же агента появляется лазейка в платежную систему. Никто не помнит, что давал на это добро. Никто и не давал.
Кроме того, ответственность размывается по мере удлинения цепочки. Пять агентов задействованы в одном рабочем процессе, на четвертом шаге что-то ломается, и теперь вы пытаетесь выяснить, кто отвечает за звено, за которое никто никогда не был назначен отвечать, потому что организационная схема заканчивалась на «развернуть агента» и так и не дошла до «назвать имя человека, который за него отдувается».
Это история об инфраструктуре управления, которая безнадежно отстала от реального поведения агентов: взаимосвязанных, каскадных, размножающихся быстрее, чем процессы, созданные для их отслеживания.
Наведение порядка начинается с идентификации. Каждый агент должен существовать как самостоятельная сущность, а не как теневое разрешение, заимствованное у того, кто его развернул. У него должно быть свое имя в реестре. Свои четко очерченные полномочия. Именованный человеческий спонсор, который отвечает за его действия. Без этого шага не обойтись.
Но этого абсолютно недостаточно.
Гораздо более сложная задача — это надзор, который охватывает всю цепочку целиком, а не только отдельные ее звенья. Вам нужно видеть в режиме реального времени — а не в отчете, который кто-то готовит раз в квартал — что сделал агент, какие процессы он запустил дальше по цепочке и где этот след обрывается. Если настроить идентификацию на уровне агентов и на этом остановиться, вы в итоге получите картотеку с идеально документированными агентами, функционирующими внутри системы, которую никто толком не может объяснить.
При этом сам по себе надзор лишь констатирует то, что уже произошло. Наблюдение за цепочкой не равносильно управлению ею. Принудительное исполнение правил (enforcement) — это то, чем пренебрегает большинство программ: возможность остановить несоответствующий политике вызов до его выполнения, а не просто зафиксировать его для проверки кем-то три недели спустя. Дашборд, который показывает, что агент пять минут назад вышел за рамки своих полномочий, — это инструмент мониторинга. Система, которая предотвращает сам выход за эти рамки, — это управление. Предприятия, серьезно настроенные на подотчетность агентов, нуждаются в том и другом, но большинство создало лишь первое.
Мы все несемся на бешеной скорости, чтобы не остаться позади в гонке, в которой оказались, и мы прекрасно понимаем, что замедление имеет свою цену. Каждая серьезная компания, внедряющая агентный ИИ, рано или поздно упирается в стену сложности. Те, кому удается ее преодолеть, — это те, кто выстроил достаточный уровень прозрачности и подотчетности, чтобы их парк агентов продолжал расти, а руководство не теряло способности ответить на один вопрос: что эта система делает прямо сейчас и кто за это отвечает.
Но не упускайте главное. Сложность — это не повод давить на тормоза. Компании, которые справляются с этой задачей правильно, не замедляются. Они движутся к гармонии человека и агента (Human-Agent Harmony), где масштабируемость и подотчетность растут рука об руку, а не в ущерб друг другу.
Настоящим риском никогда не был одиночный агент, делающий именно то, для чего он создан. Настоящий риск — это сотня таких агентов, делающих ровно это, но одновременно, в комбинациях, которые никто не проектировал. Именно такое умножение сущностей мешает корпоративному ИИ выйти из стадии постоянных пилотных проектов и наконец запустить продакшн.
Решите проблему сложности, и автономность перестанет быть злодеем. Она станет самой сутью дела.
Рори Бланделл (Rory Blundell) — генеральный директор Gravitee.
Спонсорские статьи — это контент, подготовленный компанией, которая либо платит за публикацию, либо имеет деловые отношения с VentureBeat, и они всегда четко маркируются. Для получения дополнительной информации обращайтесь по адресу sales@venturebeat.com.