Для масштабирования ИИ-агентов нужны три вещи: реестр, контракты и актуальный контекст
Компании, которые запускают в производственной среде больше нескольких ИИ-агентов, сталкиваются с рисками, расходами и нагрузкой на контроль, которые растут экспоненциально с каждым новым агентом, говорит Феликс Ван де Мале, основатель и генеральный директор компании Collibra, специализирующейся на управлении данными. В беседе с основателем и генеральным директором VentureBeat Мэттом Маршаллом на мероприятии VentureBeat AI Week в Нью-Йорке Ван де Мале связал большинство сбоев агентов с бизнес-контекстом, который они получают, и заявил, что компаниям нужны детерминированные механизмы контроля поведения агентов до того, как их число начнёт расти.
«Если у вас один, два, пять агентов — с этим можно справиться, — сказал Ван де Мале. — Если их 100 или 1 000, всё просто растёт экспоненциально».
Более 75% компаний упираются в производственный барьер, когда переходят от одного помощника к 10 или 15 автономным агентам, а июньский опрос VentureBeat, в котором приняли участие 157 руководителей технологических подразделений компаний, показывает, насколько ограничен у них запас прочности. Тридцать четыре процента компаний позволяют агентам отправлять код или изменения систем в производственную среду, полагаясь только на автоматические оценки и не проводя проверку человеком, тогда как полностью доверяют таким оценкам лишь 5% всех респондентов.
Разрыв между обещаниями и реальностью в корпоративном ИИ
Разрыв между обещаниями поставщиков и тем, что получают компании, — это разрыв в надёжности ИИ: агенты действительно не всегда правы, люди по-прежнему необходимы, а расходы на ИИ растут. Команда, использующая пять агентов, может справиться с этими трудностями, поручив сотрудникам проверять результаты, повторно сертифицировать агентов и обновлять контекст, от которого они зависят, но это управление методом грубой силы. Требуемое число сотрудников растёт вместе с числом агентов, поэтому компания с тысячей агентов не сможет обеспечить безопасность, просто увеличив штат.
Расходы на вычисления растут по той же схеме. Современные модели обычно способны прийти к правильному ответу путём рассуждений, но это обходится дорого, сказал Ван де Мале.
«Модели становятся очень хорошими, но им приходится снова и снова проходить один и тот же цикл, чтобы прийти к ответу, и каждый проход расходует токены, — объяснил он. — За последний год мы все, к сожалению, поняли, что ИИ — не бесплатный».
Управление ИИ-агентами в производственной среде
По заказу Collibra компания Harris Poll провела опрос, который показал: почти 30% компаний сообщили, что обнаруживали агентов, обращавшихся к данным или показывавших их, хотя у агентов не было разрешения на доступ. Как же компании могут обеспечить соблюдение правил, когда агенты взаимодействуют с действующими производственными системами?
Первый шаг — инвентаризация. На собственном саммите Collibra по ИИ, прошедшем ранее на той же неделе, Ван де Мале спросил аудиторию, кто знает, сколько агентов его компания использует в производственной среде, а затем — кто знает, чем эти агенты занимаются. Большинство присутствующих не смогли ответить ни на один из вопросов. Компании поощряют сотрудников создавать агентов и экспериментировать с ними, и из-за такой открытости сложно вести точный учёт, сказал он.
«Как контролировать то, о существовании чего вы даже не знаете?» — добавил он.
Второй шаг — жизненный цикл внедрения, который определяет, какие требования должен выполнить агент, прежде чем попасть в производственную среду. Но если процесс слишком медленный, он теряет смысл: команды обходят любые барьеры, задерживающие их работу. Жизненный цикл должен позволять достаточно быстро проводить агента через проверку, чтобы следование процессу обычно отнимало у команды меньше времени, чем его обход. Третий шаг касается агентов, прошедших первые два этапа.
Почему ИИ-агенты неверно работают с корпоративными данными
Среди распространённых в Кремниевой долине аргументов, которые высказывают, в частности, генеральный директор Anthropic Дарио Амодеи и генеральный директор OpenAI Сэм Альтман, — мнение о том, что постоянно совершенствующиеся модели в конце концов перестанут допускать такие ошибки. Для потребительского применения это, возможно, верно, но не для компаний. Чат-бот для широкой аудитории может дать несколько приемлемых ответов на один и тот же запрос, тогда как у вопроса о выручке компании есть только один правильный ответ, а большие языковые модели с трудом выдают его каждый раз.
Опрос Collibra показал, что 90% респондентов считают отсутствие согласованной основы данных причиной, мешающей им получать надёжные результаты. За десятилетие инвестиций в платформы данных большинство компаний получило достаточно данных и возможностей доступа к ним, однако агенты по-прежнему ошибаются: они обращаются не к тем таблицам, неверно истолковывают найденные поля или используют записи с многочисленными дефектами качества, сказал Ван де Мале.
«Я бы сказал, что проблема скорее в управлении данными или, точнее, в контексте, а не в самих данных», — объяснил он.
Решение, по его словам, — онтология, которая описывает данные компании, их значение для бизнеса и процессы, регулирующие их использование. Ван де Мале много лет назад стал сооснователем Collibra, чтобы фиксировать бизнес-контекст, и теперь та же работа даёт агентам необходимую основу для понимания того, как устроена деятельность компании.
Эту онтологию следует хранить на отдельном от моделей и платформ контекстном уровне. Компании будут менять модели, а многие из них в ближайшие несколько лет перейдут на другие платформы для работы с данными и ИИ. Онтология описывает сам бизнес, поэтому меняется вместе с ним и сохраняется в неизменном виде при каждой такой миграции между платформами.
Смещение и фрагментация контекста снижают точность ИИ-агентов
Более качественный контекст также сокращает расходы на токены: если агент уже располагает нужными определениями, ему не приходится проходить циклы рассуждений, чтобы самостоятельно их вывести. Сложнее обеспечить точность контекста после внедрения. Одна из ведущих лабораторий, занимающихся разработкой моделей, недавно опубликовала исследование собственного аналитического агента: без контекста он правильно отвечал примерно на 30% вопросов, а с контекстом — примерно на 90%. Два месяца спустя точность снизилась до 60%, поскольку контекст, как и конвейеры обработки данных, нуждается в постоянном обслуживании.
По словам Ван де Мале, в ближайшее десятилетие компании будут бороться с фрагментацией контекста, изолированными контекстными хранилищами и проблемами качества контекста — теми же задачами, которые они решали в области данных на протяжении последних 20 лет. Контекст будет одновременно храниться в Anthropic’s Cowork, ChatGPT, Microsoft Copilot, специализированных средах для агентов и на платформах данных. Это создаёт риск того, что в разных системах и подразделениях появятся противоречащие друг другу определения одних и тех же бизнес-терминов.
Как guardian-агенты Collibra обеспечивают соблюдение контрактов агентов
Ответ Collibra на вопросы управления и контекста — контракт агента, который превращает существующий управленческий контекст в машиночитаемые правила, доступные для проверки и исполнения во время работы, а также позволяет единообразно применять их ко всему парку агентов. Общие контракты задают единые границы, а специализированные адаптируют эти требования к различным категориям агентов. По мере появления новых типов агентов правила управления можно будет расширять.
Guardian проверяет предполагаемое действие агента до его выполнения и блокирует любое действие, запрещённое контрактом. Guardian-агенты не могут работать на больших языковых моделях: проверка с помощью БЯМ добавляет слишком много задержек и расходов при каждом действии агента, а её выводы столь же ненадёжны, как и выводы агента, за которым она следит. Collibra создаёт guardian-агентов для детерминированной проверки правил контракта, поэтому одно и то же действие каждый раз получает один и тот же вердикт.
Один механизм контроля не устранит все пробелы, и отрасль, включая Collibra, всё ещё ищет способы управлять такими сбоями. Пока же инвестиции в ИИ следует направлять на контекстный уровень, сказал Ван де Мале.
«У всех нас есть доступ к одним и тем же моделям, поэтому конкурентное отличие определяется вашей способностью зафиксировать уникальные знания компании и предоставить их агентам максимально эффективным способом, — объяснил он. — В этом и заключается ваше конкурентное преимущество».
