Temporal повышает надежность ИИ-агентов

По мере того как корпоративные ИИ-агенты переходят на этап промышленной эксплуатации, организации сталкиваются с нарастающей проблемой надежности. Многие команды обнаруживают, что одной лишь производительности языковых моделей (LLM) недостаточно для успешной работы агентов в продакшене. Долгосрочные ИИ-рабочие процессы должны успешно переживать сбои, сохранять состояние, восстанавливаться после ошибок, контролировать расходы на инференс и координировать взаимодействие между API, инструментами и корпоративными системами.

После первой волны, сосредоточенной на быстром развертывании, организациям теперь необходимо пересмотреть реализации первого поколения и перестроить ранние архитектуры агентов с учетом оркестрации рабочих процессов, наблюдаемости, управления и восстановления, отметила Прити Сомал (Preeti Somal), вице-президент по инжинирингу в Temporal Technologies, во время недавнего мероприятия AI Impact Series в Нью-Йорке.

«У нас действительно много клиентов, которые приходят к нам, когда строят версию 2.0 того же агента, — рассказала Сомал. — Им нужно было двигаться очень быстро, но они не позаботились о базовой инфраструктуре. Всё рушится и горит, и тогда они возвращаются к перестройке на надежном фундаменте».

Для компании Temporal, занимающейся оркестрацией рабочих процессов (инфраструктура которой появилась задолго до текущей волны агентного ИИ), этот сдвиг отражает более широкое осознание в корпоративном секторе: производственным ИИ-системам необходимы долговечное выполнение (durable execution), управление состоянием, прозрачность рабочих процессов и механизмы восстановления при сбоях моделей или нижестоящих систем.

Агентный ИИ вывел знакомые инженерные проблемы на новый уровень

«Эти паттерны не обязательно новы, — считает Сомал. — ИИ просто многократно усиливает их».

Агентные системы привносят дополнительную сложность, поскольку они часто включают в себя долго выполняющиеся многошаговые процессы, охватывающие множество служб, моделей, API и инструментов. Один рабочий процесс может вызывать несколько больших языковых моделей, обращаться к системам поиска и извлечения данных, запускать внешние приложения и управлять состоянием в течение часов или дней. По словам Сомал, инженерные вопросы часто возникают только после развертывания.

«Люди пишут агентов, но не думают о том, что произойдет, если агент зависнет или упадет, — говорит она. — Придется ли мне запускать весь процесс агента заново?»

Для предприятий, работающих в условиях жестких ограничений бюджета, этот вопрос имеет решающее значение. Перезапуск рабочих процессов после сбоев может многократно увеличить затраты на инференс, повысить задержки и ухудшить пользовательский опыт.

Сомал сравнила текущий момент с более ранним периодом внедрения корпоративного облака, когда организации сразу переходили к миграции рабочих нагрузок, не задумываясь о том, что им потребуется перестроить базовую архитектуру, если они хотят, чтобы эти нагрузки выдержали испытание временем.

«Эта спешка с внедрением ИИ в мире, где вы еще даже не модернизировали свое приложение, напоминает мне тот самый перенос рабочих нагрузок (lift-and-shift) в облако, — пояснила она. — Все поняли, что на облако тратится больше денег, а ценности мы так и не получили».

Почему долгосрочные агенты требуют новой архитектуры

Корпоративные рабочие процессы все чаще включают агентов, выполняющихся на протяжении долгого времени, иногда по много часов, взаимодействуя с инструментами и системами. Проблемы с надежностью усугубляются, когда рабочие процессы затягиваются во времени, что влияет как на состояние (state), так и на память (memory) — два понятия, которые в дискуссиях об ИИ часто используют как взаимозаменяемые.

Состояние относится к выполнению рабочего процесса. Оно включает в себя информацию о том, на каком этапе находится агент, какие действия уже завершены и с какого момента следует возобновить работу после сбоя. Память или контекст фиксируют информацию, которую агент переносит между различными взаимодействиями или задачами.

«Состояние агента связано с тем, на каком шаге он находится и какие действия были выполнены, и если происходит сбой, откуда вы хотите восстановиться, в отличие от концепции контекста и памяти», — пояснила Сомал.

Это различие приобретает все большую важность по мере того, как предприятия начинают переходить от простых чат-ботов к более сложным бизнес-процессам с длительным временем выполнения. Сомал привела пример из сферы здравоохранения, связанный с клиентом Abridge, где рабочие процессы обрабатывают визиты к врачу в несколько этапов, включая обработку аудио, создание резюме, вызовы моделей и подготовку документов после приема.

«Этот поток состоит не из одного элемента, — отметила Сомал. — Захват видео и его нарезка, создание сводок, вызовы LLM, генерация резюме после визита — все это оркестрируется».

Для предприятий это означает, что успешные агенты все больше зависят от систем, способных переживать прерывания, координировать работу служб и сохранять непрерывность с течением времени.

Появление детерминированного стержня

Полезной концепцией для проектирования корпоративного ИИ является детерминированный стержень (deterministic spine), говорит Сомал, описывая то, как они видят роль Temporal.

«Это обозначение пути, по которому вы хотите следовать, — сказала она. — Это обращение к мозгу, но если мозг не отвечает, он вызовет его снова. Если мозг отвечает, но следующий шаг должен завершиться ошибкой, система продолжит работу с того места, где произошел сбой».

В такой системе языковая модель выступает в роли вероятностного механизма, выдающего вариативные результаты, в то время как ПО для оркестрации обеспечивает надежность выполнения. Эта концепция важна, поскольку корпоративные системы все чаще требуют стабильности, даже когда модели остаются недетерминированными. Рабочий процесс закупок, медицинское резюме, эскалация запроса в службу поддержки или процесс соблюдения нормативных требований (комплаенс) не могут просто молча завершиться сбоем из-за того, что вызов модели превысил лимит времени или внешняя зависимость рухнула.

«Больше всего вы заботитесь о том, чтобы иметь возможность восстановления и не платить налог на токены, если что-то пойдет не так», — подчеркнула Сомал.

Надежность, видимость и экономика расхода токенов

Поскольку руководители предприятий оценивают окупаемость инвестиций в ИИ (ROI), видимость затрат становится все более острой проблемой. Долгосрочные агенты часто делают множество вызовов моделей в рамках сложных рабочих процессов, что может создавать непрозрачные структуры расходов. Сомал назвала одним из операционных преимуществ оркестрации возможность видеть, где именно аккумулируются затраты. Поскольку рабочие процессы можно отслеживать шаг за шагом, команды могут видеть, где именно расходуются токены в процессе работы агента.

«У вас есть обзор всего этого процесса в едином интерфейсе, — сказала она. — Теперь вы можете видеть, где именно вы тратите токены в агенте, который состоит из множества шагов и вызывает множество различных систем».

Восстановление рабочих процессов также влияет на экономическую эффективность. Без надежной оркестрации сбой на поздней стадии может заставить организации перезапускать весь процесс с самого начала, включая все предыдущие вызовы моделей. По словам Сомал, системы, разработанные с учетом восстановления, могут возобновлять выполнение с момента прерывания.

«Вы продолжаете с того места, где произошел сбой, — отметила она. — Мы избавляем вас от затрат на повторный запуск агента с первого шага».

Предприятиям необходимо создавать проверенные маршруты и привлекать экспертную помощь

Проблемы управления и контроля (governance) — еще один возникающий тренд по мере распространения агентного ИИ. Вместо того чтобы целиком внедрять полностью управляемые агентские системы, предприятия все чаще стремятся к стандартизированным внутренним фреймворкам, которые обеспечивают защитные механизмы (guardrails), сохраняя при этом гибкость и реализуя необходимые функции, такие как средства контроля управления, политики выбора моделей, системы идентификации, управление затратами и наблюдаемость.

«Предприятия рассматривают создание таких проверенных маршрутов, — сказала она. — Взять что-то готовое с полки, возможно, не получится, потому что существует весь этот набор дополнительных требований».

Поскольку организации пересматривают развертывания первого поколения, подобные проблемы все меньше напоминают проблему самих моделей и все больше — проблему системной инженерии. Компания Temporal имеет все возможности для того, чтобы помочь предприятиям сделать этот следующий шаг, отчасти потому, что для многих организаций она уже существовала как часть более широких программ модернизации еще до того, как ИИ стал стратегическим приоритетом.

«Temporal уже присутствует на предприятиях, — резюмировала Сомал. — Взять это решение и распространить его на ИИ- и агентные платформы кажется совершенно естественным шагом».