Morgan Stanley сокращает сверку прибылей и убытков вдвое

До сих пор большинство внедрений корпоративного искусственного интеллекта были сосредоточены на ассистентах по написанию кода и ботах для службы поддержки. Morgan Stanley задействовал ИИ-агентов в одной из самых критически важных с точки зрения точности и жестких по срокам банковских задач — сверке прибылей и убытков (P&L) — и сократил объем работы вдвое. Самое парадоксальное здесь то, что этого удалось добиться, сделав систему менее автономной, а не более.

Люди остаются непосредственно вовлеченными в процесс, а их решения итеративно превращаются в повторяющиеся правила, которые система может применять самостоятельно.

«Это больше похоже на коллегу, чем на второго пилота», — отметил управляющий директор Morgan Stanley Тодд Джонсон на недавнем мероприятии VB AI Impact. Внутренняя производственная агентная система, известная как FIXR, выходит за рамки простых и понятных задач «генеративного ИИ версии 1.0». «Мы считаем, что именно здесь кроется возможность по-настоящему реализовать более сложную работу в организации».

FIXR изнутри

Каждый торговый день трейдинговые столы Morgan Stanley выполняют важные операции с такими активами, как акции или долговые инвестиции. 

А в конце каждого такого дня контроллеры должны сверять прибыли и убытки по системам финансов, рисков, операций и учета сделок финансового гиганта. Все эти данные необходимо свести воедино, и, что неудивительно, сотни тысяч атрибутов часто не совпадают.

Обычно это означает, что контроллеры должны вручную исследовать каждое несоответствие (или «разрыв»), принимать решения о корректировках и, в идеале, утверждать их до того, как цифра уйдет на торговый стол. И все это — в условиях жесткого дедлайна в первой половине дня. 

Раньше на это уходило до шести часов для одной книги учета. Теперь FIXR справляется с этой задачей за два-три часа, сообщил Джонсон. В масштабах примерно 100 контроллеров, выполняющих эту работу, это дает экономию около 1500 часов в неделю.

После завершения ночных расчетов P&L система автоматически анализирует «разрывы» и предлагает варианты их устранения на основе изученных правил. Вместе работают несколько агентов: 

• Один интерпретирует прошлые рекомендации для выработки решений на начало дня.

• Один учится на поведении контроллеров и документирует применяемые ими правила.

• Один преобразует повторяющиеся паттерны в устойчивую автоматизированную логику.

Со временем система может автоматически устранять определенные разрывы, с которыми она уже сталкивалась ранее, предлагать решения для других, менее знакомых случаев, запрашивать помощь при сомнениях и отмечать моменты для проверки человеком. Когда элементы неоднократно разрешаются одним и тем же методом, система может создавать жесткие правила. 

Что критически важно, люди не выходят из процесса, а остаются полностью вовлеченными в него, отметил он. Они проверяют, одобряют или корректируют каждую рекомендацию, а затем передают эти решения обратно для улучшения следующего запуска. Агент ежедневно учится у контроллеров тому, что он делает правильно, а что нет, и кодифицирует эти знания по мере итераций. 

«Вы все равно сохраняете элемент человеческой ответственности, даже когда начинаете автоматизацию, — сказал Джонсон. — Со временем все больше и больше таких вопросов будут решаться автоматически».

Он подчеркнул, что автономия требует огромного доверия; предприятия не увидят прироста эффективности, если каждый будет перепроверять абсолютно каждое действие агента.

Петля обратной связи между человеком и агентом имела решающее значение для решения задачи контролируемой, размеренной и повторяющейся автоматизации. «Мы осознали, что весь тот интеллект, который хранится в сознании контроллера, будет трудно перенести в агента в первый же день», — отметил Джонсон.

Фокус на процессах и расширяемости

По словам Джонсона, было критически важно сначала наладить процессы и только потом подключать ИИ. Его команда провела «очень тщательную» оценку процессной интелигенции, которая сопоставила и проанализировала рабочие процессы, чтобы определить, где автоматизация принесет наибольшую пользу: нужны ли здесь агенты, традиционная автоматизация или просто реинжиниринг неэффективного шага. 

«Если мы сможем исправить это до того, как добавлять агентов в уравнение, тогда мы действительно трансформируем возможности», — сказал он.

Процесс подписания P&L был полон ручных этапов, подходящих для автоматизации, и агенты, берущие на себя часть этих трудоемких задач, освобождают контроллеров для «более ценного анализа» и «более глубокой оценки рисков», пояснил он.

Однако расширяемость оказалась не менее важна, чем экономия времени. Команда Джонсона выбрала именно этот вариант использования сверки P&L потому, что эту работу выполняли сотни контроллеров по всему миру (в Северной и Южной Америке, Европе, Азии).

Итак, нужно начать с одного сценария использования, доказать его эффективность, масштабировать, «и тогда в конечном итоге трансформация произойдет по мере того, как мы будем внедрять это все шире и шире в масштабах всей организации», — заявил Джонсон.

Детерминизм по замыслу

Джонсон рассказал, что команда также намеренно ограничила степень зависимости рабочего процесса от усмотрения самой модели. «Если у вас есть возможность сделать процессы строго регламентированными и повторяемыми, это дешевле с точки зрения потребления токенов, это надежнее с точки зрения контроля — а LLM пусть делает то, где вам не нужен такой детерминированный рабочий процесс», — пояснил он.

По мере того как система получает все больше отзывов от контроллеров по определенному типу разрывов, Morgan Stanley преобразует этот паттерн в фиксированное правило, вместо того чтобы полагаться на модель.

Люди по-прежнему отвечают за поведение системы 

Интересный (и, пожалуй, фундаментальный) вопрос, возникающий на заре эпохи агентов, звучит так: являются ли агенты кодом или цифровыми сотрудниками?

Джонсон утверждает, что «они, вероятно, представляют собой и то, и другое», а потому требуют тонкого подхода к управлению и надзору. Технические команды по-прежнему должны нести ответственность за поддержание средств защиты и барьеров, таких как брандмауэры или шифрование. 

Но здесь возникает и новая динамика, касающаяся «элемента эффективности»: люди, использующие агентов, несут за них ответственность, поскольку те помогают им в бизнес-процессах. Например, если старший контроллер работает с младшим, он не просто снимает с себя ответственность только потому, что кто-то ему помогает, отметил Джонсон. 

«Один из наших главных принципов в области управления ИИ заключается в том, что всегда должна быть ответственность человека, даже при наличии определенной степени автоматизации», — сказал он.

Но обычно здесь нет «одного конкретного человека», и этот процесс в конечном итоге непрерывен. В связи с этим Джонсон пошутил, что одна из «депрессивных» особенностей агентного ИИ заключается в том, что он потребует постоянного обучения, поскольку модели постоянно меняются.

«Вы никогда не сможете сказать: «Мы провели всю необходимую оценку и тестирование. Давайте просто отпустим это в свободное плавание». Вам придется поддерживать постоянный контроль по мере эволюции системы».

Morgan Stanley нацелен на реальные болевые точки бизнеса

Опыт Morgan Stanley отражает тенденции, которые VentureBeat обнаружил при анализе внедрения ИИ на уровне предприятий.

В недавнем исследовании VentureBeat VB Pulse почти три четверти респондентов сообщили, что видят минимальную окупаемость инвестиций (ROI) от кастомизации и дообучения (fine-tuning) моделей, описывая «кладбище песочниц» из ИИ-проектов, которые оказались слишком дорогими в обслуживании. Это говорит о том, что подход Morgan Stanley, ориентированный на процессы и комбинацию готовых решений, может оказаться более устойчивым, чем погоня за заказными моделями. В опросе приняли участие 87 респондентов, и его результаты следует рассматривать как общую тенденцию.

Управление (governance) стало еще одной распространенной проблемой: 38% респондентов назвали отсутствие единого ответственного лица главным препятствием на пути к промышленному внедрению ИИ, в то время как лишь два из 87 опрошенных предприятий имели действующие системы мониторинга и оповещения для обнаружения сбоев моделей.