Как Liberty Mutual избежала зависимости от одного поставщика ИИ

Когда платформа Fable 5 от Anthropic была отключена от международного использования почти на три недели, некоторые компании, слишком сильно зависевшие от нее, оказались в растерянности.

Но Liberty Mutual с легкостью переключилась на другие платформы. Все потому, что 18 месяцев назад они создали свою «магистральную ИИ-сеть» (AI backbone) как раз для подобных сценариев.

Согласно исследованию VB Pulse от VentureBeat, 85% предприятий в настоящее время используют по меньшей мере две платформы, каждая из которых претендует на роль «основного» уровня ИИ в организации — это именно тот тип спорного многопоставщического хаоса, для управления которым Liberty Mutual и создала свою независимую плоскость управления.

«Все меняется так быстро, что вам необходима гибкая магистральная инфраструктура, — заявил Брайан Крейг (Brian Craig), старший директор по архитектуре в Liberty Mutual, на недавнем мероприятии VB Impact. — Сейчас нельзя замыкаться на каком-то одном вендоре или даже на одном фреймворке».

Предприятиям необходима гибкость, чтобы подключаться к различным моделям и поставщикам, ориентируясь не столько на «тренд дня», сколько на то, «в чем вы можете быть уверены в течение следующих шести месяцев», отметил он.

Среда выполнения против плоскости управления

«Магистраль» (или плоскость управления) компании принадлежит ей самой, в то время как все, что находится под ней, остается взаимозаменяемым.

Архитектура состоит примерно из 50 компонентов, охватывающих безопасность, идентификацию, оркестрацию, ограничение инструментов и правила, регулирующие поведение агентов. Каждый из них разработан с расчетом на независимую и немедленную замену для поддержки взаимодействия.

Среда выполнения агентов (agent runtime) под этой магистралью — это Amazon Bedrock AgentCore от AWS; это не стратегический центр, а явно «просто для запуска агентов», сказал Крейг. Он выбрал это решение, поскольку оно (по крайней мере, на данный момент) поддерживает несколько фреймворков и философию Liberty Mutual, не привязанную к конкретным моделям.

«У нас по-прежнему сохраняется гибкость в зависимости от того, что мы пишем, — сказал Крейг. — Но если появится что-то лучшее, мы перейдем на это довольно быстро».

Программная фабрика

Эта архитектура обеспечивает реализацию того, что в Liberty называют «программной фабрикой» — агентного конвейера, который автоматизирует большую часть процесса поставки программного обеспечения.

Они начали с бизнес-процесса с очевидными трудностями: загрузки документов электронного управления контентом для страховых продуктов. Эта рутинная и ручная задача обычно требовала от инженеров кодирования каждого изменения.

Вместо этого команда создала фабрику скоординированных агентов, работающих «в тандеме и последовательно»:

• Агент эпиков (Epic agent) обрабатывает высокоуровневые требования.

• Агент историй (Story agent) разбивает работу, заданную агентом эпиков, на узкие задачи в рамках конкретных областей применения. Этот агент «ограничивает контекст, потому что чем меньше контекст, тем лучше результат».

• Агент планирования (Planning agent) определяет план технической реализации.

• Агент кодирования/тестирования (Coding/testing agent) занимается написанием кода, тестированием и базовым ревью.

• Агент триажа (критик) находится над всеми остальными агентами, проверяя качество и передавая данные для улучшений.

• Агент-библиотекарь помогает остальным находить «контекст знаний для их работы».

Крейг и его команда быстро поняли, что создание одного агента «для всего» было ошибкой. «Вы просили его делать слишком много вещей, а это означало, что ему нужно давать слишком много информации», — сказал Крейг. Разделение на шесть агентов позволило им радикально сократить контекстные окна и сузить область задач.

Как только фабрика была запущена в производство, результат не заставил себя ждать. В ходе первого внедрения они выполнили «около трех месяцев работы» примерно за неделю. Они осознали, что «в текущем процессе разработки ПО огромное количество передач задач из рук в руки, что означает колоссальное время ожидания», — отметил Крейг.

Автоматизация в человеческом темпе

Эта фабрика представляет собой не полностью автономный конвейер; она работает со скоростью контролирующих ее людей.

Первая модель Liberty работала по ритму «дневной/ночной смены»: инженеры днем ставили цели и правила, а также проверяли результаты работы предыдущей ночи, после чего давали фабрике возможность работать ночью. Но на практике работы никогда не было столько, чтобы занять агентов на всю ночь, и такой ритм казался неестественным.

Они перешли к более итеративному циклу. Пользователи сами решают, когда запускать фабрику, как долго ей работать до паузы и на каких этапах они хотят проверить результаты. «Затем фабрика включалась, могла проработать меньше часа, и после этого вы снова проверяли результат, — рассказал Крейг. — Это контролировалось со скоростью, которая была комфортна нашим пользователям».

Уровень оркестрации позволяет командам выбирать, проводить ли проверку после стадии эпиков, после планирования или после завершения кодирования и тестирования. «Это зависит от пользователей фабрики, но это полностью избавило нас от значительной части времени ожидания, которое раньше было присуще нашим процессам», — сказал Крейг.

Для сравнения, на ранних этапах «каждый раз, когда эта штука работала, они хотели посмотреть на результат», и это стало циклом обратной связи, который обучал как людей, так и агентов.

Часть этого процесса, по выражению Крейга, представляет собой «просто автоматизацию Agile на высокой скорости» и предоставление итеративной обратной связи: от людей или от агента триажа. «Но мы видим, как это начинает приживаться и превращается в свод правил».

Когда одна и та же обратная связь поступает из двух разных источников (от агента и от человека), имеет смысл занести ее в репозиторий контекста Liberty. В следующий раз, когда агентам потребуется принять такое решение, они будут опираться на этот контекст, «и снова в следующий раз, и процесс начинает ускоряться».

«Как только вы начинаете их создавать и запускать, это начинает работать как маховик, — сказал Крейг. — Вы понимаете, что система прислушивается к тому, что вы говорите».

Контракты, соответствующие темпу изменений

Liberty объединила такой архитектурный подход с договорным подходом, сознательно отказавшись от пятилетних корпоративных контрактов в пользу однолетних соглашений.

С точки зрения Крейга, логика проста: рынок ИИ движется слишком быстро, чтобы привязываться к одному поставщику или фреймворку на пол-десятилетия или дольше. Более короткие сроки позволяют им оценивать — и при необходимости заменять — модели и платформы с той скоростью, с которой действительно меняется рынок.

Стоимость также играет роль. Когда появляется передовая премиальная модель вроде Fable, шок от ценника вполне реален. «Ты видишь цену и думаешь: «О боже, она должна быть действительно хороша»», — сказал Крейг. (Так и было; они успели воспользоваться ей настолько, чтобы «влюбиться в нее»).

Взаимооперабельность магистральной сети позволяет его команде сравнивать модели в разных ценовых категориях и направлять рабочие нагрузки на основе соотношения цены и производительности, а не инерции поставщика.

Тот же подход определяет и то, как они планируют использовать агентов от крупных SaaS-платформ. Liberty является клиентом Salesforce и Splunk, которые обе «представят своих агентов». У его команды нет интереса дублировать инженерную работу, но они настаивают на наблюдаемости (observability).

«Мы просто хотим использовать это как часть нашей системы», а не контролировать, сказал Крейг. «Но нам нужна наблюдаемость, чтобы понимать, что их агент делает с нашими данными, с нашими пользователями».

Устранение «пробела в управлении»

Важно отметить, что Liberty встроила наблюдаемость непосредственно в свою магистральную систему.

Как пояснил Крейг, речь идет не просто о логировании действий агента, но и о том, к чему он получает доступ, какую учетную запись использует и какие инструменты ему разрешено вызывать. Идентификация и доступ частично реализованы на базе Microsoft Entra ID, а агентам предоставляются только те инструменты и разрешения, которые им явно назначены.

Всякий раз, когда агент понимает: «У меня нет информации», он запрашивает ее и получает только то, что ему необходимо, вместо того чтобы наделяться полномочиями «использовать каждый инструмент из коробки».

«Потому что слишком большое количество информации, выданное агенту, хуже, чем ее отсутствие, — сказал Крейг. — Вы просто перегружаете его, и он начинает путаться».

Для обнаружения проблем Liberty проводит оценки с помощью MLflow на «эталонных наборах данных» (golden datasets). При каждом изменении промптов или моделей они проводят регрессионное тестирование и сразу видят, улучшились результаты или ухудшились.

Одна из новых мантр его команды — помнить, каково это быть новым сотрудником: если новый сотрудник не может найти руководящий документ, то и ИИ-агент тоже не сможет. Одна из ключевых задач для предприятий, независимо от бизнес-процесса, — «записывать всё на бумаге, что не является чем-то из ряда вон выходящим», сказал Крейг. Агенты подчиняются письменным стандартам надежнее, чем люди, а репозиторий контекста является центральным артефактом системы Liberty Mutual.

Он подчеркнул, что агенты сделали человеческое суждение не менее, а более важным. Ничто не отправляется в продакшн без одобрения человека, что соответствует рисковой политике Liberty как страховой компании.

«У нас еще нет достаточной уверенности, чтобы позволить системе действовать полностью самостоятельно, и я не думаю, что для такой компании, как Liberty, это когда-либо изменится, — заявил Крейг. — Прежде чем выпустить [что-либо] в продакшн, мы должны быть абсолютно уверены в надежности».