MassMutual повышает производительность благодаря ИИ на 30%

Корпоративные ИИ-программы редко терпят неудачу из-за плохих идей. Чаще всего они застревают в режиме неконтролируемых пилотных проектов и так и не доходят до стадии промышленной эксплуатации. На недавнем мероприятии VentureBeat технологические лидеры из MassMutual и Mass General Brigham рассказали, как им удалось избежать этой ловушки и к каким результатам приводит замена хаоса дисциплиной.

В MassMutual результаты вполне осязаемы: производительность разработчиков выросла на 30%, время решения вопросов в ИТ-службе поддержки сократилось с 11 минут до одной, а продолжительность звонков в службу поддержки клиентов уменьшилась с 15 минут до всего лишь одной-двух.

«Мы всегда начинаем с вопроса: почему нас волнует эта проблема? — рассказал на мероприятии Сирс Мерритт (Sears Merritt), руководитель отдела корпоративных технологий и клиентского опыта в MassMutual. — Если мы решим проблему, как мы поймём, что решили её? И какую ценность это принесёт?»

Определение метрик и создание эффективных механизмов обратной связи

Компания MassMutual с 175-летней историей, обслуживающая миллионы страхователей и клиентов, внедрила ИИ в рабочие процессы по всему бизнесу: в поддержку клиентов, ИТ, привлечение клиентов, андеррайтинг, обслуживание, урегулирование претензий и в другие сферы.

По словам Мерритта, его команда следует научному методу, начиная с гипотезы и проверяя, приведёт ли она к результатам, которые реально продвинут бизнес вперёд. Некоторые идеи великолепны, но могут оказаться «неподъёмными для бизнеса» из-за таких факторов, как нехватка данных, отсутствие доступа или регуляторные ограничения.

«Мы не продвинемся с идеей дальше, пока у нас не будет кристальной ясности в том, как мы будем её измерять и как мы определим успех».

В конечном счёте, именно различные подразделения и руководители должны определять, что означает качество: выбрать метрику и установить минимальный уровень качества до того, как инструмент попадёт в руки команд и партнёров.

Такая отправная точка создаёт быстрый цикл обратной связи. «Фактором, который, как мы замечаем, замедляет нас, является отсутствие общего понимания того, какого результата мы пытаемся достичь», что может привести к путанице и постоянным перенастройкам, отметил Мерритт. «Мы не выходим в продакшн, пока не появится бизнес-партнер, который скажет: «Да, это работает»».

Его команда стратегически подходит к оценке новых инструментов и действует «крайне строго» при тестировании и измерении того, что означает «хорошо». Например, они проводят оценку надежности для снижения частоты галлюцинаций, устанавливают пороговые значения и критерии оценки, а также отслеживают смещение характеристик и результатов.

Мерритт также придерживается политики отсутствия жестких обязательств — это означает, что компания не привязывает себя к использованию какой-то одной конкретной модели. У них функционирует то, что он называет «невероятно гетерогенной» технологической средой, сочетающей лучшие в своем классе модели наряду с мейнфреймами, работающими на COBOL. Эта гибкость не случайна. Его команда создала общие уровни сервиса, микросервисы и API, которые располагаются между уровнем ИИ и всем остальным стеком, поэтому при появлении лучшей модели её замена не означает необходимость начинать всё сначала.

Потому что, как пояснил Мерритт, «лучшая модель сегодня завтра может оказаться худшей, и мы не хотим оказаться в ситуации, когда мы отстаем».

Прополка вместо принципа «пусть расцветают тысяча цветов»

Система здравоохранения Mass General Brigham (MGB), со своей стороны, поначалу придерживалась подхода «пальцем в небо» (spray and pray).

Около 15 000 исследователей в этой некоммерческой системе здравоохранения использовали ИИ, машинное обучение и глубокое обучение на протяжении последних 10–15 лет, сообщил технический директор Наллан «Шри» Шрираман (Nallan “Sri” Sriraman) на том же мероприятии VB.

Но в прошлом году он сделал смелый выбор: его команда закрыла массу бесконтрольных пилотных проектов в сфере ИИ. Поначалу «мы действительно следовали [методологии] цветения тысячи цветов, но у нас расцветали не тысяча цветов, а, пожалуй, всего несколько десятков», — рассказал он.

Подобно команде Мерритта в MassMutual, MGB переключилась на более целостный подход, изучая, почему они разрабатывают те или иные инструменты для конкретных отделов или рабочих процессов. Они задались вопросом, какие возможности им нужны и желательны, и каких инвестиций это потребует.

Команда Шрирамана также обсудила с основными поставщиками платформ — Epic, Workday, ServiceNow, Microsoft — их планы развития. Это стало «поворотным моментом», отметил он, поскольку они осознали, что создают собственные инструменты, которые вендоры уже предоставляют (или планируют выпустить).

Как выразился Шрираман: «Зачем нам создавать это самим? Мы уже находимся на платформе. Это будет интегрировано в рабочий процесс. Используйте это».

Тем не менее, рынок все еще находится в зачаточном состоянии, что может усложнять принятие решений. «Я приведу аналогию: когда вы просите шестерых слепых потрогать слона и сказать, на что он похож, — говорит Шрираман. — Вы получите шесть разных ответов».

В этом нет ничего плохого, отметил он; просто все занимаются исследованиями и экспериментами по мере того, как ландшафт продолжает меняться.

Вместо атмосферы Дикого Запада команда Шрирамана распространяет Microsoft Copilot среди пользователей по всему бизнесу и использует «небольшую зону приземления», где они могут безопасно тестировать более сложные продукты и контролировать использование токенов.

Они также начали «осознанно внедрять амбассадоров ИИ» в бизнес-группы. «Это своего рода противоположность принципу «пусть расцветают тысяча цветов» — тщательная посадка и уход», — сказал Шрираман.

Наблюдаемость (observability) — еще один важный фактор; он описывает панели мониторинга в реальном времени, которые управляют дрейфом моделей и безопасностью, позволяя ИТ-командам управлять ИИ «более прагматично». Мониторинг работоспособности имеет решающее значение для систем ИИ, отметил он, и его команда установила принципы и правила использования ИИ, не говоря уже о привилегиях наименьшего доступа.

В клинических условиях защитные барьеры абсолютны: системы ИИ никогда не принимают окончательное решение. «В процессе принятия решений всегда участвует врач или ассистент врача», — сказал Шрираман. Он назвал создание радиологических отчетов одной из сфер, где ИИ используется активно, но окончательную подпись всегда ставит врач-радиолог.

Шрираман высказался предельно четко: «Чего делать точно не следует: не передавайте PHI [защищенную медицинскую информацию] в Perplexity. Все просто, правда?»

И, что немаловажно, должны существовать механизмы безопасности. «Нам нужна большая красная кнопка для отключения», — подчеркнул Шрираман. «Мы ничего не запускаем в эксплуатацию без этого».

В конечном счете, хотя агентный ИИ — это технология, меняющая правила игры, подход к нему в масштабах предприятия не обязательно должен кардинально отличаться. «В этом нет ничего нового, — сказал Шрираман. — Вы можете заменить аббревиатуру BPM [управление бизнес-процессами] из 90-х и 2000-х годов на ИИ. Применяются те же концепции».