MassMutual AI: 12-месячные контракты, без привязки к обязательствам

Команды разработчиков корпоративного ИИ сталкиваются с дилеммой: лучшие модели сегодня могут оказаться не лучшими через год. Ответ компании MassMutual заключается в том, чтобы отказаться от долгосрочных ставок и создать инфраструктуру, позволяющую менять модели по мере изменения рынка.

«Сегодняшний мир искусственного интеллекта невероятно динамичен, — объяснил Сирс Мерритт (Sears Merritt), директор по информационным технологиям MassMutual, в новом подкасте VB Beyond the Pilot. — Мы хотели убедиться, что готовы оседлать эту волну динамизма».

Судя по всему, эта стратегия приносит серьезные плоды. В MassMutual зафиксировали рост производительности разработчиков примерно на 30%, в то время как рабочие процессы в контакт-центрах на базе ИИ сократили время решения проблем с 10 минут до одной, а расходы снизились с долларов до центов.

Однако более широкий урок для ИТ-лидеров заключается не столько в результатах, сколько в том, как компания продуманно выстраивает свою ИИ-инфраструктуру, ставя на первое место пользователей.

Сохранение вариативности ради возможностей завтрашнего дня

MassMutual сотрудничает с передовыми поставщиками, но ограничивает эти отношения временными рамками. «Сроки действия этих отношений ограничены, чтобы мы сохраняли вариативность в выборе лучших в своем классе инструментов по мере того, как эта сфера развивается и в какой-то момент успокаивается и стабилизируется», — отметил Мерритт.

Эта философия распространяется и на модели с открытым исходным кодом. По словам Мерритта, его команда «на 100%» изучает инструменты с открытым исходным кодом и видит за этой технологией большую роль в том, как MassMutual (и подобные компании) используют ИИ.

«Нам, безусловно, понадобятся пограничные модели и передовые возможности для решения задач, которые сегодня кажутся невозможными, а завтра станут возможными», — сказал он.

Измерение результатов с самого начала

ИИ-инициативы MassMutual делятся на две основные категории.

Первая категория ориентирована на расширение возможностей: предоставление инструментов повышения производительности, таких как Copilot и виртуальные ассистенты, всем сотрудникам. Вторая категория включает в себя то, что Мерритт описывает как инициативы «углубления и фокусировки», когда команды нацеливаются на конкретный рабочий процесс или бизнес-процесс, который окажет сильное влияние на консультантов, страхователей или сотрудников.

Вместо того чтобы фокусироваться на метриках внедрения, эти проекты начинаются с заранее определенных критериев успеха. «Все, что мы делаем, измеряется, — сказал Мерритт. — Мы всегда определяем метрику успеха заранее, чтобы решить, будем ли мы масштабировать те или иные разработки».

Компания также целенаправленно поощряет эксперименты, предоставляя сотрудникам доступ к спектру лучших в своем классе моделей, «рабочим процессам с высоким потреблением токенов» и другим потенциальным возможностям, чтобы они могли сопоставить выгоду с «более простыми и дешевыми» большими языковыми моделями (LLM).

В то же время MassMoutual собирает все более подробную аналитику о шаблонах использования, рабочих процессах разработчиков, производительности моделей и затратах. Цель состоит в том, чтобы сократить расходы и одновременно сформировать оперативную аналитику для последующей маршрутизации рабочих нагрузок на нужную модель с учетом стоимости, качества ответа и пользовательского опыта.

Эти инсайты в конечном итоге будут определять решения по оптимизации маршрутизации моделей, выбору промптов, времени отклика и проектированию инфраструктуры.

«Мы получаем доступ к аналитике, которая позволяет нам очень детально изучать шаблоны использования, рабочие процессы разработчиков и понимать, кто, что, когда и для каких задач использует», — рассказал Мерритт.

Почему MassMoutual иногда выбирает более дорогую модель

Еще один интересный аспект подхода MassMutual — то, как компания оценивает качество ИИ. Вместо того чтобы фокусироваться исключительно на бенчмарках или стоимости токенов, компания использует структуру, которую Мерритт называет «индексом доверия» (trust score).

Этот процесс объединяет отзывы пользователей с операционными метриками, чтобы понять, как сотрудники воспринимают ответы, сгенерированные ИИ, и действительно ли эти ответы улучшают результаты.

Модернизация контакт-центра подвергла эту систему суровой проверке. На этапе разработки сотрудникам предоставили доступ к двум разным LLM. Первая генерировала ответы практически в реальном времени, но качество было более «шумным». Второй, более дорогой вариант, отвечал на несколько секунд дольше, но стабильно выдавал более качественные результаты.

Общепринятая мудрость и скорость ведения бизнеса могли бы подсказать, что пользователи предпочтут первый вариант; однако они подавляющим большинством выбрали качество. Команда Мерритта опросила пользователей насчет качества ответа, предпочитаемой модели и их общего впечатления от взаимодействия.

В большинстве случаев пользователи говорили: «Мы хотим более дорогую модель. Мы готовы подождать, но разница в качестве настолько велика, что эти две дополнительные секунды действительно того стоят».

Именно эти отзывы в конечном итоге определили, какую модель развернула MassMutual.

«Мы учли этот фактор опыта при принятии решений, и это привело нас к выводу, что в относительным выражении затраты не имеют значения, поэтому мы будем использовать более сложную модель», — резюмировал Мерритт.

Послушайте полный выпуск подкаста, чтобы узнать больше о том:

• Почему «Мифос» (Mythos) «полностью изменил» ландшафт кибербезопасности — дело не в типе угроз, а в скорости их появления;

• Как команда ИИ-инженеров модернизировала мейнфрейм MassMutual за 7 дней (процесс, который раньше занял бы 3 месяца);

• Почему MassMutual намеренно избегала «токенмаксинга» для сдерживания использования ИИ и расходов, перейдя на «безлимит», чтобы защититься от резкого роста затрат;

• Как «среда с множественной обвязкой» (multi-harness) поддержит агентный ИИ.

Вы также можете послушать и подписаться на Beyond the Pilot на Spotify, Apple или на любой другой платформе, где вы слушать подкасты.