Принципы искусственного интеллекта от Expedia для масштабируемых систем

Существует важная разница между ИИ, который просто работает сегодня, и ИИ, способным функционировать в долгосрочной перспективе в любом масштабе. Многие компании изо всех сил оптимизируют первое, даже не задаваясь вопросом, строят ли они второе.

Скорость без дисциплины и стратегического направления — это уязвимость, а не преимущество. Самая сложная часть создания ИИ в масштабе — вовсе не заставить модель заработать один раз. Главное — создать системы, которые продолжают работать, масштабируются за рамки отдельных команд и сценариев использования, а также стабильно улучшаются с течением времени.

Современные системы искусственного интеллекта делают гораздо больше, чем просто прогнозируют и оптимизируют. Они поддерживают диалог, рассуждают и все чаще принимают решения. Автономная система, принимающая решения от имени путешественника, формирует совершенно иной уровень ожиданий в отношении надежности, управления и подотчетности. По мере того как ИИ берет на себя все больше подобных ролей, принципы, лежащие в основе работы таких систем, приобретают как никогда важное значение.

Мы потратили годы на внедрение ИИ и машинного обучения (МО) на всех этапах путешествия — от персонализации, ранжирования и рекомендаций до предотвращения мошенничества, поддержки клиентов и, в последнее время, генеративного ИИ и агентских систем. Такой глубокий опыт привел нас к разработке набора принципов машинного обучения и ИИ, которые определяют то, как мы создаем, развертываем и развиваем системы ИИ в нашей компании.

Цель проста: гарантировать, что создаваемые нами системы приносят реальную бизнес-пользу, масштабируются и работают безопасно. Эти принципы определяют то, как мы оцениваем, проектируем, управляем и эксплуатируем наши системы.

От принципов к практике

Опубликовать принципы — это самая легкая часть. Гораздо более сложная и важная задача — превратить их в рабочие механизмы: рекомендации, требования, инструменты и процессы релиза, которыми команды реально пользуются.

Мы начали использовать контрольные точки (толлгейты) «агентских релизов»: набор рекомендуемых, а в некоторых случаях обязательных проверок перед запуском функций агентского ИИ. Эти контрольные точки переводят такие принципы, как четкое распределение ответственности, управление рисками, оценка, безопасное развертывание и мониторинг, в конкретные ожидания для команд.

Некоторые из этих рекомендаций и требований уже автоматизируются и интегрируются в жизненный цикл разработки программного обеспечения (SDLC). Со временем цель состоит в том, чтобы эти требования стали неотъемлемой частью проектирования, оценки, утверждения, запуска и мониторинга систем ИИ с самого начала.

Результаты: измерение того, что действительно важно

Первая проверка для любой модели заключается в том, улучшает ли она бизнес-результаты и, в конечном счете, опыт путешественника, а вовсе не в том, улучшает ли она технические метрики.

1. Согласуйте модели с метриками влияния на бизнес: Каждое начинание в области МО должно быть напрямую связано с ключевым бизнес-результатом или метрикой взаимодействия с путешественником. Технические оптимизации — это полезные промежуточные точки, а не конечные цели.

2. Оптимизируйте окупаемость затрат: Ценность, создаваемая моделью, должна оправдывать затраты на ее разработку, обучение и мониторинг, а также операционную сложность, которую она добавляет. Отдавайте предпочтение решениям, которые обеспечивают долгосрочный эффект по сравнению со стоимостью их запуска.

3. Обосновывайте сложность с помощью надежных базовых показателей: Сложность должна быть оправданной, а не предполагаемой. Начинайте с прочной базы: существующей общей модели, простого эвристического подхода или готового решения. Прибегайте к специализированным моделям или более сложным архитектурам только тогда, когда более простые варианты действительно не справляются с задачей.

4. Требуйте как офлайн-, так и онлайн-оценку: Ни одна модель не выходит на масштабное развертывание только на основе офлайн-валидации и не переходит сразу к А/Б-тестированию. Каждая модель должна проявлять себя как в офлайн-, так и в онлайн-оценках. Со временем наши офлайн-оценки должны надежно прогнозировать то, что мы видим в онлайне.

Проектирование: создание систем, которые масштабируются за пределы создавших их команд

Заставить модель работать — это лишь одна задача. Сделать так, чтобы ее ценность распространялась за пределы отдельной команды или сценария использования — задача гораздо более сложная.

1. Стройте на основе общих фундаментов; специализируйтесь только при наличии обоснований: Отдавайте предпочтение общим платформным фундаментам для ключевых возможностей, представлений данных и строительных блоков моделей. Специализация должна опираться на эти фундаменты, а не создавать изолированные стеки, чтобы при улучшении фундамента выгода распространялась на всю организацию.

2. Относитесь к данным как к первоклассному продукту: Качество модели ограничено качеством ее данных. Нам необходимо поддерживать надежные конвейеры, четкое происхождение (lineage), воспроизводимость и повторно используемые признаки (features), созданные с документированной ответственностью, четкими схемами и соглашениями об уровне обслуживания (SLA), на которые могут полагаться другие команды.

3. Ставьте общность выше локальной оптимизации: Когда два подхода показывают схожие результаты, отдавайте предпочтение тому, чей опыт, активы и операционные паттерны могут быть повторно использованы в разных командах, брендах и сценариях использования. Мы должны оптимизировать не только локальную производительность, но и скорость, с которой улучшения могут распространяться по компании и накапливаться с течением времени. 

4. Минимизируйте и упраздняйте ручные бизнес-правила: Ручные правила порой необходимы для обеспечения политики, безопасности или соответствия требованиям, но они должны быть явными и регулярно пересматриваться, а не служить скрытыми заплатками для слабых моделей или источником постоянного технического долга.

5. Воспроизводимость и прослеживаемость по умолчанию: Данные для обучения, признаки, конфигурации, результаты оценки, версии развертывания и ключевые решения должны быть задокументированы и доступны для восстановления. Именно это позволяет отладить производственную проблему месяцами позже и передать владение без потери институциональных знаний.

Доверие: ответственность, управление и безопасная эксплуатация в масштабе

Требования к развертыванию ИИ сводятся не просто к вопросу «работает ли это?», а к вопросу «можем ли мы за это поручиться?» Доверие — это не то, что добавляется в самом конце; оно зарабатывается со временем и поддерживается на протяжении всего жизненного цикла каждой выпускаемой нами модели.

1. Назначьте четкую ответственность и подотчетность: У каждой модели должно быть определенное владение на протяжении всего ее жизненного цикла — владелец со стороны бизнеса, владелец продукта, владелец ИИ и операционный владелец. Это необязательно должны быть четыре разных человека, но зоны ответственности должны быть четко разделены. Кто отвечает за результаты? Кто реагирует, если модель начинает «дрейфовать»? Кто отвечает на инцидент в 2 часа ночи? Без этого модели становятся бесхозными, и проблемы всплывают тогда, когда за них некому ответить.

2. Соблюдайте стандарты и регламенты: Модели ИИ и МО должны использовать утвержденные платформы и соответствовать устоявшимся стандартам компании, релизным шлюзам и процессам управления. Работа вне этих рамок требует четкого и определенного пути устранения проблем или вывода из эксплуатации, а не бессрочных исключений. 

3. Управляйте рисками соразмерно их уровню: Уровень проверки, строгость оценки и объем человеческого контроля должны масштабироваться в зависимости от влияния модели. Модель, ориентированная на клиентов и влияющая на ценообразование или доступность для миллионов путешественников, требует гораздо более высоких стандартов, чем внутренний инструмент, используемый небольшой командой. Для систем с высоким уровнем воздействия, критически важных с точки зрения безопасности или обладающих высокой автономностью, контрольные точки с участием человека закладываются с самого начала. 

4. Проектируйте с учетом справедливости, конфиденциальности и прозрачности: Мы активно тестируем системы на наличие непреднамеренных предвзятостей, обеспечиваем строгую защиту данных и отдаем предпочтение объяснимости (explainability), когда решения существенно влияют на пользователей. Эти аспекты закладываются с самого начала, а не добавляются постфактум.

5. Проектируйте с расчетом на безопасное развертывание, откат и контроль: Развертывания носят прогрессивный характер, а пути отката, механизмы резервного копирования и аварийные выключатели готовы еще до запуска. Возможность безопасно отменить развертывание важна ровно так же, как и возможность его выкатить.

6. Осуществляйте непрерывный мониторинг и адаптацию: После запуска команды должны активно отслеживать качество, дрейф, задержки, стоимость и бизнес-показатели, а также производить переобучение или рекалибровку при изменении данных. Команда всегда должна быть в состоянии объяснить, как ее модель работает в данный момент, а не только то, как она работала на момент запуска.

Эти принципы не просто определяют то, как мы создаем продукты. Они определяют то, что мы готовы выпускать в релиз и как мы за это отвечаем. В мире, где системы ИИ играют все более важную роль и принимают реальные решения для реальных путешественников и партнеров, эти стандарты имеют решающее значение. Применяемые последовательно, они позволяют создавать ответственный ИИ, который работает на долгосрочную перспективу.

Хавьер Аматриаин (Xavi Amatriain) — директор по искусственному интеллекту и работе с данными в Expedia Group

Хавьер поделится подробностями об архитектуре Expedia во время своего выступления на конференции VB Transform 14 июля в 11:10 по тихоокеанскому времени. Он обсудит тему: «План Expedia по созданию автономных агентов для транзакционных систем с высокими ставками».

Хотите посетить VB Transform 2026? Зарегистрируйте участие здесь. Ограниченное количество бесплатных пропусков также доступно для руководителей высшего технологического звена. Свяжитесь с нами, чтобы получить свой.

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций — это площадка, где технические эксперты делятся идеями и представляют нейтральные, непредвзятые глубокие обзоры по вопросам ИИ, инфраструктуры данных, кибербезопасности и других передовых технологий, формирующих будущее корпоративного сектора.

Читать далее в рамках нашей программы гостевых публикаций — и ознакомьтесь с нашими рекомендациями, если вы хотите предложить собственную статью!