2026 год: Эпоха расцвета автономного ИИ и культа данных
В отрасли сложилось мнение, что 2026 год станет годом «агентного ИИ». Мы стремительно уходим от чат-ботов, которые просто суммируют текст. Мы вступаем в эпоху автономных агентов, выполняющих задачи. Мы ожидаем, что они будут бронировать авиабилеты, диагностировать сбои в системах, управлять облачной инфраструктурой и в реальном времени персонализировать потоки медиаконтента.
Как технический руководитель, курирующий платформы, которые обслуживают десятки миллионов одновременных пользователей во время масштабных глобальных событий вроде Олимпийских игр и Супербоула, я видел неприглядную реальность, скрывающуюся за шумихой: агенты невероятно хрупки.
Руководители и венчурные инвесторы помешаны на бенчмарках моделей. Они спорят о превосходстве Llama 3 над GPT-4. Они концентрируются на максимизации размеров контекстного окна. И при этом они игнорируют реальную точку отказа. Главная причина, по которой автономные агенты дают сбой в продакшене, зачастую кроется в проблемах с гигиеной данных.
В предыдущую эпоху аналитики с участием человека (human-in-the-loop) качество данных было неприятной, но управляемой проблемой. Если в конвейере ETL возникал сбой, на дашборде мог отобразиться некорректный показатель выручки. Человек-аналитик замечал аномалию, фиксировал ее и исправлял. Зона поражения была ограничена.
В новом мире автономных агентов эта защитная сетка исчезает.
Если сегодня происходит отклонение в конвейере данных, агент не просто сообщает неверное число. Он совершает неверное действие. Он выделяет не тот тип сервера. Он рекомендует фильм ужасов пользователю, который смотрит мультфильмы. Он галлюцинирует ответы службы поддержки на основе поврежденных векторных представлений.
Чтобы запускать ИИ в масштабах НФЛ или Олимпиады, я понял, что стандартной очистки данных недостаточно. Мы не можем просто «мониторить» данные. Мы должны их регламентировать.
Решением этой конкретной проблемы может стать концепция «кредо качества данных» (data quality – creed). Она работает как «конституция данных». Она внедряет тысячи автоматизированных правил еще до того, как хоть один байт данных попадет в ИИ-модель. Хотя я применял это конкретно к архитектуре стриминга в NBCUniversal, данная методология универсальна для любого предприятия, стремящегося внедрить ИИ-агентов в рабочие процессы.
Вот почему «оборонительная инженерия данных» и философия Creed — это единственные способы выжить в агентную эпоху.
Ловушка векторных баз данных
Основная проблема ИИ-агентов заключается в том, что они безоговорочно доверяют контексту, который вы им предоставляете. Если вы используете RAG, ваша векторная база данных — это долгосрочная память агента.
Стандартные проблемы с качеством данных катастрофичны для векторных баз данных. В традиционных SQL-базах данных нулевое значение (null) — это просто нулевое значение. В векторной базе данных нулевое значение или несоответствие схемы могут исказить семантический смысл всего вложения (эмбеддинга).
Рассмотрим сценарий, при котором происходит дрифт метаданных. Допустим, ваш конвейер загружает метаданные видео, но из-за состояния гонки тег «жанр» смещается. Ваши метаданные могут пометить видео как «живой спорт», но эмбеддинг был сгенерирован на основе «новостного сюжета». Когда агент запрашивает в базе данных «хайлайты тачдаунов», он извлекает новостной сюжет, поскольку поиск по векторному сходству работает с поврежденным сигналом. Затем агент выдает этот ролик миллионам пользователей.
В больших масштабах нельзя полагаться на нисходящий мониторинг в надежде это отловить. К моменту срабатывания сигнала тревоги об аномалии агент уже совершил тысячи ошибочных решений. Средства контроля качества должны быть смещены в абсолютную «левую» часть конвейера (shift-left).
Фреймворк «Creed»: 3 принципа выживания
Ожидается, что фреймворк Creed будет действовать как привратник. Это многопользовательская архитектура качества, которая располагается между источниками загрузки данных и ИИ-моделями.
Технологическим лидерам, желающим создать собственную «конституцию», я рекомендую три не подлежащих обсуждению принципа.
1. Паттерн «карантина» обязателен: во многих современных организациях, работающих с данными, инженеры предпочитают подход ELT (извлечение, загрузка, трансформация). Они сгружают сырые данные в озеро и очищают их позже. Для ИИ-агентов это неприемлемо. Нельзя позволять агенту пить из загрязненного озера.
Методология Creed внедряет строгую «очередь недоставленных сообщений» (dead letter queue). Если пакет данных нарушает контракт, он немедленно отправляется на карантин. Он никогда не попадает в векторную базу данных. Для агента гораздо лучше сказать «Я не знаю» из-за отсутствия данных, чем уверенно лгать из-за плохих данных. Этот паттерн «автоматического выключателя» (circuit breaker) необходим для предотвращения громких галлюцинаций.
2. Схема — это закон: в течение многих лет индустрия двигалась в сторону «бессхемной» гибкости ради ускорения процессов. Мы должны повернуть этот тренд вспять для ключевых ИИ-конвейеров. Мы должны внедрить строгую типизацию и ссылочную целостность.
По моему опыту, надежная система требует масштаба. Реализация, которую я курирую, в настоящее время обеспечивает соблюдение более чем 1000 активных правил, выполняющихся в потоках реального времени. Они проверяют не просто наличие нуллов. Они проверяют консистентность бизнес-логики.
Пример: соответствует ли параметр «user_segment» в потоке событий активной таксономии в хранилище признаков (feature store)? Если нет — заблокировать.
Пример: находится ли временная метка (timestamp) в пределах допустимого окна задержки для инференса в реальном времени? Если нет — отбросить.
3. Проверки векторной консистентности. Это новый рубеж для SRE-инженеров. Мы должны внедрить автоматизированные проверки, гарантирующие, что текстовые фрагменты, хранящиеся в векторной базе данных, действительно соответствуют связанным с ними векторам эмбеддингов. «Тихие» сбои в API модели эмбеддингов часто оставляют вас с векторами, которые ни на что не указывают. Из-за этого агенты извлекают чистый шум.
Культурная война: инженеры против управления
Внедрение такого фреймворка, как Creed, — это не просто техническая задача. Это задача культурная.
Инженеры обычно ненавидят ограничители. Они воспринимают строгие схемы и контракты данных как бюрократические препятствия, которые замедляют скорость развертывания. Представляя конституцию данных, руководители часто сталкиваются с сопротивлением. Команды чувствуют, что возвращаются в «каскадную» (waterfall) эпоху жесткого администрирования баз данных.
Чтобы добиться успеха, нужно перевернуть структуру стимулов. Мы продемонстрировали, что Creed на самом деле является ускорителем. Гарантируя чистоту входных данных, мы избавили специалистов по работе с данными от недель, которые те раньше тратили на отладку галлюцинаций моделей. Мы превратили управление данными из задачи соблюдения нормативных требований (compliance) в гарантию «качества обслуживания».
Урок для лиц, принимающих решения на основе данных
Если вы выстраиваете стратегию в области ИИ на 2026 год, прекратите скупать новые графические процессоры. Перестаньте беспокоиться о том, какая базовая модель на этой неделе поднялась чуть выше в таблице лидеров.
Начните аудит своих контрактов на данные.
ИИ-агент ровно настолько автономен, насколько надежны его данные. Без строгой автоматизированной конституции данных вроде фреймворка Creed ваши агенты со временем выйдут из-под контроля. В мире инженера по надежности сайтов (SRE) вышедший из-под контроля агент гораздо хуже сломанного дашборда. Это тихий убийца доверия, доходов и пользовательского опыта.
Маной Йеррасани (Manoj Yerrasani) — старший технический руководитель.
Добро пожаловать в сообщество VentureBeat!
Наша программа гостевых публикаций создана для того, чтобы технические эксперты делились своими идеями и предоставляли независимый, непредвзятый детальный анализ в области ИИ, инфраструктуры данных, кибербезопасности и других передовых технологий, формирующих будущее бизнеса.
Читайте далее из нашей программы гостевых постов — и ознакомьтесь с нашими рекомендациями, если вы хотите сами написать статью!
