95% ИИ-проектов терпят неудачу: выводы исследования MIT

Рынок корпоративного ИИ в настоящее время переживает сильнейшее похмелье. Последние два года лица, принимающие решения, были завалены демоверсиями автономных агентов, бронирующих билеты, пишущих код и анализирующих данные. Тем не менее, суровая реальность на местах выглядит совершенно иначе. Хотя эксперименты проводятся как никогда активно, внедрение надежных автономных агентов в рабочую среду по-прежнему сопряжено с трудностями.

В недавнем исследовании проекта NANDA при Массачусетском технологическом институте (MIT) приводится отрезвляющая статистика: около 95% ИИ-проектов не приносят реальной ценности для бизнеса. Они заходят в тупик при переходе из тестовой среды в реальный мир, часто ломаясь под тяжестью нестандартных ситуаций, галлюцинаций или сбоев интеграции.

По словам Антонио Гулли (Antonio Gulli), старшего инженера Google и директора инженерного офиса технического директора (CTO), индустрия страдает от фундаментального непонимания того, чем на самом деле являются агенты. Мы относились к ним как к «магическим черным ящикам», а не как к сложным программным системам. «ИИ-инженерия, особенно в работе с большими моделями и агентами, на самом деле ничем не отличается от любой другой формы инженерии, например, программной или гражданского строительства», — отметил Гулли в эксклюзивном интервью VentureBeat. «Чтобы создать что-то долговечное, нельзя просто гнаться за последней моделью или фреймворком».

Гулли утверждает, что выходом из «долины разочарования» является не более умная модель, а лучшая архитектура. Его недавняя книга «Agentic Design Patterns» предлагает повторяемые и строгие архитектурные стандарты, которые превращают «игрушечных» агентов в надежные корпоративные инструменты. Книга отдает дань уважения оригинальному труду «Паттерны проектирования» (одной из моих любимых книг по программной инженерии), который навел порядок в объектно-ориентированном программировании в 1990-х годах.

Гулли представляет 21 фундаментальный паттерн, служащий строительными блоками для надежных агентных систем. Это практические инженерные структуры, которые определяют, как агент думает, запоминает и действует. «Конечно, важно использовать самые современные технологии, но нужно сделать шаг назад и осмыслить фундаментальные принципы, лежащие в основе ИИ-систем, — сказал Гулли. — Эти паттерны представляют собой инженерный фундамент, который повышает качество решений».

Набор для выживания бизнеса

Для корпоративных лидеров, стремящихся стабилизировать свой технологический стек ИИ, Гулли выделяет пять «низко висящих плодов» (наиболее простых и эффективных паттернов), которые обеспечивают максимальный немедленный эффект: рефлексию (Reflection), маршрутизацию (Routing), коммуникацию (Communication), защитные барьеры (Guardrails) и память (Memory). Самый критический сдвиг в проектировании агентов — это переход от простых ботов по принципу «стимул-реакция» к системам, способным к рефлексии (Reflection). Стандартная языковая модель (LLM) пытается ответить на запрос немедленно, что часто приводит к галлюцинациям. Рефлексивный агент, напротив, имитирует человеческое мышление: создает план, выполняет его, а затем критически оценивает собственный результат перед тем, как представить его пользователю. Этот внутренний цикл обратной связи часто становится разницей между правильным и неправильным ответом.

Как только агент научился думать, он должен работать эффективно. Именно здесь для контроля затрат становится необходима маршрутизация (Routing). Вместо того чтобы отправлять каждый запрос в огромную и дорогую «модель-божество», уровень маршрутизации анализирует сложность запроса. Простые задачи направляются более быстрым и дешевым моделям, в то время как для сложного логического вывода задействуются тяжеловесы. Такая архитектура позволяет бизнесу масштабироваться без ущерба для бюджета на инференс. «Модель может выступать в роли маршрутизатора для других моделей или даже для той же модели с другими системными промптами и функциями», — пояснил Гулли.

Подключение этих агентов к внешнему миру требует стандартизированной коммуникации (Communication) путем предоставления моделям доступа к таким инструментам, как поиск, запросы и выполнение кода. Раньше подключение LLM к базе данных означало написание нестандартного и хрупкого кода. Гулли указывает на появление протокола контекста модели (MCP) как на поворотный момент. MCP действует как USB-порт для ИИ, предоставляя стандартизированный способ подключения агентов к источникам данных и инструментам. Эта стандартизация распространяется и на межмодельную связь «агент-агент» (A2A), позволяя специализированным агентам сотрудничать в решении сложных задач без накладных расходов на кастомную интеграцию.

Тем не менее, даже умный и эффективный агент бесполезен, если он не способен сохранять информацию. Паттерны памяти (Memory) решают «проблему золотой рыбки», когда агенты забывают инструкции в ходе долгих разговоров. Структурируя то, как агент сохраняет и извлекает прошлые взаимодействия и опыт, разработчики могут создавать постоянных помощников с учетом контекста. «То, как вы создаете память, имеет фундаментальное значение для качества агентов», — подчеркнул Гулли.

Наконец, все это не имеет значения, если агент представляет собой угрозу. Защитные барьеры (Guardrails) обеспечивают необходимые ограничения, гарантирующие, что агент действует в рамках безопасности и требований комплаенса. Это выходит за рамки простого системного промпта с просьбой к модели «быть вежливой»; речь идет об архитектурных проверках и политиках эскалации, которые предотвращают утечку данных или несанкционированные действия. Гулли подчеркивает, что определение этих «жестких» границ «крайне важно» для безопасности. Это гарантирует, что агент, пытающийся быть полезным, случайно не обнародует личные данные и не выполнит необратимые команды вне своей разрешенной зоны ответственности.

Повышение надежности с помощью транзакционной безопасности

Для многих директоров по информационным технологиям (CIO) нежелание внедрять агентов продиктовано страхом. Автономный агент, способный читать электронную почту или изменять файлы, представляет серьезный риск, если выйдет из-под контроля. Гулли решает эту проблему, заимствуя концепцию из управления базами данных: транзакционную безопасность. «Если агент предпринимает какое-то действие, мы должны реализовать контрольные точки (чекпоинты) и откаты, точно так же, как мы делаем это для транзакционной безопасности в базах данных», — сказал Гулли.

В этой модели действия агента носят предварительный характер до тех пор, пока они не будут проверены. Если система обнаруживает аномалию или ошибку, она может «откатиться» к предыдущему безопасному состоянию, отменяя действия агента. Такая страховка позволяет бизнесу доверить агентам права на запись в системы, зная о наличии кнопки отмены. Тестирование таких систем также требует нового подхода. Традиционные модульные тесты проверяют, возвращает ли функция правильное значение, однако агент может прийти к правильному ответу через ошибочный, опасный процесс. Гулли выступает за оценку траекторий агентов (Agent Trajectories) — метрик, которые оценивают поведение агентов с течением времени.

«[Траектории агентов] включают в себя анализ всей последовательности решений и использованных инструментов для достижения выводов, что гарантирует надежность всего процесса, а не только конечного ответа», — отметил он.

Этот подход часто дополняется паттерном критики (Critique), в рамках которого отдельному специализированному агенту поручается оценивать работу основного агента. Такая взаимная проверка имеет решающее значение для предотвращения распространения ошибок, по сути создавая автоматизированную систему экспертной оценки (peer-review) для решений ИИ.

Защита от устаревания: от промпт-инженерии к контекстной инженерии

Глядя в сторону 2026 года, можно сказать, что эпоха единых моделей общего назначения, судя по всему, подходит к концу. Гулли прогнозирует переход к ландшафту, в котором доминируют целые парки специализированных агентов. «Я твердо верю, что мы увидим специализацию агентов, — заявил он. — Модель останется мозгом… но агенты превратятся в истинно многоагентные системы со специализированными задачами: агенты, сосредоточенные на поиске, генерации изображений, создании видео — взаимодействующие друг с другом».

В этом будущем главным навыком для разработчиков станет не умение заставить модель работать с помощью ловких формулировок и промпт-инженерии. Вместо этого им нужно будет сосредоточиться на контекстной инженерии (context engineering) — дисциплине, которая фокусируется на проектировании потоков информации, управлении состоянием и кураторстве контекста, который «видит» модель.

Происходит переход от лингвистических ухищрений к системной инженерии. Применяя эти паттерны и уделяя особое внимание «сантехнике» ИИ, а не просто моделям, компании смогут наконец преодолеть разрыв между хайпом и реальной прибылью. «Мы не должны использовать ИИ ради самого ИИ, — предупреждает Гулли. — Мы должны начинать с четкого определения бизнес-проблемы и того, как лучше всего использовать технологии для ее решения».