Надежность ИИ отстает, несмотря на достижения 2026 года

ИИ-агенты теперь внедряются в реальные бизнес-процессы компаний, однако они по-прежнему допускают сбои примерно в одной трети попыток на структурированных бенчмарках. Этот разрыв между возможностями и надежностью является главной операционной сложностью для IT-руководителей в 2026 году, согласно девятому ежегодному отчету об индексе искусственного интеллекта Стэнфордского института ориентированного на человека ИИ (HAI).

Такая неравномерная, непредсказуемая производительность называется в отчете «неровной границей» (jagged frontier) — этот термин был введен исследователем ИИ Этаном Молликом для описания рубежа, на котором ИИ демонстрирует превосходство, а затем внезапно дает сбой.

«Модели ИИ могут завоевать золотую медаль на Международной математической олимпиаде, — отмечают исследователи Стэнфордского HAI, — но при этом все еще не умеют надежно определять время по часам». 

Как модели совершенствовались в 2025 году

Уровень внедрения корпоративного ИИ достиг 88%. Значительные достижения 2025 и начала 2026 годов: 

• Передовые модели улучшили свои показатели на 30% всего за один год в рамках теста Humanity’s Last Exam (HLE), который включает 2500 вопросов по математике, естественным наукам, древним языкам и другим специализированным поддисциплинам. Тест HLE изначально создавался как сложный для ИИ и благоприятный для экспертов-людей.

• Ведущие модели набрали более 87% в тесте MMLU-Pro, который оценивает многоэтапные рассуждения на основе 12 000 проверенных экспертами вопросов более чем из десятка дисциплин. Это иллюстрирует, «настолько конкурентной стала граница возможностей в задачах на общие знания», отмечают исследователи Стэнфордского HAI. 

• Лучшие модели, включая Claude Opus 4.5, GPT-5.2 и Qwen3.5, набрали от 62,9% до 70.2% в бенчмарке τ-bench. Он тестирует агентов на выполнение реальных задач в реалистичных сценариях, требующих общения с пользователем и вызова внешних инструментов или API. 

• Точность моделей в тесте GAIA, оценивающем общих ИИ-ассистентов, выросла примерно с 20% до 74,5%. 

• Эффективность агентов в SWE-bench Verified выросла с 60% почти до 100% всего за один год. Бенчмарк оценивает способность моделей решать реальные проблемы в области разработки программного обеспечения. 

• Показатели успешности в WebArena увеличились с 15% в 2023 году до 74,3% в начале 2026 года. Этот тест представляет собой реалистичную веб-среду для оценки автономных ИИ-агентов, перед которыми ставятся задачи по поиску информации, навигации по сайтам и настройке контента. 

• Производительность агентов выросла с 17% в 2024 году примерно до 65% в начале 2026 года на платформе MLE-bench, которая оценивает навыки в области инженерии машинного обучения (ML). 

ИИ-агенты демонстрируют рост возможностей в сфере кибербезопасности. Например, передовые модели решили 93% задач на Cybench — в этот бенчмарк входит 40 задач профессионального уровня из шести категорий захвата флага (CTF), включая криптографию, веб-безопасность, реверс-инжиниринг, форензику и эксплуатацию уязвимостей. 

Для сравнения, в 2024 году этот показатель составлял 15%. Это демонстрирует «самый крутой темп улучшения», указывая на то, что задачи по кибербезопасности «отлично подходят для текущих возможностей агентов».

Генерация видео также значительно эволюционировала за последний год: модели теперь способны улавливать то, как ведут себя объекты. Например, Veo 3 от Google DeepMind тестировалась на более чем 18 000 сгенерированных видео и продемонстрировала способность симулировать плавучесть, а также решать лабиринты без предварительного обучения этим задачам.

«Модели генерации видео больше не просто производят реалистично выглядящий контент, — пишут исследователи. — Некоторые из них начинают понимать, как на самом деле работает физический мир». 

В целом ИИ используется в самых разных сферах деятельности предприятий — в управлении знаниями, разработке ПО и IT, маркетинге и продажах, — а также проникает в такие специализированные области, как налоговое дело, обработка ипотечных кредитов, корпоративные финансы и юридический анализ, где точность колеблется от 60 до 90%. 

«Возможности ИИ не выходят на плато, — заявляют в Стэнфордском HAI. — Они ускоряются и охватывают больше людей, чем когда-либо прежде».

Возможности ИИ растут стремительно, но надежность отстает

Мультимодальные модели теперь соответствуют или превосходят базовые показатели человека при ответе на научные вопросы уровня PhD, в задачах на мультимодальные рассуждения и в олимпиадной математике. Например, Gemini Deep Think завоевала золотую медаль на Международной математической олимпиаде (IMO) 2025 года, решив пять задач из шести на естественном языке от начала до конца за отведенный 4,5-часовой лимит времени — заметный прогресс по сравнению с серебряным результатом в 2024 году.

Тем не менее, те же самые системы ИИ по-прежнему дают сбой примерно в одной из трех попыток и испытывают трудности с базовыми задачами на восприятие, согласно данным Стэнфордского HAI. В ClockBench — тесте, охватывающем 180 дизайнов часов и 720 вопросов — Gemini Deep Think показала точность всего в 50,1%, в то время как у людей этот показатель составляет около 90%. Модель GPT-4.5 High достигла практически идентичного результата в 50,6%. 

«Многие мультимодальные модели все еще испытывают трудности с тем, что большинство людей считают рутинной задачей: определением времени по часам», — подчеркивают в отчете Стэнфордского HAI. Эта кажущаяся простой задача сочетает визуальное восприятие с простейшей арифметикой, распознаванием стрелок часов и их положения, а также преобразованием этих данных в значение времени. В конечном счете, ошибки на любом из этих этапов могут накапливаться, приводя к неверным результатам, отмечают исследователи.

В ходе анализа моделям демонстрировались часы различных стилей: стандартные стрелочные, часы без секундной стрелки, варианты со стрелками в виде стреловидных указателей, а также с черными циферблатами или римскими цифрами. Однако даже после дообучения (fine-tuning) на 5000 синтетических изображений модели улучшили показатели лишь для знакомых форматов и не смогли применить навыки к реальным вариаціям (например, к искаженным циферблатам или более тонким стрелкам). 

Исследователи пришли к выводу, что когда модели путали часовую и минутную стрелки, их способность интерпретировать направление ухудшалась, что свидетельствует о том, что проблема заключается не только в данных, но и в интеграции множества визуальных сигналов.

«Даже по мере того, как модели сокращают разрыв с экспертами-людьми в задачах, требующих интенсивных знаний, подобного рода визуальные рассуждения остаются серьезной проблемой», — отмечают в Стэнфордском HAI.

Галлюцинации и многоэтапные рассуждения остаются главными проблемами

Даже несмотря на то, что возможности моделей в рассуждениях продолжают стремительно развиваться, галлюцинации остаются серьезной проблемой. 

Например, в одном из тестов частота галлюцинаций у 26 ведущих моделей варьировалась от 22% до 94%. Точность некоторых моделей резко падала при более детальной проверке: так, точность GPT-4o снизилась с 98,2% до 64,4%, а показатель DeepSeek R1 рухнул с более чем 90% до 14,4%. 

С другой стороны, наименьшие показатели были зафиксированы у Grok 4.20 Beta, Claude 4.5 Haiku и MiMo-V2-Pro.

Кроме того, модели по-прежнему испытывают трудности с многоэтапными рабочими процессами, даже несмотря на то, что им все чаще поручают именно такие задачи. Например, в тесте τ-bench, который оценивает использование инструментов и многошаговые рассуждения, ни одна модель не превысила отметку в 71%. Это говорит о том, что «ведение многошаговых диалогов при одновременном корректном использовании инструментов и соблюдении ограничений политики остается сложной задачей даже для передовых моделей», говорится в отчете Стэнфордского HAI.

Модели становятся непрозрачными

Ведущие модели теперь «практически неотличимы» друг от друга с точки зрения производительности, отмечается в отчете Стэнфордского HAI. Модели с открытыми весами конкурентоспособны как никогда, но они сближаются по своим характеристикам. 

Поскольку возможности больше не являются «четким фактором дифференциации», конкурентное давление смещается в сторону стоимости, надежности и практической пользы в реальных условиях. 

Лаборатории, разрабатывающие передовые технологии, раскрывают все меньше информации о своих моделях, методы оценки стремительно теряют актуальность, а независимое тестирование не всегда способно подтвердить заявленные разработчиками метрики. 

Как подчеркивают в Стэнфордском HAI: «Наиболее мощные системы на сегодняшний день являются наименее прозрачными».

Код обучения, количество параметров, размеры датасетов и продолжительность тренировки часто скрываются такими компаниями, как OpenAI, Anthropic и Google. Общий уровень прозрачности снижается: в 2025 году 80 из 95 моделей были выпущены без соответствующего кода обучения, и лишь четыре открыли свой код полностью. 

Более того, после роста в период с 2023 по 2024 год показатели по Индексу прозрачности фундаментальных моделей (который ранжирует основных разработчиков фундаментальных моделей по 100 индикаторам прозрачности) снизились. Средний балл теперь составляет 40, что на 17 пунктов меньше. 

«Серьезные пробелы сохраняются в отношении раскрытия информации об обучающих данных, вычислительных ресурсах и последствиях после развертывания», — отмечается в отчете.

Оценивать ИИ становится все сложнее — и менее надежно

Бенчмарки, используемые для измерения прогресса ИИ, сталкиваются с растущими проблемами надежности: уровень ошибок в широко используемых тестах достигает 42%. «ИИ тестируется все более амбициозно в плане рассуждений, безопасности и выполнения реальных задач, — отмечают в Стэнфордском отчете, — однако полагаться на эти измерения становится все труднее». 

К числу ключевых проблем относятся:

• «Скудное и сокращающееся» освещение вопросов предвзятости со стороны разработчиков 

• Загрязнение бенчмарков (benchmark contamination), когда модели получают доступ к тестовым данным, что может приводить к «ложно завышенным» баллам

• Расхождения между результатами, заявленными разработчиками, и независимым тестированием

• «Плохо составленные» тесты, не имеющие документации, деталей о статистической значимости и воспроизводимых скриптов

• «Растущая непрозрачность и нестандартные подсказки (промпты)», из-за которых сравнение моделей между собой становится ненадежным

«Даже когда баллы в бенчмарках технически верны, высокие результаты тестирования не всегда трансформируются в практическую пользу в реальном мире», — говорится в отчете. Более того, «возможности ИИ опережают бенчмарки, предназначенные для их измерения».

Это приводит к «насыщению бенчмарков», когда модели достигают настолько высоких результатов, что тесты больше не могут различать их между собой. Более сложные интерактивные формы интеллекта становится все труднее измерять с помощью существующих тестов. Некоторые специалисты призывают к созданию оценок, измеряющих сотрудничество человека и ИИ, а не производительность ИИ в изоляции, но этот подход находится лишь на ранней стадии разработки. 

«Оценки, которые должны были оставаться сложными на протяжении многих лет, насыщаются за считанные месяцы, сокращая временное окно, в течение которого бенчмарки остаются полезными для отслеживания прогресса», — заявляют в Стэнфордском HAI.

Достигли ли мы «пика данных»?

По мере перехода разработчиков к более интенсивным в отношении данных вычислениям на этапе инференса нарастает беспокойство по поводу узких мест с данными и устойчивости масштабирования. Ведущие исследователи предупреждают, что доступный объем высококачественных человеческих текстов и веб-данных был «исчерпан» — состояние, известное как «пик данных».

Гибридные подходы, сочетающие реальные и синтетические данные, могут «значительно ускорить обучение» — иногда в 5–10 раз, а меньшие модели, обученные исключительно на синтетических данных, показали хорошие результаты в узкоспециализированных задачах вроде классификации или генерации кода, отмечают в Стэнфордском HAI. 

Синтетически сгенерированные данные могут быть эффективны для улучшения производительности моделей на этапах после обучения, включая тонкую настройку (fine-tuning), выравнивание (alignment), настройку по инструкциям и обучение с подкреплением (RL), говорится в отчете. Тем не менее, «эти достижения не распространились на крупные универсальные языковые модели». 

Вместо того чтобы масштабировать данные «без разбора», исследователи переходят к прунингу (прореживанию), кураторству и очистке входных данных, улучшая производительность за счет исправления разметки, удаления дубликатов и создания в целом более качественных датасетов.

«Дискуссии о доступности данных часто упускают из виду важный сдвиг в недавних исследованиях ИИ, — отмечается в отчете. — Прирост производительности все чаще достигается за счет улучшения качества существующих наборов данных, а не за счет приобретения новых».

Ответственный ИИ отстает

Хотя инфраструктура для ответственного ИИ развивается, прогресс носит «неравномерный» характер и не успевает за стремительным ростом возможностей технологии, согласно данным Стэнфордского HAI. 

В то время как практически все ведущие разработчики передовых ИИ-моделей публикуют результаты тестов на возможности, сопутствующая отчетность по безопасности и ответственности является непоследовательной и «выборочной». 

Задокументированные инциденты, связанные с ИИ, значительно возросли из года в год: 362 случая в 2025 году по сравнению с 233 в 2024-м. И хотя несколько передовых моделей получили оценки «Очень хорошо» или «Хорошо» по безопасности при стандартном использовании (согласно бенчмарку AILuminate, который оценивает генеративный ИИ по 12 категориям «угроз»), показатели безопасности падали у всех моделей при тестировании на попытки обхода защиты (jailbreak) с использованием состязательных промптов (adversarial prompts). 

«ИИ-модели хорошо справляются с тестами безопасности в нормальных условиях, но их защита ослабевает при намеренной атаке», — отмечают в Стэнфордском HAI. 

Вдобавок к этой проблеме разработчики сообщали, что улучшение одного параметра, например безопасности, может ухудшить другой — например, точность. «Инфраструктура для ответственного ИИ растет, но прогресс идет неравномерно, и она не поспевает за скоростью развертывания ИИ», — заявляют исследователи из Стэнфорда.

Данные Стэнфордского университета проясняют одну вещь: в 2026 году ключевой разрыв заключается вовсе не между возможностями ИИ и человека. Он лежит между тем, что ИИ может показать в рамках демонстрации (демо), и тем, как стабильно он работает в продакшене. Прямо сейчас — в условиях снижения прозрачности со стороны лабораторий и устаревания бенчмарков еще до того, как они успевают стать полезными — измерить этот разрыв сложнее, чем когда-либо.