Uber исчерпала бюджет на ИИ, а затем урезала контекстное окно и возможности рассуждения в своих инструментах для программирования

Uber исчерпала бюджет на ИИ, а затем урезала контекстное окно и возможности рассуждения в своих инструментах для программирования

Когда инженер Uber открывает Claude Code для интерактивной сессии программирования, автоматическое сжатие контекста срабатывает при достижении 400 000 токенов — даже для моделей с контекстным окном в миллион токенов. По умолчанию уровень усилий для рассуждений установлен на средний, а не высокий. При запуске определения инструментов MCP не загружаются в контекст. Инженер не выбирал ни одну из этих настроек — их выбрала Uber.

Эти настройки — часть более широких усилий по контролю расходов после того, как Uber израсходовала бюджет на ИИ на 2026 год за первые несколько месяцев, сообщил технический директор Правин Неппалли Нага в интервью The Information в апреле. 

Неожиданные расходы на ИИ нарушили ход проектов и в других компаниях. В октябрьском опросе VB Pulse от VentureBeat об инфраструктуре и вычислительных ресурсах для ИИ 38% из 156 квалифицированных респондентов сообщили, что за последний год их организация отложила, сократила масштаб или отменила запланированный проект в области ИИ из-за того, что он обошёлся дороже ожидаемого.

Согласно августовской публикации Uber об инженерной работе, еженедельное число агентных запросов выросло в 9,4 раза с февраля по август во всех агентных продуктах Uber, а не только в Claude Code. На саммите VentureBeat Agentic Infrastructure Stack Summit 28 октября выдающийся инженер Uber Удай Киран Медисетти сообщил, что общие расходы на ИИ с апреля оставались примерно на прежнем уровне, несмотря на дальнейший рост числа агентных запросов. Он рассказал об AIFX — оболочке, которая устанавливает и настраивает интерактивные инструменты программирования Uber и управляет их параметрами.

Четыре настройки по умолчанию для каждого инженера Uber

Uber проводит A/B-тестирование настроек на группах сотрудников. «Поскольку мы можем проводить A/B-тестирование с управляемыми настройками, мы можем экспериментировать с ними, чтобы инженерам не приходилось обо всём этом задумываться, и предоставлять им одинаковые настройки по умолчанию», — сказал Медисетти участникам саммита. По его словам, Uber проверяет «входные и выходные метрики для разных групп».

Медисетти рассказал о четырёх способах, которыми Uber контролирует стоимость интерактивных сессий: от настроек по умолчанию до доступа агентов к инструментам. Он назвал интерактивные сессии наименее эффективным способом запуска агента и сказал, что Uber хочет перенести большую часть этой работы в управляемых агентов, для которых можно выбирать модели под конкретные задачи.

  1. Автоматическое сжатие контекста при 400 000 токенов. При каждом запросе агент отправляет модели весь свой контекст, поэтому с увеличением контекста дорождает каждый шаг. По словам Медисетти, при объёме свыше 700 000 или 800 000 токенов промахи кэша и число входных токенов на запрос «обходятся очень дорого». Он назвал 400 000 «хорошим компромиссом». При сжатии предыдущая часть беседы сводится к краткому пересказу, чтобы сессия могла продолжиться.

  2. Средний уровень усилий. Уровень усилий определяет, сколько рассуждений выполняет модель перед ответом; больше рассуждений означает больше токенов. По словам Медисетти, модели, выпущенные за последние несколько месяцев, «намного лучше работают при среднем уровне усилий» и демонстрируют «некоторое ухудшение при высоком». Он не назвал модели или задачи, на которых основано это сравнение. 

  3. Кэширование промпта на час для основного агента и на пять минут для субагентов. Повторное использование кэшированного текста промпта обходится дешевле, чем его повторная обработка, но хранение записей в кэше в течение более долгого времени стоит дороже. Как говорится в августовской публикации Uber, инженеры часто отходят от основного агента, называемого оркестратором, более чем на пять минут, поэтому пятиминутный кэш истёк бы, и при следующем запросе пришлось бы заново загружать всё по полной цене. Субагенты быстро завершают задачи, поэтому пяти минут достаточно. Uber отслеживает, как часто запросы обслуживаются из кэша, и настраивает таймеры, чтобы повысить этот показатель. 

  4. Определения инструментов MCP не загружаются при запуске. Uber по-прежнему использует серверы MCP, но агенты обращаются к ним через инструменты командной строки, подключённые к центральному шлюзу MCP. При прямой интеграции с MCP описания подключённых инструментов могут заранее загружаться в контекст модели. По данным Uber, если инструментов больше 100, такие описания занимают от 50 000 до 70 000 токенов ещё до того, как инженер введёт хоть слово. Вместо этого агенты вызывают отдельные команды по мере необходимости.

Медисетти не назвал экономию от какой-либо отдельной настройки, а в августовской публикации Uber эти показатели не разбираются по отдельности. В публикации приводятся результаты всех оптимизаций Uber в совокупности. Чтобы оценить влияние оптимизаций, оставив модель неизменной, Uber сообщила, что стоимость 1 000 запросов снизилась почти на 34% относительно пикового значения, а стоимость сессии — на 52% относительно июньского пика. Единственную цифру экономии, которую Медисетти привёл на сцене, он связал с выбором модели. По его словам, тестирование моделей и подбор подходящей снизили стоимость очистки устаревших флагов функций на 90%.

Uber также стремится сделать больше агентных задач независимыми от конкретной модели. Медисетти сказал, что компания сместила акцент с доли трафика, обрабатываемого моделями с открытыми весами, на то, насколько большой его объём можно переключать между моделями. С управляемыми агентами это проще, чем с интерактивными инструментами программирования, где смена модели требует изменить привычки инженеров. В августовской публикации Uber также говорится, что для субагентов по умолчанию используются более дешёвые модели при выполнении задач, не требующих рассуждений на уровне передовых моделей.

Большие контекстные окна не всегда лучше

Медисетти объяснил лимит Uber в 400 000 токенов соображениями стоимости. Другие два участника саммита отметили, что объём контекста также влияет на эффективность агента.

T-Mobile поняла это, когда попыталась загрузить в агента большой объём материалов. «Мы сказали: „О, наконец-то появилась модель с большим контекстным окном. Давайте загрузим в этого агента всю документацию службы поддержки клиентов“», — рассказал на том же саммите директор по информационным технологиям T-Mobile Джефф Саймон. «Это совершенно не сработало». По словам Саймона, агент «начинает путаться, разбираясь в огромном объёме документации».

Теперь T-Mobile старается «сводить контекст к минимуму», сказал он, направляя запросы специализированным агентам, вместо того чтобы рассчитывать, что одна модель разберётся во всей базе материалов службы поддержки.

Для некоторых маркетинговых задач больший объём контекста может быть полезен, заявила на том же саммите старший вице-президент Adobe по инженерным вопросам Анджул Бхамбри. В качестве примера она привела маркетолога, который может использовать Adobe CX Enterprise Coworker — агента компании для маркетинговых команд — чтобы доработать праздничную кампанию бренда. Для этого может потребоваться знать, какие предложения действовали в течение последних трёх лет. «Нужно предоставить гораздо больше контекста, потому что без него ответ может оказаться очень общим», — сказала она. 

В одном случае анализ предложений прошлых лет показал, что бесплатная доставка лучше повышала конверсию среди постоянных клиентов, чем скидка 20% в «чёрную пятницу».

Бхамбри сформулировала это так: «Правильный контекст для правильной задачи и правильного человека».

Uber даёт агентам карту компании

Uber решает ту же задачу — определяет, какой объём информации должен видеть агент, — предоставляя агентам карту компании и позволяя им самостоятельно искать остальное.

«Мы даём агентам мысленную карту того, как устроена Uber», — сказал Медисетти участникам саммита. По его словам, Uber не «пытается заранее загрузить весь необходимый контекст».

Граф контекста Uber содержит информацию о производственных сервисах, их владельцах, наборах данных, исторических запросах и других внутренних системах. Изначально агенты получают схему — описание структуры графа, — а остальное изучают самостоятельно, находя нужные документы и исходный код по мере необходимости. 

По оценке Медисетти на 28 октября, граф насчитывал почти 200 миллионов узлов и связей. В августовской публикации Uber говорилось о 104 миллионах элементов в сумме: 24 миллионах узлов и 80 миллионах связей. Медисетти сообщил, что внутренняя оценка Uber показала улучшение результатов, снижение затрат и сокращение времени выполнения задач, хотя общих цифр он не привёл. 

В августовской публикации Uber приводится пример: одной и той же модели дали один и тот же промпт. С графом она правильно определила таблицу данных за 38 секунд; без графа она потратила 20 минут и 9 секунд и ошибочно заключила, что выполнить запрос к данным невозможно.

Uber разработала этот подход всего за несколько месяцев. По словам Медисетти, ИИ — один из главных приоритетов компании на уровне генерального и технического директоров, что помогло заручиться поддержкой и привлечь к проекту нужных людей.

T-Mobile попробовала похожий подход, но отказалась от него. Компания создала граф знаний для агентов, отвечающих клиентам во время звонков, однако агентам приходилось искать информацию в большом графе; они в нём терялись, а поиск занимал слишком много времени для разговора в реальном времени. «У нас не так много времени», — сказал Саймон. Теперь T-Mobile использует «очень простой кэш, основанный на том, как клиенты обычно задают вопросы», пояснил он. В кэше применяется база данных «ключ — значение», которая направляет агентов к нужной информации в зависимости от формулировки вопроса клиента. Эти два подхода решают разные задачи: агенты Uber ориентируются во внутренних инженерных системах и системах данных, а агенты T-Mobile должны отвечать клиентам в реальном времени.

Как Uber оценивает отдачу

По словам Медисетти, Uber проверяет эффективность всех этих мер, стремясь «максимизировать производительность, сохраняя прежние требования к качеству».

Чтобы отследить, стали ли инженеры производить больше, Uber измеряет количество проектной документации, запросов на слияние и развёртываний. Для контроля качества Медисетти отслеживает число инцидентов на каждое изменение кода, частоту отката кода, а также время проверки и производственного цикла по мере того, как агенты обрабатывают всё больше кода.

Для проверки кода предусмотрен отдельный показатель. Uber отслеживает, учитывают ли инженеры замечания, оставленные ИИ-рецензентом. Компания стремится оставлять только действительно важные комментарии, чтобы инженерам не приходилось продираться через сотни замечаний.

Uber также постепенно укрепляет доверие к своим агентам. Непрерывная интеграция, или CI, автоматически собирает проект и проверяет каждое изменение кода перед слиянием. Если одна из таких проверок завершается неудачей, система самовосстанавливающейся CI Uber пытается исправить проблему. 

Сначала Uber действовала осторожно и отправляла каждую попытку исправления инженеру в Slack. «Вот наша попытка исправления. Хотите её принять?» — сказал Медисетти. Когда для определённого типа сбоев CI доля принятых исправлений оказывалась высокой, Uber включала автоматическое принятие и напрямую вносила исправление в запрос на слияние. Uber также перенесла более простые проверки CI на более ранний этап разработки, поскольку запуск отдельного автоматического исправления с нуля обходился дорого.

Медисетти сказал, что лишь недавно Uber начала замечать «устойчивую тенденцию» по итоговым показателям: количеству выпущенных функций в целом и на одного инженера. Он не привёл данных ни по одному из этих показателей.

Среди 156 респондентов октябрьского опроса VentureBeat VB Pulse об инфраструктуре и вычислительных ресурсах для ИИ 26% сообщили, что их организация оценивает оправданность расходов на ИИ по «измеримой финансовой отдаче, которую мы могли бы обосновать перед финансовым отделом». Ещё 44% ответили, что судят об этом по измеримому операционному результату — например, сэкономленному времени или объёму обработанной работы, — но не по финансовой отдаче. Показатели производительности и качества кода Uber относятся к этой операционной категории. Медисетти не представил расчётов общей финансовой отдачи Uber от расходов на ИИ.

О чём спросить собственную платформенную команду

Четыре настройки Uber по умолчанию можно превратить в четыре вопроса, которые любая платформенная команда может задать о своих инструментах для программирования. Каков лимит контекста и когда срабатывает автоматическое сжатие? Какой уровень усилий установлен по умолчанию? Как долго хранится кэш промпта для каждого типа агента? Сколько токенов схемы инструментов загружается до первого промпта?

Инфраструктура

Смотреть все

Подпишитесь на свежие новости!

Глубокая аналитика для руководителей в области корпоративного ИИ, данных и безопасности

Подписаться по RSS

RSS-ленты обновляются каждые 15 минут.