Компания EY повысила производительность написания кода в 5 раз с помощью ИИ

Агенты по написанию кода могут генерировать тысячи строк кода за считанные минуты. Проблема в том, что большая их часть не подлежит развертыванию. Такой код нарушает внутренние стандарты, не проходит проверки на соответствие требованиям или создает больше работы по очистке, чем экономит.

«Вы можете сгенерировать тонну кода, но это ничего не значит, верно? Это должен быть код, который можно интегрировать, который соответствует требованиям, и вы же не хотите создавать дополнительную работу на бэкенде только потому, что ускорили процесс генерации кода на фронтенде», — отметил Стивен Ньюман, руководитель направления технологической инженерии глобальных клиентов в EY.

Команда разработчиков продуктов EY решила эту проблему, связав агенты программирования со своими инженерными стандартами, репозиториями кода и фреймворками соответствия требованиям. Результат: команды, полностью внедрившие эту модель, демонстрируют рост производительности от 4 до 5 раз, установив эталон, который EY будет использовать для масштабирования во всем своем пакете аудиторских, налоговых и финансовых платформ.

Но прирост производительности не был достигнут простым включением какого-то инструмента. Команда Ньюмана работала над созданием культурной основы и технических интеграций, которые делают полуавтономное программирование эффективным в масштабах всей компании, чтобы в ближайшие 12–18 месяцев и в дальнейшем реализовать потенциал ИИ в полной мере.

Первый шаг носил культурный характер. В EY начали с инструментов в стиле GitHub Copilot, позволив инженерам освоить промпт-инжиниринг и вспомогательный ИИ. По словам Ньюмана, главным выводом стало то, что внедрение ИИ должно происходить органично, а не навязываться руководством. «Важно внедрять возможности ИИ снизу вверх, посредством органичного принятия, а не навязывать их пользователям», — сказал он.

Разработчики хотели выйти за рамки простой генерации кода и перейти к созданию, развертыванию и вводу в эксплуатацию. Однако без более глубокой интеграции рост производительности застопорился.

Ньюман понял, что агентам необходим доступ к репозиториям кода, инженерным стандартам и каталогам исходных текстов EY, чтобы генерировать код, пригодный для развертывания. Без этой «вселенной контекста», как ее называет Ньюман, агенты выдают шаблонный результат, требующий масштабной доработки.

В EY оценили несколько платформ для работы с агентами: Lovable, Replit и Droids от Factory на базе IDE. Вместо того чтобы предписывать использование конкретного инструмента, команда Ньюмана измерила показатели внедрения, использования и производительности для всех трех платформ.

«Как руководству, нам не хотелось быть слишком директивными в выборе инструмента и упрощать задачу», — рассказал Ньюман. Разработчики «действительно тяготели и склонялись» к Factory, что стало сигналом о реальной ценности этого решения.

Внедрение Factory «распространилось со скоростью лесного пожара», как только инструмент перешел из стадии оценки в пилотный проект. Специалистам EY пришлось ограничивать трафик к Factory и Droids, а также ограничивать список репозиториев, доступных для подключения, до получения одобрения со стороны служб безопасности и комплаенса.

Фреймворк классификации рабочих нагрузок

Энтузиазм разработчиков дал понять, что EY необходима четкая дисциплина в отношении того, какие рабочие задачи можно делегировать агентам. Команда Ньюмана разделила задачи на две категории:

Задачи с высокой степенью автономности, с которыми агенты справляются хорошо:

• Код-ревью

• Документация

• Исправление дефектов

• Создание функций с нуля

Сложные задачи, по-прежнему требующие контроля со стороны человека:

EY также изменила роли разработчиков. Вместо того чтобы писать весь код самостоятельно, инженеры превратились в оркестраторов, направляющих агентов к нужным базам данных и репозиториям.

После внедрения мер безопасности и завершения интеграции с репозиториями кода в EY зафиксировали рост эффективности в диапазоне от 15% до 60% среди различных категорий специалистов на этапе раннего внедрения.

«Мы совершили качественный скачок во многих наших продуктах, перейдя к тому, что я называю разработкой по горизонтной модели. В ней у нас есть полуавтономное выполнение задач агентами в масштабе всей компании, команда оркестраторов вместо исполнителей, а также интеграция в контекстную вселенную», — пояснил Ньюман.

Ньюман признал, что трудно приписать 4-5-кратный рост производительности исключительно агентам программирования. Улучшения стали результатом метода проб и ошибок в сочетании с культурными и поведенческими изменениями в командах разработчиков.