Intuit сократила месяцы внедрения налогового законодательства до считанных часов и создала рабочий процесс, который может адаптировать любая команда из регулируемой отрасли

Когда законопроект One Big Beautiful Bill (OBBB) поступил в виде 900-страничного неструктурированного документа — без стандартизированной схемы, без опубликованных форм IRS и с жестким дедлайном отправки, — перед командой TurboTax из компании Intuit встал вопрос: сможет ли искусственный интеллект сократить многомесячный процесс внедрения до считанных дней без ущерба для точности?

То, что они создали для решения этой задачи, — это скорее не история о налогах, а готовый шаблон, рабочий процесс, объединяющий коммерческие ИИ-инструменты, проприетарный предметно-ориентированный язык и собственную среду модульного тестирования, у которой может поучиться любая команда разработчиков, работающая в жестких предметных рамках.

Джой Шоу (Joy Shaw), директор по налогообложению в Intuit, проработала в компании более 30 лет и застала как принятие Закона о снижении налогов и создании рабочих мест (TCJA), так и OBBB. «В самом законе было много лишнего шума, и мы смогли извлечь налоговые последствия, сузить их до индивидуальных налоговых положений, сузить до наших клиентов, — рассказала Шоу VentureBeat. — Подобная дистилляция с помощью инструментов происходила очень быстро, что позволило нам начать программирование еще до того, как мы получили официальные формы и инструкции».

Как OBBB поднял планку

Когда в 2017 году был принят Закон о снижении налогов и создании рабочих мест, команда TurboTax работала над законодательством без помощи искусственного интеллекта. Это заняло месяцы, а требования к точности не оставляли права на ошибку. 

«Раньше нам приходилось изучать закон, кодировать разделы, ссылающиеся на другие разделы законодательства, и пытаться во всем разобраться самостоятельно», — говорит Шоу.

OBBB поступил с теми же требованиями к точности, но с другими вводными. Насчитывая более 900 страниц, он был структурно сложнее, чем TCJA. Документ оказался неструктурированным и не имел стандартизированной схемы. В версиях Палаты представителей и Сената для описания одних и тех же положений использовалась разная терминология. При этом команде пришлось начать реализацию до того, как Налоговое управление США (IRS) опубликовало официальные формы или инструкции.

Вопрос заключался в том, смогут ли ИИ-инструменты сократить сроки без ущерба для результатов. Для ответа на него потребовалась специфическая последовательность действий и набор инструментов, которых тогда еще не существовало.

От неструктурированного документа к предметно-ориентированному коду

Обсуждение OBBB в Конгрессе еще продолжалось, когда команда TurboTax приступила к работе над ним. Используя большие языковые языковые модели, команда обобщила версию Палаты представителей, затем версию Сената, а после сопоставила различия. Обе палаты ссылались на одни и те же базовые разделы налогового кодекса — это стабильный ориентир, который позволил моделям проводить сравнения в структурно противоречивых документах.

К моменту подписания закона команда уже отфильтровала положения, касающиеся клиентов TurboTax, сузив их до конкретных налоговых ситуаций и профилей пользователей. Процесс синтаксического анализа, сопоставления и фильтрации положений сократился с недель до часов.

Эти задачи решались с помощью ChatGPT и универсальных больших языковых моделей (LLM). Однако эти инструменты столкнулись с непреодолимым пределом, когда работа перешла от анализа к реализации. TurboTax не работает на стандартном языке программирования. Его движок расчета налогов построен на проприетарном предметно-ориентированном языке, который поддерживается внутри Intuit. Любая модель, генерирующая код для этой кодовой базы, должна переводить юридический текст на синтаксис, на котором ее никогда не обучали, и определять, как новые положения взаимодействуют с десятилетиями существующего кода, не нарушая то, что уже работает.

Основным инструментом для такой работы по трансляции и сопоставлению зависимостей стал Claude. По словам Шоу, он мог определять, что изменилось, а что нет, позволяя разработчикам сосредоточиться исключительно на новых положениях.

«Он способен интегрироваться с тем, что не меняется, и определять зависимости для того, что изменилось, — сказала она. — Это ускорило процесс разработки и позволило нам сосредоточиться только на тех вещах, которые претерпели изменения».

Создание инструментов, соответствующих порогу практически нулевой погрешности

Универсальные LLM помогли команде получить рабочий код. Чтобы этот код можно было выпустить в продакшн, потребовались два проприетарных инструмента, созданных в ходе работы над OBBB.

Первый из них автоматически генерировал экраны продукта TurboTax непосредственно на основе законодательных изменений. Раньше разработчики подготавливали эти экраны вручную для каждого отдельного положения. Новый инструмент выполнял большую часть работы автоматически, требуя ручной настройки только в необходимых случаях.

Вторым инструментом стала специализированная среда модульного тестирования. В Intuit всегда применялось автоматизированное тестирование, но предыдущая система выдавала лишь результат «пройдено/не пройдено». Если тест завершался с ошибкой, разработчикам приходилось вручную открывать файл данных базовой налоговой декларации, чтобы отыскать причину.

«Автоматизация сообщала вам: пройдено или не пройдено, а вам приходилось копаться в самом файле налоговых данных, чтобы понять, что именно пошло не так», — пояснила Шоу. Новая среда определяет конкретный сегмент кода, ставший причиной сбоя, генерирует пояснение и позволяет внести исправление прямо внутри самой среды.

Шоу отметила, что точность потребительского налогового продукта должна быть близка к 100 процентам. Сара Аэрни (Sarah Aerni), вице-президент Intuit по технологиям потребительской группы, подчеркнула, что архитектура должна выдавать детерминированные результаты.

«Наличие возможностей, обеспечивающих детерминированность и проверяемую корректность с помощью тестов, — именно это формирует необходимую уверенность», — сказала Аэрни.

Инструменты обеспечивают скорость. Но Intuit также использует инструменты оценки на базе LLM для проверки результатов, сгенерированных ИИ, и даже они требуют участия человека-налогового эксперта для оценки правильности результата. «Все сводится к наличию человеческой экспертизы, позволяющей валидировать и проверять практически все», — добавила Аэрни.

Четыре компонента, которые может использовать любая команда в регулируемой отрасли

OBBB был налоговой задачей, но лежащие в ее основе условия не уникальны для сферы налогообложения. Команды из сфер здравоохранения, финансовых услуг, юридических технологий и государственного подряда регулярно сталкиваются с той же комбинацией факторов: сложная нормативная документация, жесткие дедлайны, проприетарные кодовые базы и практически нулевая толерантность к ошибкам.

Опираясь на опыт внедрения в Intuit, можно выделить четыре элемента рабочего процесса, применимые в других средах разработки с жесткими ограничениями:

1. Используйте коммерческие LLM для анализа документов. Универсальные модели отлично справляются с синтаксическим анализом, сопоставлением и фильтрацией положений. Именно здесь они повышают скорость, не создавая рисков для точности.

2. Переходите на специализированные инструменты, когда анализ переходит в стадию реализации. Универсальные модели, генерирующие код в проприетарную среду без ее понимания, будут выдавать результаты, которым нельзя доверять в больших масштабах.

3. Создавайте инфраструктуру оценки до наступления дедлайна, а не во время спринта. Обычное автоматизированное тестирование выдает результаты типа «пройдено/не пройдено». Именно предметно-ориентированные тестовые инструменты, которые выявляют сбои и позволяют вносить исправления в контексте, делают код, созданный ИИ, готовым к релизу.

4. Внедряйте ИИ-инструменты по всей организации, а не только в инженерном отделе. Шоу рассказала, что в Intuit обучали сотрудников и отслеживали использование ИИ во всех подразделениях. Владение технологиями ИИ распределилось по всей организации, а не было сосредоточено лишь у тех, кто первыми освоил новшества.

«Мы продолжаем опираться на возможности взаимодействия искусственного и человеческого интеллекта, чтобы наши клиенты получали именно то, что им нужно, от создаваемых нами продуктов», — заключила Аэрни.