Стек ИИ от AT&T увеличивает скорость обработки токенов в 3 раза

Когда ваш среднесуточный объем использования токенов составляет 8 миллиардов в день, вы сталкиваетесь с масштабной проблемой.

С этим столкнулась компания AT&T, и директор по данным Энди Маркус (Andy Markus) и его команда осознали, что пропускать всё через крупные модели рассуждений просто нецелесообразно (и неэкономично).

Поэтому при создании внутреннего персонального помощника Ask AT&T они перестроили уровень оркестрации. Результат: многоагентный стек на базе LangChain, где «суперагенты» на базе больших языковых моделей руководят более мелкими базовыми «рабочими» агентами, выполняющими более узкие, целенаправленные задачи.

Этот гибкий уровень оркестрации значительно улучшил задержку, скорость и время отклика, рассказал Маркус изданию VentureBeat. Самое главное, что его команда добилась экономии средств до 90%. Кроме того, они могут обрабатывать больше токенов, чем когда-либо прежде: колоссальные 27 миллиардов в день, что означает более чем трехкратное увеличение всего за несколько месяцев.

«Я считаю, что будущее агентного ИИ — это множество, множество, множество малых языковых мыслей (SLM)», — сказал он. — «Мы обнаруживаем, что малые языковые модели практически так же точны, если не точны так же, как большая языковая модель в определенной предметной области».

Совсем недавно Маркус и его команда использовали этот перепроектированный стек вместе с Microsoft Azure для создания и развертывания Ask AT&T Workflows — графического конструктора агентов с интерфейсом перетаскивания (drag-and-drop), предназначенного для автоматизации задач сотрудниками.

Агенты используют набор проприетарных инструментов AT&T, которые обрабатывают документы, выполняют преобразование естественного языка в SQL и осуществляют анализ изображений. «По мере выполнения рабочего процесса именно данные AT&T действительно определяют решения», — отметил Маркус. Вместо того чтобы задавать общие вопросы, «мы задаем вопросы нашим данным и используем наши данные, чтобы обеспечить их ориентацию на нашу информацию при принятии решений».

Тем не менее, человек всегда контролирует «цепную реакцию» агентов. Все действия агентов регистрируются, данные изолируются на протяжении всего процесса, а при передаче рабочих нагрузок агентами друг другу обеспечивается контроль доступа на основе ролей.

«Кое-что происходит автономно, но человек, находящийся в контуре управления, по-прежнему осуществляет проверку и балансировку всего процесса», — пояснил Маркус.

Никакого избыточного проектирования: использование «взаимозаменяемых и выбираемых» моделей

По словам Маркуса, AT&T не придерживается подхода «создавать всё с нуля»; компания скорее полагается на модели, которые являются «взаимозаменяемыми и выбираемыми» и «никогда не пересоздают то, что уже стало товаром широкого потребления». По мере того как функциональность развивается по всей отрасли, они будут отказываться от собственных инструментов в пользу готовых решений, пояснил он.

«Поскольку в этой сфере всё меняется каждую неделю, если нам повезет, а иногда и несколько раз в неделю», — сказал он. — «Нам нужно иметь возможность пилотировать, подключать и отключать различные компоненты».

Они проводят «очень тщательную» оценку как доступных вариантов, так и собственных разработок; например, их инструмент Ask Data with Relational Knowledge Graph возглавил таблицу лидеров точности преобразования текста в SQL Spider 2.0, а другие инструменты получили высокие баллы в бенчмарке BERT SQL.

В случае с собственными агентными инструментами его команда использует LangChain в качестве базового фреймворка, дорабатывает модели с помощью стандартной генерации с дополненным извлечением (RAG) и других собственных алгоритмов, а также тесно сотрудничает с Microsoft, используя поисковые возможности технологического гиганта для своего векторного хранилища.

В конечном счете, однако, важно не просто внедрять агентный ИИ или другие передовые инструменты во всё подряд ради самого процесса, посоветовал Маркус. «Иногда мы всё усложняем», — сказал он. — «Иногда я видел избыточно спроектированные решения».

Вместо этого разработчики должны задаться вопросом, действительно ли конкретный инструмент должен быть агентным. Сюда могут входить такие вопросы: какого уровня точности можно было бы достичь, если бы это было более простое решение на базе генеративного ИИ за один шаг? Как разбить задачу на более мелкие части, каждую из которых можно было бы решить «гораздо точнее»?, как выразился Маркус.

Точность, стоимость и оперативность инструментов должны быть главными принципами. «Даже несмотря на то, что решения стали более сложными, эти три довольно базовых принципа по-прежнему задают нам верное направление», — добавил он.

Как 100 000 сотрудников реально используют это

Инструмент Ask AT&T Workflows был внедрен для более чем 100 000 сотрудников. Более половины из них заявляют, что используют его каждый день, а активные пользователи сообщают о росте производительности до 90%, сообщил Маркус.

«Мы смотрим на то, используют ли они систему повторно. Потому что вовлеченность (stickiness) — хороший индикатор успеха», — сказал он.

Конструктор агентов предлагает сотрудникам «два пути». Первый — это профессиональный код (pro-code), где пользователи могут писать код на Python за кулисами, диктуя правила работы агентов. Второй — без кода (no-code), с визуальным интерфейсом перетаскивания для «довольно простого пользовательского опыта», отметил Маркус.

Интересно, что даже опытные пользователи тяготеют к последнему варианту. На недавнем хакатоне, ориентированном на техническую аудиторию, участникам был предоставлен выбор из обоих вариантов, и более половины выбрали low-code. «Это стало для нас неожиданностью, поскольку все эти люди были очень компетентны в программировании», — сказал Маркус.

Сотрудники используют агентов для решения самых разных задач; например, сетевой инженер может создать цепочку таких агентов для обработки оповещений и повторного подключения клиентов при потере связи. В этом сценарии один агент может сопоставить телеметрию для выявления проблемы в сети и ее местоположения, извлечь журналы изменений и проверить наличие известных проблем. Затем он может открыть заявку на техническую поддержку.

Другой агент может предложить способы решения проблемы и даже написать новый код для ее исправления. Как только проблема будет решена, третий агент сможет составить резюме с профилактическими мерами на будущее.

«Инженер [человек] будет следить за всем этим, убеждаясь, что агенты работают должным образом и предпринимают правильные действия», — сказал Маркус.

Программирование на основе ИИ — это будущее

Та же инженерная дисциплина — разбиение работы на более мелкие, специализированные задачи — теперь меняет то, как сама AT&T пишет код, с помощью того, что Маркус называет «программированием на основе ИИ» (AI-fueled coding).

Он сравнил этот процесс с RAG; разработчики используют методы гибкой разработки (agile) в интегрированной среде разработки (IDE) вместе с «функционально-специфическими» шаблонами сборки, которые определяют взаимодействие кода.

Результатом не является «сырой» код; код «очень близок к промышленному качеству» и может достичь этого уровня за один шаг. «Мы все сталкивались с вайб-кодингом (vibe coding), когда у нас есть редактор кода на базе агентов», — отметил Маркус. Но программирование на основе ИИ «устраняет множество итераций туда-сюда, которые можно наблюдать при вайб-кодинге».

Он рассматривает эту технику программирования как то, что «ощутимо переопределяет» цикл разработки программного обеспечения, в конечном итоге сокращая сроки разработки и увеличивая выпуск кода производственного качества. Нетехнические команды также могут принять в этом участие, используя текстовые подсказки на обычном языке для создания прототипов программного обеспечения.

Его команда, например, использовала этот метод для создания внутреннего курируемого продукта данных за 20 минут; без ИИ на это ушло бы шесть недель. «Мы разрабатываем с его помощью программное обеспечение, модифицируем ПО, занимаемся наукой о данных, аналитикой данных и дата-инжинирингом», — сказал Маркус. — «Так что это меняет правила игры».