Notion перестраивает ИИ-архитектуру для агентов

Многие организации не решаются перестраивать свой технологический стек и начинать все с нуля.

Но только не Notion.

Создавая третью версию своего ПО для повышения продуктивности (выпущенную в сентябре), компания без колебаний провела полную пересборку с нуля; на самом деле они осознали, что это необходимо для поддержки агентного ИИ в масштабах предприятия.

В то время как традиционные рабочие процессы на базе ИИ предполагают четкие пошаговые инструкции на основе обучения с минимальным количеством примеров (few-shot learning), агенты ИИ, работающие на базе продвинутых моделей рассуждения, осознанно подходят к выбору инструментов, могут определять и понимать, какие средства есть в их распоряжении, и планировать дальнейшие шаги.

«Вместо того чтобы пытаться приспособить систему под то, что мы уже строили, мы хотели задействовать сильные стороны моделей рассуждения, — рассказала VentureBeat Сара Сакс (Sarah Sachs), руководитель отдела моделирования ИИ в Notion. — Мы создали новую архитектуру с нуля, потому что рабочие процессы агентов отличаются от обычных процессов».

Реорганизация ради автономной работы моделей

Notion используется в 94% компаний из списка Forbes AI 50, общее число ее пользователей достигает 100 миллионов, а среди клиентов числятся OpenAI, Cursor, Figma, Ramp и Vercel.

В условиях стремительно развивающейся сферы ИИ компания осознала необходимость перехода от более простых рабочих процессов на базе конкретных задач к ориентированным на результат системам рассуждения. Это позволяет агентам автономно выбирать, координировать и задействовать инструменты в связанных средах.

Как отметила Сакс, модели рассуждения очень быстро стали «намного лучше» справляться с обучением использованию инструментов и выполнением инструкций по цепочке рассуждений (CoT). Это позволяет им быть «гораздо более независимыми» и принимать множество решений в рамках одного агентного рабочего процесса. «Мы перестроили нашу систему ИИ именно под это», — добавила она.

С инженерной точки зрения это означало отказ от жестких промпт-ориентированных процессов в пользу единой модели оркестрации, пояснила Сакс. Эту базовую модель поддерживают модульные субагенты, которые выполняют поиск по Notion и в сети, запрашивают и дополняют базы данных, а также редактируют контент.

Каждый агент использует инструменты в зависимости от контекста; например, они могут решить, выполнять ли поиск в самом Notion или на другой платформе, например в Slack. Модель будет выполнять последовательные поисковые запросы до тех пор, пока не найдет нужную информацию. После этого она может, например, превратить заметки в предложения, создать сообщения для последующего контроля, отслеживать задачи, а также находить и вносить обновления в базы данных.

В Notion 2.0 команда сосредоточилась на том, чтобы заставлять ИИ выполнять конкретные задачи, что требовало «исчерпывающих размышлений» о том, как составить запросы для модели, отметила Сакс. Однако в версии 3.0 пользователи могут ставить задачи перед агентами, а агенты способны реально действовать и выполнять несколько задач одновременно.

«Мы перестроили оркестрацию так, чтобы инструменты выбирались самостоятельно, а не через few-shot-обучение, когда явно прописывается сценарий прохождения всех этих различных ситуаций», — пояснила Сакс. Цель состоит в том, чтобы все взаимодействовало с ИИ, и чтобы «все, что можете сделать вы, мог сделать и ваш агент Notion».

Разделение путей для изоляции галлюцинаций

Философия Notion «лучше, быстрее, дешевле» задает цикл непрерывной итерации, который поддерживает баланс между задержкой (latency) и точностью с помощью точно настроенных векторных вложений и оптимизации эластичного поиска. Команда Сакс использует строгую структуру оценки, которая объединяет детерминированные тесты, вернакулярную оптимизацию, размеченные человеком данные и подход «языковые модели как судья» (LLMs-as-a-judge), где оценки на основе моделей выявляют несоответствия и неточности.

«Разделив процесс оценки на составляющие, мы можем определить источники проблем, и это помогает нам изолировать ненужные галлюцинации», — пояснила Сакс. Кроме того, упрощение самой архитектуры облегчает внесение изменений по мере эволюции моделей и методов.

«Мы максимально оптимизируем задержку и параллельное мышление», что приводит к «значительно более высокой точности», отметила Сакс. Модели опираются на данные из интернета и связанного рабочего пространства Notion.

В конечном итоге, по словам Сакс, инвестиции в перестройку архитектуры уже принесли Notion дивиденды в виде новых возможностей и ускорения темпов изменений.

Она добавила: «Мы полностью открыты к тому, чтобы перестроить ее снова, когда произойдет следующий технологический прорыв, если это потребуется».

Понимание контекстной задержки

При создании и тонкой настройке моделей важно понимать, что задержка субъективна: ИИ должен предоставлять наиболее релевантную информацию, а не просто максимальный ее объем в ущерб скорости.

«Вы удивитесь тому, как по-разному клиенты готовы или не готовы ждать чего-то», — сказала Сакс. Это отличный эксперимент: как сильно можно замедлить систему, прежде чем люди откажутся от модели?

Например, при чистом навигационном поиске пользователи могут быть менее терпеливы; им нужны ответы практически немедленно. «Если вы спросите: «Сколько будет два плюс два?», вы не захотите ждать, пока ваш агент начнет искать информацию везде — в Slack и JIRA», — отметила Сакс.

Но чем больше времени выделяется агенту рассуждений, тем более исчерпывающим может быть результат. Например, Notion способен выполнять 20 минут автономной работы по сотням веб-сайтов, файлов и других материалов. В таких случаях пользователи охотнее готовы ждать, пояснила Сакс; они позволяют модели выполнять задачу в фоновом режиме, пока сами занимаются другими делами.

«Это продуктовый вопрос, — сказала Сакс. — Как нам сформировать ожидания пользователя с помощью пользовательского интерфейса? Как определить ожидания пользователя по поводу задержки?»

Notion — свой собственный крупнейший пользователь

Notion понимает важность использования собственного продукта — на самом деле ее сотрудники входят в число самых активных и опытных пользователей.

Сакс пояснила, что у команд есть активные «песочницы» (sandbox), которые генерируют данные для обучения и оценки, а также «очень активный» цикл обратной связи от пользователей в виде лайков и дизлайков (thumbs-up-thumbs-down). Пользователи без стеснения высказывают свое мнение о том, что следует улучшить, или делятся пожеланиями насчет новых функций.

Сакс подчеркнула, что когда пользователь ставит дизлайк какому-либо взаимодействию, он явно дает разрешение анлизатору-человеку изучить это взаимодействие, максимально деанонимизируя его.

«Мы используем собственный инструмент как компания весь день, каждый день, и поэтому получаем очень быстрые циклы обратной связи, — сказала Сакс. — Мы активно практикуем догфудинг (dogfooding) нашего собственного продукта».

Тем не менее, отметила Сакс, они создают собственный продукт, поэтому понимают, что у них может быть замылен глаз в отношении качества и функциональности. Чтобы сбалансировать это, в Notion привлекают доверенных дизайн-партнеров, «очень подкованных в вопросах ИИ», которым предоставляется ранний доступ к новым возможностям для сбора ценных отзывов.

Сакс подчеркнула, что это ничуть не менее важно, чем внутреннее прототипирование.

«Мы выступаем за эксперименты в открытую, я считаю, что так можно получить гораздо более богатый опыт и отзывы, — сказала Сакс. — Ведь в конце концов, если мы будем ориентироваться только на то, как Notion использует Notion, мы не сможем обеспечить лучший опыт для наших клиентов».

Не менее важно и то, что непрерывное внутреннее тестирование позволяет командам оценивать прогресс и следить за тем, чтобы модели не деградировали (когда точность и производительность ухудшаются со временем). «Все, что вы делаете, остается надежным, — пояснила Сакс. — Вы знаете, что ваша задержка находится в пределах нормы».

Многие компании совершают ошибку, слишком концентрируясь на ретроспективных оценках; это мешает им понять, как и где они совершенствуются, указала Сакс. Notion рассматривает оценки (evals) как «лакмусовую бумажку» разработки, перспективного прогресса, а также как инструмент наблюдаемости и защиты от регресса.

«Я думаю, что большая ошибка многих компаний заключается в смешении этих понятий, — сказала Сакс. — Мы используем их для обеих целей; мы подходим к ним совершенно по-разному».

Итоги пути Notion

Для предприятий Notion может служить образцом того, как ответственно и динамично внедрять агентный ИИ в связанном корпоративном рабочем пространстве с разграничением прав доступа.

Главные выводы Сакс для других технологических лидеров:

• Не бойтесь проводить пересборку, когда меняются базовые возможности; Notion полностью переработала свою архитектуру, чтобы согласовать ее с моделями, основанными на рассуждениях.

• Относитесь к задержке как к контекстному параметру: оптимизируйте ее под конкретные сценарии использования, а не универсально.

• Основывайте все результаты на заслуживающих доверия, отобранных корпоративных данных для обеспечения точности и надежности.

  Она посоветовала: «Будьте готовы принимать трудные решения. Будьте готовы находиться на переднем крае того, что вы разрабатываете, чтобы создать лучший продукт для ваших клиентов».