Предприятия обучают собственные модели ИИ на основе рабочих процессов — без команды специалистов по машинному обучению

Каждый запрос, который обрабатывает корпоративное ИИ-приложение, каждая исправление, вносимое экспертом в его результаты — это взаимодействие становится обучающими данными. Большинство организаций не фиксируют их. Производственные рабочие процессы, которые компании уже создали, генерируют непрерывный поток сигналов, улучшающих ИИ-модели, и этот поток исчезает бесследно.

Базирующийся в Сан-Франциско стартап Empromptu AI в четверг представил платформу Alchemy Models с простой предпосылкой: ИИ-приложения, которые предприятия уже создают, генерируют обучающие данные, и большая их часть расходуется впустую. Платформа автоматически фиксирует этот сигнал, направляя проверенные экспертами результаты обратно в конвейер дообучения (fine-tuning), что со временем улучшает модель. При этом предприятия полностью владеют полученными весами.

Это решение занимает совершенно иную нишу по сравнению как с RAG (генерацией с дополненным извлечением), так и с традиционным дообучением. RAG извлекает внешний контекст во время инференса, не изменяя веса модели. Традиционное дообучение изменяет веса, но требует предварительно собранных размеченных наборов данных и выделенного конвейера машинного обучения. Alchemy выполняет последнюю задачу непрерывно, используя в качестве источника данных само корпоративное приложение.

Компании, внедряющие API базовых моделей, сталкиваются с тремя усугубляющими друг друга ограничениями: затратами на инференс, которые масштабируются вместе с использованием, отсутствием прав собственности на модели, которые фактически обучаются на их данных, и ограниченными возможностями настройки поведения для узкоспециализированных задач. Генеральный директор Empromptu Шанея Левен (Shanea Leven) отмечает, что эти ограничения ощущаются повсеместно, но решаются крайне редко.

«Каждый клиент, каждый человек, с которым я общаюсь, спрашивает: как мне избежать вытеснения с рынка? Как мне защитить свой бизнес? И они просто не видят этого пути», — рассказала Левен в эксклюзивном интервью VentureBeat.

Как Alchemy создает модель на основе работающего приложения

Большинство подходов к обучению кастомных моделей требуют, чтобы компании отдельно собирали, очищали и размечали данные до того, как начнется любое дообучение. Alchemy идет по другому пути: само корпоративное приложение генерирует и очищает обучающие данные.

Этот механизм работает через инфраструктуру Golden Data Pipelines от Empromptu в два этапа. До создания приложения корпоративные данные очищаются, извлекаются и обогащаются, чтобы приложение начинало работу со структурированными входными данными. После запуска приложения каждый создаваемый им результат проходит обратно через конвейер, где профильные эксперты внутри организации проверяют и исправляют его. Этот проверенный результат становится обучающими данными для следующего цикла дообучения.

«Само приложение, то ИИ-приложение, которое клиенты уже создают, очищает данные», — пояснила Левен.

Полученные в результате дообучения модели Empromptu называет Expert Nano Models (экспертными наномоделями): это небольшие, специализированные под конкретные задачи модели, оптимизированные для определенного рабочего процесса, а не для универсальных рассуждений. Оценки (evals), защитные механизмы (guardrails) и средства контроля соответствия требованиям работают в рамках того же конвейера, поэтому элементы управления комплаенсом сопровождают весь процесс обучения. Клиенты полностью владеют весами модели. Empromptu размещает их и выполняет инференс на собственной инфраструктуре, однако веса являются переносимыми и могут быть экспортированы за плату. Платформа является агностичной к моделям и поддерживает Llama, Qwen и другие базовые модели.

Главным жестким ограничением является объем данных. Первые развертывания работают на базовой модели, пока приложение накапливает достаточно производственных данных для запуска эффективного цикла дообучения. Левен признала эти временные рамки без прикрас: «Обучение модели просто потребует времени», — сказала она.

Alchemy отличается от управляемого дообучения тем, кто именно выполняет работу

API дообучения от OpenAI и кастомные модели в AWS Bedrock предлагают возможности корпоративного дообучения. Однако оба варианта требуют, чтобы организации использовали отдельно подготовленные наборы обучающих данных и управляли процессом дообучения за пределами своего стека приложений. Бремя кураторства данных и оценки моделей ложится на команду машинного обучения заказчика.

Отличие Alchemy заключается в интеграции в рабочий процесс. Обучающие данные генерируются самим корпоративным приложением, поэтому здесь нет отдельного этапа подготовки данных и не требуется экспертиза в области машинного обучения. Конвейером становится сам рабочий процесс приложения.

«Нужно ли мне подключать Bedrock и нанимать еще одну команду машинного обучения, чтобы разобраться, как дообучить модель, и настраивать всю эту инфраструктуру? Нет, теперь это может сделать каждый», — заявила Левен.

Обратной стороной является зависимость от платформы. Alchemy работает исключительно в среде Empromptu. Предприятия, которые захотят получить аналогичный результат на существующей инфраструктуре, должны будут самостоятельно воссоздать конвейер сбора, валидации и дообучения данных.

Компания в сфере поведенческого здоровья сократила время документирования сессий на 87% с помощью Alchemy

В первую очередь Empromptu ориентируется на регулируемые и ресурсоемкие с точки зрения данных вертикали: здравоохранение, финансовые услуги, юридические технологии, ритейл и прогнозирование доходов. Это те сектора, где результаты работы универсальных моделей несут в себе наибольший риск несоответствия, а данные о проприетарных рабочих процессах сконцентрированы сильнее всего.

Одними из первых пользователей стала компания в сфере поведенческого здоровья Ascent Autism, которая использует Alchemy для автоматизации документирования сессий и связи с родителями.

Специалисты используют записи сессий обучающихся, стенограммы, заметки и поведенческие метрики для генерации структурированных заметок и персонализированных обновлений для родителей. Ранее этот рабочий процесс требовал от одного до двух часов письменной работы на каждую сессию. Благодаря обучению Alchemy на тех же данных теперь это занимает от 10 до 15 минут.

«Использование исключительно моделей на базе API быстро становится дорогостоящим», — рассказал VentureBeat Фараз Фадави (Faraz Fadavi), соучредитель и технический директор Ascent Autism. — Alchemy предоставила нам способ структурировать рабочий процесс, обучать модели на собственных данных и снизить затраты при одновременном повышении качества результатов с течением времени».

По словам Фадави, компания быстро получила пригодные к использованию результаты, которые продолжали улучшаться по мере настройки системы. Критерии оценки выходили за рамки простой точности и включали прослеживаемость данных сессий и соответствие результатов клиническому стилю компании.

«Нам нужна была система, которая могла бы изучать наш рабочий процесс и выдавать результаты, согласующиеся с тем, как мы работаем на самом деле, а не просто суммировать текст», — отметил он.

Практическая проверка заключалась в следующем: насколько сильно специалистам приходится редактировать текст, соответствует ли результат их профессиональному тону и сокращает ли это затрачиваемое время. В результате специалисты переключились с переписывания сгенерированных заметок на их редактирование и проверку качества.

Что это значит для предприятий

Маховик данных (data flywheel) работает реально — но точно так же реально и закрепление за конкретной платформой (vendor lock-in):

Каждый рабочий процесс — это возможность для обучения. Предприятия, которые собирают и валидируют результаты работы своих производственных ИИ-приложений, со временем будут накапливать это преимущество. Более интенсивное использование генерирует больше обучающих сигналов, что приводит к созданию более точных доменно-специфичных моделей, которые выдают лучшие результаты, что, в свою очередь, формирует более чистые обучающие данные для следующего цикла.

Левен позиционирует Alchemy как третий архитектурный выбор. Последние два года предприятия выбирали между RAG для доступа к доменным знаниям и дообучением для специализации моделей. Обучение моделей на основе рабочих процессов — это третий вариант, сочетающий непрерывное улучшение за счет дообучения с операционной простотой создания решений внутри управляемой платформы.

«Обладание таким “рвом” из данных — это самая ценная валюта», — резюмировала Левен.