Kestra 1.0 бросает вызов Airflow в оркестрации данных для ИИ

Генеративный искусственный интеллект создал беспрецедентный спрос на надежную оркестрацию данных. 

Корпоративные инициативы в сфере ИИ требуют постоянного доступа к чистым, правильно отформатированным данным из нескольких источников. У предприятий данные обычно хранятся в разных местах, на базе различных технологий и в разных форматах, и объединение всех этих данных в единый конвейер, который затем можно собирать и использовать для обучения ИИ, инференса и генерации с дополненным извлечением (RAG), — задача не из легких. В этой сфере существует множество различных инструментов, включая широко распространенную технологию с открытым исходным кодом Apache Airflow и ее коммерческую реализацию Astronomer.

Хотя Airflow используется повсеместно, это не единственный инструмент оркестрации открытых данных. Сегодня выпускается Kestra 1.0, предлагающая надежную альтернативу с открытым исходным кодом. Kestra применяет несколько иной подход к оркестрации данных по сравнению с Airflow, нацеленный на решение более широкого круга корпоративных задач. Несмотря на то, что официально версия 1.0 выходит только сегодня, Kestra уже используется в производственных средах таких компаний, как Apple, Toyota, Bloomberg и JPMorgan Chase. В релизе платформы 1.0 представлены рабочие процессы, сгенерированные с помощью ИИ, при сохранении элементов корпоративного контроля и управления.

«Мы стали первопроходцами в области декларативной оркестрации, — рассказал Эммануэль Даррас (Emmanuel Darras), генеральный директор и соучредитель Kestra, в эксклюзивном интервью VentureBeat. — В версии 1.0 мы поднимаем эту парадигму на новый уровень с помощью ИИ, позволяя пользователям выражать свои намерения на естественном языке при сохранении полного контроля».

Зачем создавать еще одну платформу корпоративной оркестрации данных

Kestra появилась как ответ на практические трудности при работе с существующими инструментами в корпоративной среде. Четыре года назад во время внедрения в крупной европейской ритейл-корпорации Даррас столкнулся с ограничениями Airflow, что привело к решению разработать платформу оркестрации с принципиально иной архитектурой.

«Наша миссия проста — помочь любой организации модернизировать и упростить свой технологический стек, объединив всю автоматизацию данных, ИИ, инфраструктуры и бизнес-операций в рамках единой логики оркестрации», — пояснил Даррас.

Этот подход отличается от инструментов дата-центричной оркестрации тем, что ориентирован на более широкие потребности корпоративной автоматизации. Если Airflow исторически ориентировался на команды инженеров по работе с данными, то архитектура Kestra решает задачи автоматизации инфраструктуры, управления бизнес-процессами и работы с потоками данных в рамках единой платформы.

«Исторически Airflow был оркестратором, ориентированным на инженерию данных, это очень мощный и полезный инструмент, — сказал Даррас. — Однако он продемонстрировал свои ограничения с точки зрения простоты, масштабируемости и управляемости для многих инженеров, и наш подход заключается в том, чтобы ориентироваться на всех инженеров, а не только на дата-инженеров».

Техническая архитектура: код против декларативного подхода к оркестрации данных

Ключевым элементом Airflow является DAG (направленный ациклический граф), который пишется на Python как способ инкапсуляции того, какие данные требуют оркестрации. Kestra использует иной подход: вместо программного кода для описания рабочих процессов применяется декларативный язык YAML.

Этот архитектурный выбор вдохновлен практиками разработки ПО и DevOps, а не традиционными конвенциями инженерии данных. Декларативный подход обеспечивает контроль версий, автоматическое тестирование и интеграцию с CI/CD без необходимости обладать навыками программирования для изменения рабочих процессов.

Декларативная основа приобретает стратегическое значение по мере интеграции ИИ в корпоративные системы. Традиционная кодовая оркестрация требует навыков программирования для изменения процессов под новые сценарии использования ИИ. Декларативные подходы обеспечивают более быстрое создание итераций и широкое участие команды в разработке конвейеров данных для ИИ, подготавливая почву для генерации автоматизированных рабочих процессов.

Kestra 1.0 обеспечивает нативную для ИИ оркестрацию данных

Kestra потребовалось несколько лет, чтобы выпустить версию 1.0, несмотря на то, что рабочие нагрузки обрабатывались в продакшене крупными предприятиями в течение нескольких лет. Статус 1.0 отражает как техническую зрелость, так и фундаментальный сдвиг в сторону оркестрации с интеграцией ИИ.

В версии 1.0 представлена декларативная агентная оркестрация (Declarative Agentic Orchestration). Реализация ИИ работает на двух уровнях. Во-первых, ИИ-копилот генерирует YAML-воркфлоу напрямую из запросов на естественном языке, ускоряя создание рабочих процессов для технических команд.

Что еще более важно, платформа обеспечивает автоматизацию на основе намерений. Пользователи могут сформулировать итоговое намерение или цель прямо в запросе. Например, пользователь может ввести запрос: «Покажи, сколько клиентов купили этот продукт в прошлом месяце». ИИ-агенты в Kestra способны самостоятельно генерировать, оптимизировать и выполнять весь рабочий процесс «под капотом» для удовлетворения этого запроса.

Этот подход решает критически важную для предприятий проблему автоматизации с помощью ИИ — сохранение управляемости и прозрачности (аудируемости). В отличие от систем ИИ «черного ящика», агенты Kestra генерируют точно такие же YAML-воркфлоу, которые создали бы разработчики-люди, гарантируя, что каждое автоматизированное решение проходит существующие процессы утверждения.

Как автомобильный стартап выбирал платформу оркестрации данных

Foundation Direct, аналитическая компания из автомобильной сферы, обрабатывающая данные тысяч автодилеров, недавно завершила миграцию оркестрации, которая демонстрирует как типичные ошибки при оценке, так и успешные критерии выбора.

Майк Хайднер (Mike Heidner), старший вице-президент по аналитике и бизнес-интеллекту в Foundation Direct, рассказал VentureBeat, что его компания предоставляет облачные вычисления и аналитику данных автодилерам, у которых зачастую отсутствует современная инфраструктура. Компания обрабатывает данные из различных источников, включая дилерские системы управления (DMS), возраст которых может составлять 15–20 лет.

Изначально Foundation управляла процессами с помощью заданий cron (планировщика серверов), запускающих трансформации DBT в сочетании с отдельным инструментом извлечения данных без кода. Процесс был громоздким и не обладал требуемой точностью.

Джек Перри (Jack Perry), ведущий инженер Foundation Direct, рассказал VentureBeat, что оценивал платформы оркестрации по конкретным критериям, которые многие корпоративные команды упускают из виду. Перри отметил, что на предыдущем месте работы уже имел опыт использования инструмента оркестрации данных Prefect, но понял, что он не сможет удовлетворить требования компании к масштабированию.

Оценка была сосредоточена на надежности, гибкости языков программирования, удобстве пользовательского интерфейса и возможности тестирования ПО с открытым исходным кодом. Эти критерии оказались более надежными предикторами долгосрочного успеха, чем традиционное сравнение функций.

«Мы смогли настроить всё локально с помощью Docker Compose примерно за час, и всё заработало, это было действительно привлекательно», — рассказал Перри.

Дополнительные критерии включали наличие раздельных сред разработки и продакшена, а также доступность исходного кода для тестирования без обязательств по покупке лицензий.

«Я хотел убедиться в наличии опции с открытым исходным кодом, чтобы мы могли протестировать ее без каких-либо обязательств и провести полноценные испытания», — отметил Перри.

Команда также сознательно избегала Airflow, несмотря на его доминирование на рынке.

«Я слышал много хорошего об Airflow, — сказал Перри. — Но я также слышал, что у него высокий порог вхождения, и к этому я был не готов».

Миграция принесла измеримые улучшения. Успешность выполнения операций стабильно выросла с 80% до 97%. Функции очередей платформы помогли решить проблемы с ограничением частоты запросов API (rate limiting), когда несколько членов команды одновременно запускали рабочие процессы.

Прирост операционной эффективности вышел за рамки инженерного отдела. В Foundation внедрили функции самообслуживания, позволив команде разметки и измерений обновлять конвейеры без вмешательства инженеров. 

«Никому даже не нужно общаться с Джеком, они просто заполняют свои параметры в приложении и запускают процесс», — поделился Хайднер.

Стратегическая структура оценки платформ оркестрации данных

Для предприятий, оценивающих платформы оркестрации, техническая гибкость должна стоять выше списка функций. 

Ключевые критерии оценки должны включать:

Совместимость языков: может ли платформа выполнять рабочие процессы на необходимых вам языках программирования без архитектурных ограничений?

Интеграция систем управления: поддерживает ли платформа ваши существующие процессы согласования, контроля доступа и требования аудита?

Операционная эффективность: могут ли нетехнические члены команды выполнять рутинные операции без участия инженеров?

Возможность тестирования: можете ли вы проверить платформу на реалистичных рабочих нагрузках до принятия корпоративных обязательств?

Гибкость развертывания: доступны ли как хостинговые (self-hosted), так и управляемые версии под ваши операционные предпочтения?

Выбор платформы оркестрации стал критически важной стратегической инфраструктурой для ИИ-ориентированных предприятий. Организации, продолжающие управлять рабочими процессами с помощью разрозненных точечных решений, сталкиваются с растущей сложностью по мере масштабирования инициатив в области ИИ. Выбор между консолидированными платформами и хаосом инструментов определит, смогут ли компании быстро внедрять возможности ИИ или останутся скованными накладными расходами на интеграцию.

Для предприятий, создающих возможности на базе ИИ, при оценке оркестрации в качестве приоритетов следует рассматривать управляемость, надежность и доступность для команд, а не перечень функций. Платформа, которая позволяет бизнес-пользователям безопасно изменять рабочие процессы при сохранении журналов аудита, ускорит внедрение ИИ гораздо эффективнее, чем инструменты, требующие специальных знаний для выполнения рутинных задач.