NEXUS от Fundamental обходит ручной ETL с помощью встроенной базовой модели для табличных данных

У революции в сфере глубокого обучения есть любопытное «слепое пятно» — электронные таблицы. В то время как большие языковые модели (LLM) освоили все тонкости человеческой речи, а генераторы изображений покорили цифровые холсты, структурированные реляционные данные, лежащие в основе мировой экономики (строки и столбцы ERP-систем, CRM и финансовых легислеров), до сих пор воспринимались лишь как еще один формат файлов, похожий на текст или PDF.

В результате компаниям приходится прогнозировать бизнес-результаты с помощью привычных заказных и трудоемких процессов обработки данных, включающих ручную разработку признаков и классические алгоритмы машинного обучения, которые появились задолго до современного глубокого обучения.

Но теперь компания Fundamental — базирующийся в Сан-Франциско стартап в области искусственного интеллекта, сооснователями которого стали выходцы из DeepMind, — сегодня объявляет о запуске и привлечении в общей сложности 255 миллионов долларов финансирования, чтобы преодолеть этот разрыв.

Выходя из тени, компания представляет NEXUS — большую табулярную модель (Large Tabular Model, LTM), созданную для того, чтобы рассматривать бизнес-данные не как простую последовательность слов, а как сложную сеть нелинейных связей.

Технологии: выход за рамки последовательной логики

Большинство современных моделей ИИ построены на последовательной логике — прогнозировании следующего слова в предложении или следующего пикселя в кадре.

Однако корпоративные данные по своей сути нелинейны. Риск оттока клиента — это не просто хронология; это многомерное пересечение частоты транзакций, тональности обращений в службу поддержки и региональных экономических сдвигов. Существующие LLM испытывают трудности с этим, поскольку они плохо приспособлены к ограничениям по размеру и размерности таблиц корпоративного масштаба.

«Самые ценные данные в мире хранятся в таблицах, и до сих пор не было ни одной качественной базовой модели, созданной специально для их понимания», — заявил Джереми Френкель (Jeremy Fraenkel), генеральный директор и сооснователь Fundamental.

В недавнем интервью VentureBeat Френкель подчеркнул, что, пока мир ИИ одержим текстом, звуком и видео, таблицы остаются крупнейшей модальностью для бизнеса. «LLM действительно не умеют хорошо работать с данными такого типа, — пояснил он, — и в настоящее время для прогнозирования предприятия полагаются на очень старомодные алгоритмы машинного обучения».

NEXUS была обучена на миллиардах реальных табличных наборов данных с помощью Amazon SageMaker HyperPod. В отличие от традиционных моделей XGBoost или Random Forest, которые требуют от специалистов по работе с данными ручного определения признаков — конкретных переменных, на которые модель должна ориентироваться, — NEXUS спроектирована для непосредственного приема «сырых» таблиц.

Она выявляет скрытые закономерности в столбцах и строках, которые могут упустить из виду человеческие аналитики, фактически считывая скрытый язык таблиц для понимания нелинейных взаимодействий.

Ловушка токенизации

Основная причина, по которой традиционные LLM терпят неудачу при работе с табличными данными, заключается в том, как они обрабатывают числа. Френкель объясняет, что LLM токенизируют числа так же, как и слова, разбивая их на более мелкие фрагменты. «Проблема в том, что они применяют тот же подход к цифрам. Таблицы в массе своей состоят из чисел, — отметил Френкель. — Если у вас есть число, например 2.3, то „2“, „.“ и „3“ воспринимаются как три разных токена. Это по сути означает, что вы теряете понимание распределения чисел. Это не калькулятор; вы не всегда получаете правильный ответ, потому что модель изначально не понимает концепцию чисел».

Кроме того, табличные данные инвариантны к порядку следования в отличие от языка. Френкель приводит пример из сферы здравоохранения: «Если я дам вам таблицу с сотнями тысяч пациентов и попрошу предсказать, у кого из них диабет, не должно иметь значения, является ли первый столбец ростом, а второй — весом, или наоборот».

В то время как LLM крайне чувствительны к порядку слов в запросе, архитектура NEXUS спроектирована так, чтобы понимать: смещение позиций столбцов не должно влиять на итоговый прогноз.

Работа на уровне прогнозирования

Недавние громкие интеграции, такие как появление Claude от Anthropic непосредственно в Microsoft Excel, позволяют предположить, что LLM уже решают проблемы с таблицами.

Тем не менее, Френкель подчеркивает, что работа Fundamental осуществляется на принципиально ином уровне: на уровне прогнозирования. «То, что они делают, по сути находится на уровне формул — формулы являются текстом, они похожи на код, — сказал он. — Мы не пытаемся позволить вам построить финансовую модель в Excel. Мы помогаем вам сделать прогноз».

NEXUS создана для принятия мгновенных решений без участия человека, например, когда провайдер кредитных карт определяет, является ли транзакция мошеннической в момент проведения платежа.

В то время как такие инструменты, как Claude, могут обобщить электронную таблицу, NEXUS создана для прогнозирования следующей строки — будь то поломка оборудования на заводе или вероятность повторной госпитализации пациента.

Архитектура и доступность

Главное ценностное предложение Fundamental заключается в радикальном сокращении времени от получения данных до инсайтов. Традиционно создание прогнозной модели могло занимать месяцы ручного труда.

«Вам приходится нанимать целую армию специалистов по работе с данными для создания всех этих конвейеров обработки и очистки информации, — пояснил Френкель. — Если есть пропущенные значения или несогласованные данные, ваша модель не будет работать. Такие конвейеры приходится строить для каждого отдельного сценария использования».

В Fundamental утверждают, что NEXUS заменяет весь этот ручной процесс всего одной строкой кода. Поскольку модель прошла предварительное обучение на миллиарде таблиц, она не требует того же уровня специализированного обучения или конструирования признаков, что и традиционные алгоритмы.

Переходя из фазы скрытой работы на более широкий рынок, Fundamental использует коммерческую структуру, призванную обойти традиционные препятствия на пути внедрения корпоративного ПО.

Компания уже заключила несколько семизначных контрактов с организациями из списка Fortune 100 — этот успех стал возможным благодаря стратегической архитектуре выхода на рынок, где Amazon Web Services (AWS) выступает в роли продавца в AWS Marketplace.

Это позволяет руководителям предприятий приобретать и развертывать NEXUS, используя существующие кредиты AWS, фактически рассматривая предиктивный интеллект как стандартную утилиту наравне с вычислительными мощностями и хранилищами. Для инженеров, которым поручено внедрение, этот опыт отличается высокой отдачей и минимальным сопротивлением: NEXUS работает через Python-интерфейс на чисто предиктивном уровне, а не на уровне чат-бота.

Разработчики подключают исходные таблицы напрямую к модели и размечают конкретные целевые столбцы — такие как вероятность дефолта по кредиту или показатель риска техобслуживания — для запуска прогноза. Затем модель выдает регрессию или классификацию прямо в стек корпоративных данных, функционируя как бесшумный высокоскоростной движок для автоматизированного принятия решений, а не как чат-ассистент.

Социальные ставки: за пределами финансовых результатов

Хотя коммерческие последствия прогнозирования спроса и цен очевидны, Fundamental подчеркивает социальную пользу предиктивного интеллекта.

Компания выделяет ключевые области, в которых NEXUS может предотвратить катастрофические последствия, выявляя сигналы, скрытые в структурированных данных.

Анализируя данные датчиков и записи о техническом обслуживании, NEXUS может прогнозировать такие аварии, как коррозия труб. Компания приводит в пример водный кризис в Флинте, стоивший более 1 миллиарда долларов на ремонт, как случай, когда предиктивный мониторинг мог бы предотвратить опасное для жизни загрязнение.

Аналогичным образом, во время кризиса, вызванного COVID-19, нехватка СИЗ обошлась больницам в 323 миллиарда долларов всего за один год. В Fundamental утверждают, что, используя данные о производстве и эпидемиологические данные, NEXUS может прогнозировать дефицит за 4–6 недель до пика спроса, запуская экстренное производство вовремя, чтобы спасти жизни.

Что касается климата, NEXUS нацелен на предоставление прогнозов наводнений и засух за 30–60 дней — например, для разрушительных наводнений в Пакистане в 2022 году, которые нанесли ущерб в размере 30 миллиардов долларов.

Наконец, модель используется для прогнозирования рисков повторной госпитализации больниц путем анализа демографических показателей пациентов и социальных детерминант здоровья. Как выразились в компании: «Мать-одиночка, работающая на двух работах, не должна снова попадать в отделение неотложной помощи только потому, что мы не смогли предсказать ее потребность в последующем уходе».

Производительность против задержек

В мире корпоративных технологий определение «лучшего» варьируется в зависимости от отрасли. Для одних это скорость, для других — абсолютная точность.

«Что касается задержек (латентости), все зависит от сценария использования, — объясняет Френкель. — Если вы исследователь, пытающийся понять, какие лекарства назначить пациенту в Африке, задержка не так важна. Вы стремитесь принять более точное решение, которое в конечном итоге может спасти как можно больше жизней».

Напротив, для банка или хедж-фонда даже незначительное увеличение точности транслируется в колоссальную ценность.

«Повышение точности прогнозов на полпроцента стоит для банка миллиарды долларов, — говорит Френкель. — Для разных сценариев использования масштаб процентного прироста меняется, но мы можем обеспечить лучшую производительность, чем та, которой вы располагаете в данный момент».

Амбициозное видение получает мощную поддержку

Раунд финансирования Серии А на сумму 225 миллионов долларов, возглавляемый Oak HC/FT при участии Salesforce Ventures, Valor Equity Partners и Battery Ventures, свидетельствует об устойчивой вере в то, что табличные данные — это следующий великий рубеж.

Известные бизнес-ангелы, в том числе лидеры из Perplexity, Wiz, Brex и Datadog, дополнительно подтверждают авторитет компании.

Энни Ламонт, сооснователь и управляющий партнер Oak HC/FT, выразила общее мнение: «Значение модели Fundamental трудно переоценить — структурированные реляционные данные еще только предстоит ощутить на себе преимущества революции глубокого обучения».

Fundamental позиционирует себя не просто как еще один инструмент ИИ, а как новую категорию корпоративного искусственного интеллекта. С командой из примерно 35 человек, базирующейся в Сан-Франциско, компания отходит от эпохи заказных моделей и движется к эпохе базовых моделей для таблиц.

«Эти традиционные алгоритмы оставались неизменными последние 10 лет; они не совершенствуются, — сказал Френкель. — Наши модели продолжают улучшаться. Мы делаем для таблиц то же самое, что ChatGPT сделал для текста».

Партнерство с AWS

Благодаря стратегическому партнерству с Amazon Web Services (AWS), NEXUS интегрирована непосредственно в панель управления AWS. Клиенты AWS могут развернуть модель, используя существующие кредиты и инфраструктуру. Френкель описывает это как «уникальное соглашение», отмечая, что Fundamental является одной из всего двух компаний в сфере ИИ, установивших столь глубокое и многоуровнежное партнерство с Amazon.

Одним из самых серьезных препятствий для корпоративного ИИ является конфиденциальность данных. Компании зачастую не желают передавать конфиденциальную информацию сторонней инфраструктуре.

Для решения этой задачи специалисты Fundamental и Amazon совершили грандиозный инженерный прорыв: создали возможность развертывания полностью зашифрованных моделей (как архитектуры, так и весов) непосредственно в собственной среде клиента. «Клиенты могут быть уверены, что данные остаются у них, — сказал Френкель. — Мы — первая и на данный момент единственная компания, создавшая подобное решение».

Появление Fundamental — это попытка переосмыслить операционную систему для бизнес-решений. Если NEXUS будет работать так, как заявлено — справляться с финансовым мошенничеством, ценами на энергоносители и сбоями в цепочках поставок с помощью единой универсальной модели, — это станет моментом, когда ИИ наконец научился читать электронные таблицы, на которых действительно держится мир. Способность прогнозировать больше не сводится к оценке того, что произошло вчера; речь идет о раскрытии скрытого языка таблиц для определения того, что произойдет завтра.