SurrealDB 3.0 переопределяет системы RAG благодаря инвестициям в размере $23 млн
Создание систем дополненной генерации (RAG) для агентов искусственного интеллекта часто предполагает использование множества уровней и технологий для структурированных данных, векторов и графовой информации. В последние месяцы также стало совершенно очевидно, что для эффективной работы агентным системам ИИ необходима память, которую иногда называют контекстной.
Сложность и необходимость синхронизации различных уровней данных для обеспечения контекста могут приводить к проблемам с производительностью и точностью. Именно эту задачу стремится решить компания SurrealDB.
В среду SurrealDB выпустила версию 3.0 своей одноименной базы данных вместе с дополнительным раундом финансирования Серии А на сумму 23 миллиона долларов, в результате чего общий объем привлеченных средств достиг 44 миллионов долларов. Компания выбрала иной архитектурный подход по сравнению с реляционными базами данных вроде PostgreSQL, нативными векторными базами данных вроде Pinecone или графовыми базами данных вроде Neo4j. Инженерная команда OpenAI недавно подробно описала, как они масштабировали Postgres до 800 миллионов пользователей с помощью реплик для чтения — подход, который отлично работает для нагрузок с преобладанием операций чтения. SurrealDB использует другой подход: хранение памяти агентов, бизнес-логики и мультимодальных данных непосредственно внутри базы данных. Вместо синхронизации между несколькими системами векторный поиск, обход графов и реляционные запросы выполняются транзакционно в едином движке на базе Rust, который поддерживает согласованность.
«Люди одновременно используют DuckDB, Postgres, Snowflake, Neo4j, Qdrant или Pinecone, а потом удивляются, почему они не могут добиться высокой точности от своих агентов, — рассказал VentureBeat генеральный директор и соучредитель Тоби Морган Хичкок (Tobie Morgan Hitchcock). — Это происходит потому, что им приходится отправлять пять разных запросов в пять разных баз данных, каждая из которых владеет лишь той информацией и тем контекстом, с которыми она работает».
Эта архитектура нашла отклик у разработчиков: на сегодняшний день у базы данных 2,3 миллиона загрузок и 31 000 звезд на GitHub. По словам Хичкока, существующие развертывания охватывают периферийные устройства в автомобилях и оборонных системах, движки рекомендаций товаров для крупных нью-йоркских ритейлеров, а также технологии показа рекламы для Android.
Агентная память ИИ, встроенная в базу данных
SurrealDB хранит память агентов в виде графовых связей и семантических метаданных непосредственно в базе данных, а не в коде приложения или во внешних кэширующих слоях.
Система плагинов Surrealism в SurrealDB 3.0 позволяет разработчикам определять, как агенты создают эту память и запрашивают ее; логика выполняется внутри базы данных с гарантиями транзакционности, а не в промежуточном ПО (мидлваре).
На практике это означает следующее: когда агент взаимодействует с данными, он создает контекстные графы, которые связывают сущности, решения и предметные знания в виде записей базы данных. Эти связи можно запрашивать через тот же интерфейс SurrealQL, который используется для векторного поиска и структурированных данных. Агент, запрашивающий информацию о проблеме клиента, может пройти по графовым соединениям к связанным прошлым инцидентам, извлечь векторные вложения аналогичных случаев и объединить их со структурированными данными о клиенте — и все это в рамках одного транзакционного запроса.
«Люди больше не хотят хранить только самые свежие данные, — отметил Хичкок. — Они хотят хранить все эти данные. Они хотят проводить анализ и сделать так, чтобы ИИ понимал все данные организации за последний год или два и работал с ними, поскольку это дает их модели и ИИ-агенту понимание контекста и истории, что в конечном итоге позволяет добиваться лучших результатов».
Чем архитектура SurrealDB отличается от традиционных стеков RAG
Традиционные системы RAG запрашивают базы данных на основе типов данных. Разработчики пишут отдельные запросы для поиска векторного сходства, обхода графов и реляционных соединений, а затем объединяют результаты в коде приложения. Это создает задержки синхронизации из-за круговых обменов данными между системами.
В противовес этому Хичкок пояснил, что SurrealDB хранит данные в виде документов с бинарным кодированием и внедренными прямо в них графовыми связями. Один-единственный запрос через SurrealQL позволяет обходить графовые связи, выполнять поиск векторного сходства и объединять структурированные записи, не покидая базу данных.
Такая архитектура также влияет на обеспечение согласованности в масштабируемых системах: каждый узел поддерживает транзакционную согласованность даже при масштабировании до 50 и более узлов, заявил Хичкок. Когда агент записывает новый контекст на узел A, запрос на узле B немедленно видит это обновление. Никакого кэширования, никаких реплик для чтения.
«Многие из наших сценариев использования и развертываний связаны с ситуациями, когда данные постоянно обновляются, а связи, контекст, семантическое понимание или графовые соединения между этими данными требуют постоянного обновления, — сказал он. — Поэтому здесь нет кэширования. Нет реплик чтения. В SurrealDB абсолютно все является транзакционным».
Что это значит для корпоративных ИТ
«Важно отметить, что SurrealDB — это не лучшая база данных для любой задачи. Мне бы хотелось заявить обратное, но это не так. И это невозможно, — подчеркнул Хичкок. — Если вам нужен анализ только по петабайтам данных и вы никогда по-настоящему не обновляете эти данные, то лучше всего использовать объектное хранилище или колоночную базу данных. Если вы имеете дело исключительно с векторным поиском, вы можете выбрать векторную базу данных, такую как Qdrant или Pinecone, и этого будет достаточно».
Поворотный момент наступает тогда, когда вам требуется одновременно работать с несколькими типами данных. Практическая выгода проявляется в сокращении сроков разработки. То, на создание чего с использованием многобазовой оркестровки раньше уходили месяцы, теперь можно запустить за считанные дни, заключил Хичкок.
