Функция поиска по файлам от Google упрощает настройку RAG
К настоящему моменту предприятия уже осознали, что генерация с привлечением внешних данных (RAG) позволяет приложениям и агентам находить самую точную и достоверную информацию для запросов. Однако типичные RAG-системы могут представлять собой сложную инженерную задачу и также обладать нежелательными особенностями.
Чтобы помочь решить эту проблему, компания Google выпустила инструмент File Search в рамках Gemini API — полностью управляемую RAG-систему, которая абстрагирует конвейер извлечения данных. File Search избавляет от большей части работы по сбору инструментов и приложений, необходимой при настройке RAG-пайплайнов, поэтому инженерам больше не нужно вручную стыковать такие компоненты, как хранилища и генераторы эмбеддингов.
Этот инструмент напрямую конкурирует с аналогичными корпоративными RAG-продуктами от OpenAI, AWS и Microsoft, которые также нацелены на упрощение архитектуры RAG. Тем не менее, Google утверждает, что ее решение требует меньше усилий по оркестрации и является более самостоятельным.
«File Search предоставляет простой, интегрированный и масштабируемый способ обосновать работу Gemini вашими данными, выдавая более точные, релевантные и проверяемые ответы», — отметили в Google в своем блоге.
Предприятия могут получить доступ к некоторым функциям File Search (таким как хранение и генерация эмбеддингов) бесплатно на момент выполнения запросов. Пользователи начнут платить за эмбеддинги при индексации этих файлов по фиксированной ставке 0,15 доллара за 1 миллион токенов.
В основе File Search лежит модель Gemini Embedding от Google, которая со временем стала лучшей моделью эмбеддингов в бенчмарке Massive Text Embedding Benchmark.
File Search и интегрированные возможности
В Google заявили, что File Search работает, «беря на себя всю сложность работы с RAG».
File Search управляет хранением файлов, стратегиями разбиения на фрагменты (чанкинга) и эмбеддингами. Разработчики могут вызывать File Search прямо в рамках существующего API generateContent, что, по словам Google, упрощает внедрение инструмента.
File Search использует векторный поиск, чтобы «понимать смысл и контекст пользовательского запроса». В идеале он находит релевантную информацию для ответа на запрос из документов, даже если промпт содержит неточные формулировки.
Функция имеет встроенные цитаты, которые указывают на конкретные части документа, использованные для генерации ответов, а также поддерживает различные форматы файлов. К ним относятся PDF, Docx, txt, JSON и «множество распространенных типов файлов языков программирования», заявляют в Google.
Непрерывные эксперименты с RAG
Предприятия могли уже приступить к созданию RAG-пайплайна, закладывая основу для того, чтобы их ИИ-агенты могли эффективно использовать нужные данные и принимать обоснованные решения.
Поскольку RAG является ключевым элементом поддержания точности и получения бизнес-аналитики для предприятий, организации должны иметь возможность быстро отслеживать состояние этого конвейера. RAG может стать настоящей инженерной болью, поскольку оркестрация множества различных инструментов со временем сильно усложняется.
Создание «традиционных» RAG-пайплайнов означает, что организациям приходится собирать и настраивать программу для загрузки и синтаксического анализа файлов, включая чанкинг, генерацию эмбеддингов и обновление данных. Затем им необходимо привлечь векторную базу данных, такую как Pinecone, определить логику поиска и вписать всё это в контекстное окно модели. Кроме того, при желании можно добавить цитирование источников.
File Search призван оптимизировать все эти процессы, хотя конкурирующие платформы предлагают схожие возможности. Assistants API от OpenAI позволяет разработчикам использовать функцию поиска по файлам, направляя агента к релевантным документам для формирования ответов. В декабре AWS Bedrock представила управляемый сервис автоматизации данных.
Хотя File Search похож на эти платформы, решение от Google абстрагирует все, а не только некоторые элементы создания RAG-пайплайна.
Компания Phaser Studio, создатель платформы генерации игр на базе ИИ под названием Beam, рассказала в блоге Google, что использовала File Search для поиска по своей библиотеке из 3000 файлов.
«File Search позволяет нам мгновенно находить нужный материал, будь то фрагмент кода для паттернов пуль, шаблоны жанров или архитектурные рекомендации из нашего корпуса знаний Phaser», — поделился технический директор Phaser Ричард Дэйви (Richard Davey). «В результате идеи, на прототипирование которых раньше уходили дни, теперь можно опробовать в игре всего за несколько минут».
С момента анонса несколько пользователей выразили заинтересованность в использовании этой функции.
