Исправление RAG с помощью семантического разбиения на чанки

К настоящему моменту многие компании уже внедрили ту или иную форму RAG (извлечение с дополненным генеративным ответом). Идея выглядит соблазнительно: проиндексировать PDF-файлы, подключить большую языковую модель (LLM) и мгновенно сделать корпоративные знания общедоступными.

Но для отраслей, зависящих от тяжелого машиностроения и инженерии, реальность оказалась не столь впечатляющей. Инженеры задают конкретные вопросы об инфраструктуре, а бот начинает галлюцинировать.

Причина сбоя кроется вовсе не в самой LLM. Проблема заключается в предобработке.

Стандартные пайплайны RAG рассматривают документы как плоские строки текста. В них используется «разбиение на фрагменты фиксированного размера» (нарезка документа каждые 500 символов). Это работает для художественной прозы, но разрушает логику технических руководств. Такой подход разрезает таблицы пополам, отделяет подписи от изображений и игнорирует визуальную иерархию страницы.

Повышение надежности RAG заключается не в покупке более крупной модели, а в решении проблемы «неструктурированных данных» с помощью семантического разбиения и мультимодального текстового описания.

Ниже представлена архитектурная концепция построения системы RAG, способной действительно читать техническую документацию.

Заблуждение фиксированного размера чанков

В стандартном туториале по RAG на Python текст разделяется по количеству символов. Для корпоративных PDF-файлов это катастрофа.

Если таблица спецификаций безопасности занимает 1000 токенов, а размер вашего чанка равен 500, вы только что отделили заголовок «предел напряжения» от значения «240В». Векторная база данных сохраняет их раздельно. Когда пользователь спрашивает: «Каков предел напряжения?», система поиска находит заголовок, но не находит значение. Будучи вынужденной дать ответ, LLM часто просто угадывает.

Решение: Семантическое разбиение на чанки

Первый шаг к исправлению производственного RAG — отказ от произвольного подсчета символов в пользу интеллектуального анализа документов.

Используя инструменты парсинга с учетом макета (например, Azure Document Intelligence), мы можем сегментировать данные на основе структуры документа — глав, разделов и параграфов, а не количества токенов.

• Логическая связность: Раздел, описывающий конкретную деталь машины, сохраняется как единый вектор, даже если его длина варьируется.

• Сохранение таблиц: Парсер определяет границы таблицы и принудительно объединяет всю сетку в один чанк, сохраняя связи между строками и столбцами, которые жизненно важны для точного поиска.

В наших внутренних качественных бенчмарках переход от фиксированного разбиения к семантическому значительно повысил точность поиска табличных данных, эффективно предотвратив фрагментацию технических характеристик.

Раскрытие потенциала визуальных скрытых данных

Второй сценой сбоев в корпоративном RAG является «слепота». Огромная часть корпоративной интеллектуальной собственности существует не в виде текста, а в виде блок-схем, схем и диаграмм системной архитектуры. Стандартные модели встраивания (например, text-embedding-3-small) не «видят» эти изображения. При индексации они пропускаются.

Если ответ содержится в блок-схеме, ваша система RAG ответит: «Я не знаю».

Решение: Мультимодальное текстовое описание

Чтобы сделать диаграммы доступными для поиска, мы внедрили этап мультимодальной предобработки с использованием моделей компьютерного зрения (а именно GPT-4o) до того, как данные попадут в векторное хранилище.

1. OCR-извлечение: Высокоточное оптическое распознавание символов извлекает текстовые метки с изображения.

2. Генерация описаний: Модель компьютерного зрения анализирует изображение и создает подробное описание на естественном языке («Блок-схема, показывающая, что процесс A ведет к процессу B, если температура превышает 50 градусов»).

3. Гибридное встраивание: Это сгенерированное описание преобразуется в вектор и сохраняется в виде метаданных, связанных с исходным изображением.

Теперь, когда пользователь ищет «температурный технологический процесс», векторный поиск находит соответствие по описанию, даже если исходным файлом был PNG.

Уровень доверия: Интерфейс на основе доказательств

Для внедрения в масштабах предприятия точность — это лишь полдела. Вторая половина — это верифицируемость.

В стандартном интерфейсе RAG чат-бот дает текстовый ответ и ссылается на имя файла. Это заставляет пользователя скачивать PDF-файл и искать нужную страницу для проверки утверждения. Для критически важных запросов («Является ли эта химическая жидкость легковоспламеняющейся?») пользователи просто не будут доверять боту.

Архитектура должна реализовывать визуальное цитирование. Поскольку на этапе предобработки мы сохранили связь между текстовым чанком и исходным изображением, пользовательский интерфейс может отображать точный график или таблицу, использованные для генерации ответа, прямо рядом с текстовым текстом.

Этот механизм «покажи свою работу» позволяет людям мгновенно проверять логику ИИ, преодолевая барьер недоверия, который губит так много внутренних ИИ-проектов.

Задел на будущее: Нативные мультимодальные эмбеддинги

Хотя метод «текстового описания» (преобразование изображений в текстовые описания) является практическим решением для сегодняшнего дня, архитектура стремительно развивается.

Мы уже наблюдаем появление нативных мультимодальных эмбеддингов (таких как Cohere’s Embed 4). Эти модели могут отображать текст и изображения в одном и том же векторном пространстве без промежуточного этапа создания подписей. Хотя в настоящее время мы используем многоэтапный конвейер для максимального контроля, будущее инфраструктуры данных, вероятно, будет связано с «сквозной» (end-to-end) векторизацией, при которой макет страницы встраивается напрямую.

Более того, по мере того как LLM с большим контекстным окном становятся рентабельными, необходимость в разбиении на чанки может уменьшиться. Возможно, скоро мы будем передавать целые руководства прямо в контекстное окно. Однако до тех пор, пока задержки и стоимость запросов на миллион токенов существенно не снизятся, семантическая предобработка остается наиболее экономически жизнеспособной стратегией для систем реального времени.

Заключение

Разница между демо-версией RAG и рабочей системой заключается в том, как она справляется с суровой реальностью корпоративных данных.

Перестаньте относиться к своим документам как к простым строкам текста. Если вы хотите, чтобы ваш ИИ понимал ваш бизнес, вы должны уважать структуру ваших документов. Внедрив семантическое разбиение и раскрыв визуальные данные внутри ваших графиков, вы превратите свою систему RAG из «поисковика по ключевым словам» в настоящего «помощника по знаниям».

Диппу Кумар Сингх — архитектор искусственного интеллекта и дата-инженер.

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций — это площадка, где технические эксперты делятся идеями и представляют объективный, независимый глубокий анализ ИИ, инфраструктуры данных, кибербезопасности и других передовых технологий, определяющих будущее бизнеса.

Читайте больше публикаций нашей программы гостевых постов и ознакомьтесь с нашими рекомендациями, если вы хотите предложить собственную статью!