Эпоха «строительных лесов» завершена. В LlamaIndex заявляют, что контекст — это новый залог конкурентного преимущества

Прослойка из вспомогательных инструментов, которая разработчикам когда-то была необходима для запуска приложений на основе LLM — уровни индексации, поисковые движки, конвейеры извлечения данных, тщательно оркестрованные циклы агентов — разрушается. И, по словам Джерри Лю (Jerry Liu), соучредителя и генерального директора компании LlamaIndex, в этом нет ничего плохого. В этом и заключается суть.

«В результате отпадает необходимость в фреймворках, которые помогают пользователям компоновать эти детерминированные рабочие процессы простым и поверхностным образом», — поясняет Джерри Лю, соучредитель и генеральный директор LlamaIndex, в новом подкасте VentureBeat Beyond the Pilot. 

Контекст становится главным конкурентным преимуществом

LlamaIndex под руководством Лю — один из ведущих фреймворков для генерации с дополненной выборкой (RAG), связывающий частные, пользовательские и специализированные данные с LLM. Но даже он признает, что подобные фреймворки теряют свою актуальность. 

С каждым новым релизом модели демонстрируют всё большие возможности по обработке «колоссальных объемов» неструктурированных данных, причем справляются с этим лучше людей, отмечает он. Им можно доверить масштабный анализ, самокорректировку и многоэтапное планирование; Model Context Protocol (MCP) и плагины Claude Agent Skills позволяют моделям обнаруживать и использовать инструменты без необходимости создания независимых интеграций для каждого из них.

Шаблоны агентов объединились в то, что Лю называет «управляемой диаграммой агентов» — уровень-оболочку в сочетании с инструментами, коннекторами MCP и плагинами навыков, вместо индивидуальной оркестровки для каждого рабочего процесса.

Кроме того, агенты-программисты превосходно пишут код, а значит, разработчикам больше не нужно полагаться на обширные библиотеки. Фактически около 95% кода LlamaIndex генерируется с помощью ИИ. «Инженеры на самом деле не пишут настоящий код, — говорит Лю. — Они просто вводят запросы на естественном языке». Это означает, что граница между программистами и непрограммистами стирается, поскольку «новым языком программирования по сути является английский».

Вместо ручного кодирования или борьбы с пониманием интеграции API и документов разработчики могут просто натравить на это Claude Code. «Еще три года назад подобные вещи были либо крайне неэффективными, либо просто приводили к сбою агента, — отмечает Лю. — Теперь людям стало намного проще создавать даже относительно продвинутые поисковые системы с помощью крайне простых примитивов».

Так что же становится главным отличительным признаком, когда стек рушится? 

Контекст, считает Лю. Агентам необходимо уметь расшифровывать форматы файлов для извлечения нужной информации. Ключевое значение приобретают более высокая точность и дешевизна парсинга, и здесь LlamaIndex занимает выгодную позицию, утверждает он, благодаря своим разработкам в области агентской обработки документов с помощью оптического распознавания символов (OCR).

«Мы четко осознаем, что существует основной набор данных, который был заперт во всех этих контейнерах форматов файлов», — сказал он. В конечном счете, «используете ли вы OpenAI Codex или Claude Code, не имеет особого значения. То, в чем они все нуждаются — это контекст».

Сохранение модульности стека

Растет беспокойство по поводу того, что такие разработчики, как Anthropic, блокируют сессионные данные; в связи с этим Лю подчеркивает важность модульности и независимости от конкретных платформ. Разработчикам не стоит делать ставку на какую-то одну передовую модель или переусложнять компоненты стека.

Поиск эволюционировал в концепцию «агент плюс песочница», как он это описывает, и компании должны гарантировать, что их кодовые базы свободны от технического долга и адаптируемы к меняющимся паттернам. Им также придется признать, что некоторые части стека со временем неизбежно придется выбросить.

«Поскольку с каждым новым релизом моделей всегда появляется какой-то новый лидер, — говорит Лю. — Вы хотите быть уверены, что у вас есть определенная гибкость, чтобы воспользоваться этим преимуществом».

Послушайте подкаст, чтобы узнать больше о следующем: 

• Истоках LlamaIndex как «игрушечного проекта» с начальной точностью около 40%; 

• Том, как SaaS-компании могут внедрять сложные рабочие процессы, которые должны быть стандартизированы и воспроизводимы для обычных квалифицированных специалистов;

• Том, почему вертикальные ИИ-компании стремительно развиваются и почему дилемма «создать или купить» по-прежнему остается крайне актуальной в эпоху агентов. 

Вы также можете слушать и подписываться на Beyond the Pilot на Spotify, Apple или в любом другом сервисе подкастов.