RapidFire AI повышает скорость кастомизации LLM в 20 раз
Когда дело доходит до искусственного интеллекта, многие предприятия, судя по всему, застряли на этапе прототипирования. Команды могут быть ограничены мощностью графических процессоров (GPU), а также сложными и непрозрачными рабочими процессами создания моделей; или же они не знают, когда обучение и кастомизация достаточны и достигнут ли они наивысшего уровня производительности и точности (или нет).
Это происходит потому, что они неправильно подходят к дообучению (fine-tuning), считает компания RapidFire AI.
Компания заявляет, что способна помочь предприятиям преодолеть этот барьер с помощью своего ядра «быстрого экспериментирования». Платформа, выпущенная с открытым исходным кодом, призвана ускорить и упростить кастомизацию, дообучение и постренинговую обработку больших языковых моделей (LLM).
В ее основе лежит гиперпараллельная обработка: вместо всего одной конфигурации пользователи могут анализировать 20 и более вариантов одновременно, что, по утверждению компании, обеспечивает 20-кратное увеличение пропускной способности экспериментов.
«Эта способность видеть множество запусков на репрезентативных выборках является основополагающим ключом к нашей производительности», — рассказал Джек Норрис (Jack Norris), генеральный директор и соучредитель RapidFire AI, в эксклюзивном интервью VentureBeat.
Почему гиперпараллелизация приводит к более быстрым результатам
С помощью RapidFire AI пользователи могут одновременно сравнивать потенциально десятки конфигураций на одном или нескольких компьютерах — различные архитектуры базовых моделей, гиперпараметры обучения, специфику адаптеров, предварительную обработку данных и функции вознаграждения.
Платформа обрабатывает данные «фрагментами», переключая адаптеры и модели для перераспределения и максимального использования графических процессоров. Пользователям доступны потоковая трансляция метрик в реальном времени на панели управления MLflow и средства интерактивного управления (IC ops); это позволяет отслеживать и визуализировать все метрики и метаданные, а также запускать «теплый старт», останавливать, возобновлять, клонировать, модифицировать или сокращать конфигурации в режиме реального времени.
RapidFire не просто задействует дополнительные ресурсы — она использует те же самые ресурсы: так, если у пользователей есть всего один, два или четыре графических процессора, они могут параллельно просчитывать 8, 16 или 32 варианта.
«Вы получаете эмуляцию кластера даже на том же самом GPU, и это стимулирует эксперименты», — пояснил Арун Кумар (Arun Kumar), технический директор и соучредитель RapidFire. — Мы внедряем философию абстрагирования деталей выполнения низкоуровневых систем от пользователя, позволяя им сосредоточиться на знаниях о приложениях, метриках и настройках».
Платформа создана на базе экосистемы Hugging Face, работает с PyTorch и transformers, а также поддерживает различные методы квантования и дообучения (такие как параметрически эффективное дообучение, или PEFT, и низкоранговая адаптация, или LoRA), а также контролируемое дообучение (SFT), оптимизацию по предпочтениям человека (DPO) и групповую относительную оптимизацию политики (GRPO).
Дата-саентистам и инженерам по ИИ не нужно беспокоиться о том, что происходит на стороне бэкенда, как сегментировать данные, менять модели или максимизировать загрузку GPU, пояснил Норрис. Это означает, что начинающие инженеры могут работать столь же эффективно, как и старшие, поскольку они видят, что именно работает, могут быстро вносить коррективы, сужать круг задач и отсекать менее перспективные производные варианты.
«По сути, это демократизирует подход», — заявил он. Он подчеркнул, что организациям не следует пытаться конкурировать исключительно за счет сложности или производительности моделей. Скорее, «именно способность правильно использовать данные, дообучать их и извлекать выгоду из этих данных в конечном итоге станет основой их конкурентного преимущества».
RapidFire AI выпускается под лицензией Apache 2.0, что означает, что ее может скачивать, модифицировать и повторно лицензировать любой желающий. Ее Python-пакет с открытым исходным кодом, документация и руководства уже доступны.
Открытый исходный код имеет решающее значение для философии компании; как выразился Кумар, за последние 20 лет открытый код «произвел революцию в мире».
«В открытом исходном коде есть хорошая коммерческая ценность, но также прозрачность и способность сообщества вносить свой вклад, опираясь на плечи друг друга, а не наступая друг другу на ноги, имеют фундаментальную ценность», — сказал он.
Проекты ускорены в 2–3 раза
По словам Райана Лопеса (Ryan Lopez), директора по операционной деятельности и проектам, используя RapidFire AI, Data Science Alliance ускорил реализацию проектов в 2–3 раза. Обычно на множество итераций уходила неделя; теперь этот срок сократился до двух дней или менее.
Некоммерческая организация, занимающаяся общественными и социальными проектами, экспериментирует с компьютерным зрением и анализом обнаружения объектов, пояснил Лопес. С помощью RapidFire они могут одновременно обрабатывать изображения и видео, чтобы оценить производительность различных моделей компьютерного зрения.
«RapidFire позволила нам по сути проводить итерации с гиперскоростью», — отметил Лопес. Это дает его команде «очень структурированный, основанный на фактических данных способ выполнения поисковых работ по моделированию».
Гиперпараллелизм, автоматический выбор моделей, адаптивное использование графических процессоров и возможности непрерывного совершенствования RapidFire обеспечивают клиентам «колоссальный рост» скорости и оптимизации затрат, отметил Джон Сантаферраро (John Santaferraro), генеральный директор Ferraro Consulting. Это выгодно отличает платформу как от ручного кодирования собственными силами, так и от программных инструментов, ориентированных исключительно на софтверную сторону ускорения моделей.
«Гиперпараллелизм ускоряет интеграцию ИИ в процессы выбора моделей, позволяя быстро выявлять высокопроизводительные модели и отключать низкопроизводительные», — сказал он, сводя к минимуму накладные расходы на выполнение.
Среди конкурентов RapidFire Сантаферраро назвал специализированных разработчиков ПО, компании, предоставляющие инфраструктуру GPU, а также вендоров MLOps и AIOps, таких как Nvidia или Domino. Тем не менее, ключевым отличием платформы является ее способность обеспечивать ускорение как на уровне моделей, так и на уровне GPU. RapidFire «уникальна тем, как она задействовала ИИ для автоматизации процессов обучения, тестирования, дообучения и непрерывного совершенствования моделей».
Итерации ради инноваций
Платформа RapidFire поддерживает целый спектр языковых сценариев использования, включая чат-боты для вопросов и ответов, поиск по внутренней документации и финансовую аналитику, рассказал Кумар. Партнеры по дизайну и потенциальные клиенты внедрили до трех десятков сценариев использования, задействуя в некоторых случаях модели с 40 или даже 10 миллиардами параметров.
«Модели гораздо лучше подогнаны по размеру под их приложения и объем инференса, вместо того чтобы использовать модель с триллионом параметров для всего подряд», — отметил он. «Это сдерживает их общую совокупную стоимость владения».
По словам Сантаферраро, тремя главными препятствиями между экспериментированием с ИИ и его развертыванием являются готовность данных, точность и доверие. Для структурированных данных ИИ требует традиционного качества, а для неструктурированных — «достоверности». Галлюцинации представляют собой серьезную проблему, особенно в случае с публичными моделями, поскольку они происходят в черном ящике. Доверие требует быстрого тестирования, которое обычно отнимает много времени. Другой проблемой является дрифт — ситуация, когда обученная модель меняется на основе новых входных данных и порождает непредвиденные риски.
Предприятия должны уметь снижать риск получения неточных ответов, скрытых угроз и неконтроруемой активности; более быстрые циклы создания моделей могут сократить разрыв между небезопасным исследовательским прототипом и развертываемой системой, соответствующей корпоративному управлению и целям, считает Сантаферраро.
«К сожалению, большинство предприятий тратят огромные деньги и массивные ресурсы на то, чтобы пробиваться сквозь эти модели и устранять риски, — сказал он. — Другого быстрого пути вперед нет, кроме как, конечно же, ускорение процесса итераций».
Ведущим организациям следует сосредоточить свои вычислительные мощности на тех аспектах публичных LLM, которые они считают наиболее полезными, посоветовал он, а затем добавлять свои интеллектуальные права, базу знаний и уникальную точку зрения для разработки частных малых языковых моделей (SLM).
Оценивая такие инструменты, как RapidFire, крайне важно учитывать организационную готовность и готовность персонала, а также соответствие инфраструктуре и инвестиции, отметил Сантаферраро. Организации должны быть способны поддерживать ускорение итераций и вписывать инструменты в существующую инфраструктуру так, чтобы оптимизировать подачу процессов и получение результатов.
В конечном счете то, насколько быстро компания может внедрять инновации с помощью ИИ, коррелирует с тем, как быстро она может совершенствовать бизнес-процессы и поддерживать новые продукты и услуги, подчеркнул он: «Скорость итераций — это ключ к любым инновациям».
