M2N2 от Sakana AI эффективно эволюционирует модели ИИ

Новый эволюционный метод от японской ИИ-лаборатории Sakana AI позволяет разработчикам расширять возможности моделей искусственного интеллекта без дорогостоящих процессов обучения и дообучения (fine-tuning). Эта техника, получившая название Model Merging of Natural Niches (M2N2), преодолевает ограничения других методов слияния моделей и способна даже создавать новые модели полностью с нуля.

M2N2 может применяться к различным типам моделей машинного обучения, включая большие языковые модели (LLM) и генераторы текста в изображения. Для предприятий, стремящихся создавать собственные ИИ-решения, этот подход предлагает мощный и эффективный способ создания специализированных моделей путем объединения сильных сторон существующих открытых (open-source) вариантов.

Что такое слияние моделей?

Слияние моделей — это метод интеграции знаний нескольких специализированных ИИ-моделей в единую, более мощную модель. Вместо дообучения, которое совершенствует одну предварительно обученную модель с использованием новых данных, слияние одновременно объединяет параметры нескольких моделей. Этот процесс позволяет объединить богатый багаж знаний в один актив без необходимости проведения дорогостоящего градиентного обучения или доступа к исходным обучающим данным.

Для корпоративных команд это дает ряд практических преимуществ по сравнению с традиционным дообучением. В комментариях для VentureBeat авторы статьи отметили, что слияние моделей — это процесс, не требующий вычисления градиентов и задействующий только прямой проход (forward pass), что делает его более дешевым с точки зрения вычислительных затрат по сравнению с дообучением, которое влечет за собой дорогостоящие градиентные обновления. Слияние также избавляет от необходимости тщательно сбалансированных обучающих данных и снижает риск «катастрофического забывания», когда модель утрачивает свои первоначальные возможности после освоения новой задачи. Эта техника особенно эффективна, когда обучающие данные для специализированных моделей недоступны, поскольку для слияния требуются лишь сами веса моделей.

Ранние подходы к слиянию моделей требовали значительных ручных усилий: разработчики подбирали коэффициенты методом проб и ошибок, чтобы найти оптимальное сочетание. В последнее время эволюционные алгоритмы помогли автоматизировать этот процесс, выполняя поиск оптимальной комбинации параметров. Тем не менее, сохраняется значительный объем ручной работы: разработчикам приходится задавать фиксированные наборы для объединяемых параметров, таких как слои. Это ограничение сужает пространство поиска и может препятствовать обнаружению более мощных комбинаций.

Как работает M2N2

M2N2 устраняет эти ограничения, опираясь на принципы естественной эволюции в природе. Алгоритм обладает тремя ключевыми особенностями, которые позволяют ему исследовать более широкий спектр возможностей и находить более эффективные комбинации моделей.

_{Model Merging of Natural Niches, источник: arXiv}

Во-первых, M2N2 исключает фиксированные границы слияния, такие как блоки или слои. Вместо группировки параметров по предопределенным слоям он использует гибкие «точки разделения» (split points) и «коэффициенты смешивания» (mixing ratios) для разделения и объединения моделей. Это означает, например, что алгоритм может объединить 30% параметров в одном слое из Модели А с 70% параметров из того же слоя Модели Б. Процесс начинается с «архива» исходных (seed) моделей. На каждом шаге M2N2 выбирает две модели из архива, определяет коэффициент смешивания и точку разделения, а затем объединяет их. Если полученная модель демонстрирует хорошие результаты, она возвращается в архив, заменяя более слабого предшественника. Это позволяет алгоритму со временем исследовать все более сложные комбинации. Как отмечают исследователи: «Введение такой постепенной сложности обеспечивает более широкий спектр возможностей при сохранении вычислительной управляемости».

Во-вторых, M2N2 управляет разнообразием своей популяции моделей посредством конкуренции. Чтобы понять, почему разнообразие имеет решающее значение, исследователи приводят простую аналогию: «Представьте, что вы объединяете два бланка с ответами на экзамен… Если на обоих бланках абсолютно одинаковые ответы, их объединение не дает никакого улучшения. Но если на каждом бланке есть правильные ответы на разные вопросы, их слияние дает гораздо лучший результат». Слияние моделей работает точно так же. Проблема, однако, заключается в том, чтобы определить, какое именно разнообразие является ценным. Вместо того чтобы полагаться на созданные вручную метрики, M2N2 симулирует конкуренцию за ограниченные ресурсы. Такой подход, вдохновленный живой природой, естественным образом вознаграждает модели с уникальными навыками, поскольку они могут «задействовать неосвоенные ресурсы» и решать проблемы, с которыми другие не справляются. По словам авторов, именно такие нишевые специалисты представляют наибольшую ценность для слияния.

В-третьих, M2N2 использует эвристику, называемую «притяжением» (attraction), для сопряжения моделей с целью слияния. Вместо того чтобы просто объединять модели с наилучшими показателями, как это делается в других алгоритмах слияния, он связывает их на основе их взаимодополняющих сильных сторон. «Оценка притяжения» (attraction score) выявляет пары, в которых одна модель хорошо справляется с точками данных, вызывающими трудности у другой. Это повышает как эффективность поиска, так и качество финальной объединенной модели.

M2N2 в действии

Исследователи протестировали M2N2 в трех различных областях, продемонстрировав его универсальность и эффективность.

Первым экспериментом стал небольшой опыт по эволюционному созданию нейросетевых классификаторов изображений с нуля на наборе данных MNIST. M2N2 добился наибольшей точности тестирования с существенным отрывом от других методов. Результаты показали, что ключевую роль сыграл механизм сохранения разнообразия, позволивший поддерживать архив моделей с дополняющими друг друга сильными сторонами, что способствовало эффективному слиянию при одновременном систематическом отсеивании более слабых решений.

Затем исследователи применили M2N2 к большим языковым моделям, объединив математического специалиста (WizardMath-7B) со специалистом по работе с агентами (AgentEvol-7B), обе из которых созданы на базе архитектуры Llama 2. Цель состояла в том, чтобы создать единого агента, преуспевающего как в решении математических задач (набор данных GSM8K), так и в выполнении задач в веб-среде (набор данных WebShop). Полученная модель продемонстрировала высокую производительность на обоих бенчмарках, продемонстрировав способность M2N2 создавать мощные многофункциональные модели.

_{Слияние моделей с помощью M2N2 объединяет лучшие качества обеих исходных моделей, источник: arXiv}

Наконец, команда объединила модели генерации изображений на основе диффузии. Они объединили модель, обученную на японских промптах (JSDXL), с тремя моделями Stable Diffusion, обученными в основном на англоязычных промптах. Задачей было создание модели, которая объединила бы лучшие возможности генерации изображений каждой исходной модели и при этом сохранила способность понимать японский язык. Объединенная модель не только выдавала более фотореалистичные изображения с лучшим семантическим пониманием, но и приобрела эмерджентную двуязычную способность. Она могла создавать высококачественные изображения как по английским, так и по японским запросам, хотя была оптимизирована исключительно с использованием японских подписей.

Для компаний, которые уже разработали специализированные модели, экономическое обоснование слияния выглядит крайне убедительно. Авторы указывают на новые гибридные возможности, которых в противном случае было бы трудно достичь. Например, слияние языковой модели, дообученной для убедительных продаж, с визуальной моделью, обученной интерпретировать реакцию клиентов, может создать единого агента, который адаптирует свою презентацию в режиме реального времени на основе видеоотзыва. Это раскрывает совокупный интеллект нескольких моделей при затратах и задержках (latency), сопоставимых с запуском всего одной.

Заглядывая в будущее, исследователи видят такие методы, как M2N2, частью более широкой тенденции к «слиянию моделей» (model fusion). Они видят будущее, в котором организации поддерживают целые экосистемы ИИ-моделей, которые постоянно развиваются и объединяются для адаптации к новым вызовам.

«Думайте об этом как о развивающейся экосистеме, где возможности объединяются по мере необходимости, а не как о создании одного гигантского монолита с нуля», — предполагают авторы.

Исследователи опубликовали код M2N2 на GitHub.

Главным препятствием на пути к этой динамичной, самосовершенствующейся экосистеме искусственного интеллекта, по мнению авторов, является не техническая, а организационная сторона. «В мире с большой «объединенной моделью», состоящей из открытых, коммерческих и пользовательских компонентов, обеспечение конфиденциальности, безопасности и соответствия нормативным требованиям станет критически важной проблемой». Для бизнеса задача будет заключаться в том, чтобы выяснить, какие модели можно безопасно и эффективно интегрировать в их развивающийся стек искусственного интеллекта.