«Как генное редактирование для нейросетей»: исследователи MIT с помощью GPT-6 Astra напрямую отредактировали открытые веса Qwen и повысили её результаты в математике

Исследователи из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института (MIT) сообщили сегодня, что с помощью языковой модели OpenAI GPT-6 Astra примерно в шесть раз повысили результат небольшой открытой модели Qwen в математике, напрямую отредактировав её веса — числовые параметры, определяющие её поведение.

Рикия Такэхи, Джейден Тео, Алекс Чжан и Омар Хаттаб описали свою работу в исследовательском блоге, опубликованном 2 ноября. Они называют этот подход «программированием в пространстве весов» и проверили способность Astra интерпретировать и изменять нейросети, не прибегая к стандартным процедурам обучения для получения правок.

В самом впечатляющем примере с языковой моделью вмешательство Astra подняло результат Qwen3.5-0.8B в тесте MATH-500 с 7,9% до 48,1%, затронув примерно 0,016% её весов.

Улучшение было достигнуто главным образом за счёт исправления зацикленных рассуждений — нюанс, который определил как технические выводы, так и споры об их значении.

Эксперименты исследовали более широкую возможность: ИИ-системы, которые анализируют, исправляют и создают другие нейросети, работая непосредственно с их внутренними механизмами.

Как написал в X Ючэнь Цзинь, технический сотрудник Databricks, бывший сооснователь и технический директор Hyperbolic Labs, не участвовавший в исследовании:

Действительно, если исследователям удастся сделать метод надёжным, разработчики получат ещё один способ сопровождать модели, изучать нежелательное поведение, корректировать его и повышать производительность без традиционного дообучения или переобучения. Точечные правки весов потенциально могут сократить время и вычислительные ресурсы, необходимые для некоторых улучшений, хотя исследователи такую экономию пока не подтвердили.

Штатный исследователь Voyage AI Чандан Сингх, ранее работавший в Microsoft AI, также оптимистично оценил результаты со стороны в посте в X:

Тот же подход может ускорить развитие ИИ, позволив мощным моделям изменять другие модели, а со временем — и самих себя.

Традиционное дообучение и другие методы постобучения улучшают существующую модель, используя примеры, обратную связь или вознаграждения для расчёта изменений её числовых параметров, то есть весов; переобучение может означать обновление существующей модели или её создание с нуля.

В экспериментах MIT вместо этого отдельная ИИ-модель анализировала целевую сеть, изучала её поведение и разрабатывала прямые правки весов, не используя для расчёта изменений привычный градиентный процесс обучения.

Оба подхода меняют внутреннюю работу модели, но различаются тем, как определяются изменения. Подход исследователей всё равно требовал вычислений, а в эксперименте с Qwen — ещё и тренировочных задач и тестирования; он не доказал, что прямое редактирование стабильно превосходит традиционное обучение по скорости, стоимости или эффективности.

Обсуждение в X пока вызвало как энтузиазм по поводу оптимизации под управлением ИИ, так и возражения относительно её возможных последствий. Исследователи предсказали сдвиг в том, как разработчики улучшают нейросети. Один скептически настроенный комментатор усомнился, что результаты демонстрируют более сильные базовые способности к рассуждению.

Максим Фурнес, генеральный директор Pause AI — правозащитной группы, призывающей остановить разработку передового ИИ, пока не будет доказана его безопасность и обеспечен демократический контроль над ним, — высказал мнение, что успешное редактирование весов может ускорить опасный прогресс.

От написания программ вокруг моделей к редактированию самих моделей

Веса определяют, как нейросеть преобразует входные данные в выходные. Традиционное обучение корректирует эти числа, измеряя ошибки и вычисляя изменения, призванные улучшить результат. Градиентный спуск — семейство методов для таких корректировок.

Команда MIT вместо этого попросила уже обученную LLM изучить веса, порассуждать об их функции и решить, что изменить. В некоторых экспериментах исследователи передавали веса в виде текста. В других — предоставляли Astra контролируемую среду Python для анализа более крупных сетей.

«Вместо обучения модели могут работать с необработанными весами как с читаемым и редактируемым кодом: диагностировать сбои и напрямую исправлять их», — написал Такэхи в X.

Его аналогия подразумевает ИИ-отладчик для нейросетей. Разработчик мог бы описать сбой и попросить ассистента изучить реализацию модели, найти причину и предложить исправление. Пока это лишь возможный сценарий работы, а не зрелая коммерческая возможность.

У аналогии есть и технические ограничения. Отдельные веса не обязательно несут столь же ясный смысл, как именованные функции в программе. Astra опиралась на возможности, полученные в ходе собственного обучения; исследователи проверяли, как она применяет их к другой сети.

Такэхи предсказал более широкие перемены: «Мы считаем, что вскоре веса нейросетей будут оптимизироваться непосредственно LLM, которые целенаправленно рассуждают о весах».

Небольшой патч потребовал серьёзного исследования

Для эксперимента с Qwen исследователи предоставили тренировочные вопросы, доступ к весам через Python и ограниченный бюджет запусков модели. Astra использовала эти ресурсы, чтобы изучить поведение и оценить предлагаемые изменения.

В документации эксперимента команда привела следующие результаты в своих условиях оценки:

В самой успешной попытке исследователи разрешили 50 оценочных запросов, каждый из которых мог содержать сотни примеров. Попытка включала 158 ходов диалога, 80 запусков Python и заняла 20,3 часа, из которых 4,7 часа ушло на ожидание во время сбоя сервиса.

Хотя итоговый патч затронул малую долю модели, его поиск потребовал серьёзного исследования.

Авторы объяснили прирост тем, что Astra удалила числовое направление, связанное с повторениями, из отдельных компонентов в слоях 15 и 19. Патч затронул 131 072 веса.

До вмешательства Qwen часто повторяла текст, пока не исчерпывала допустимую длину вывода. Правка устранила это препятствие и позволила модели завершать больше ответов, используя уже имеющиеся у неё способности.

Таким образом, эксперимент продемонстрировал своего рода ремонт модели. Он не доказал, что Astra вложила в Qwen вшестеро больше математических знаний.

Astra также распознавала стратегии и конструировала сети

Исследователи провели дополнительные эксперименты, чтобы проверить, может ли Astra распознавать и реализовывать поведение непосредственно через веса.

Согласно анонсу Такэхи, Astra определила четыре игровые сети как Breakout, Pong, Pac-Man и Freeway, несмотря на одинаковые архитектуры, входные данные и доступные действия. Исследователи не дали ей ни инструментов, ни списка возможных игр.

В симуляции вождения обученный контроллер раз за разом застревал на пандусе. Команда передала Astra веса контроллера, описание сцены и одну неудачную траекторию. Astra выдала патч за один ответ. Её изменения затронули 3,5% весов и, по имеющимся данным, обеспечили 100% успешных прохождений.

Исследователи также попросили Astra построить сети на основе правил и исходного кода упрощённых игр, не позволяя опробовать сети до оценки.

В экспериментах с MinAtar сеть Astra для Breakout набрала 517,4 очка. Аналогичная сеть, обученная методом проксимальной оптимизации политики (PPO) на 500 млн шагов, набрала 25,3.

Это примерно 20-кратное преимущество относилось к Breakout. В Seaquest Astra уступила сетям PPO с 500 млн шагов, а в Asterix — незначительно, хотя во всех трёх играх превзошла базовые модели со 100 млн шагов.

Эти эксперименты вышли за рамки исправления существующего сбоя: Astra перевела некоторые игровые стратегии в числовые сети. Однако заданные правила и ограниченные среды оставили у исследователей вопросы об обобщаемости.

Реакция в X — от скепсиса до предупреждений об ускорении

Последовавшее обсуждение выявило разногласия относительно убедительности доказательств и желательности дальнейшего прогресса.

Аккаунт @1a3orn указал, что в анонсирующей ветке Такэхи опущен важный отрицательный результат: Astra не смогла добиться математического улучшения у Gemma 3 270M, которая в эксперименте не страдала от серьёзной проблемы повторений, свойственной Qwen.

«Итак, если в рассуждениях LLM есть явный изъян, LLM могут помочь его вырезать», — написал автор аккаунта, усомнившись, что работа демонстрирует усиление базовых способностей к рассуждению. При этом комментатор отдал авторам должное за то, что они включили неудачи в свой пост.

Максим Фурнес выдвинул иное возражение. В его профиле в X он указан как бывший исследователь и инженер в области глубокого обучения и генеральный директор PauseAI.

Цитируя анонс Такэхи, Фурнес написал: «Боже, хоть бы это оказалось хайпом. Потому что если это правда, это может колоссально ускорить прогресс, что очень плохая новость и сильно приближает нас к глобальной катастрофе. Какое чудовищно безрассудное направление исследований».

Он завершил пост призывом поддержать PauseAI. Организация выступает за остановку разработки передового ИИ, пока разработчики не смогут доказать его безопасность, а общество — сохранить демократический контроль.

Фурнес высказал прогноз и политическую оценку. Эксперименты не подтвердили предсказанных им последствий. Тем не менее его возражение отразило потенциальное противоречие: методы, помогающие исследователям понять поведение моделей, могут также помочь разработчикам наращивать их возможности.

Таким образом, обсуждение подняло два разных вопроса: может ли ИИ надёжно понимать и улучшать нейросети через прямые правки весов и как более широкое внедрение скажется на безопасности и темпах развития. Эксперименты дали предварительные данные по первому вопросу; второй они не решили.

Неудачи ослабили аргументы в пользу самосовершенствующегося ИИ

Дополнительный эксперимент с Gemma помог отличить ремонт от добавления новых возможностей. В отличие от Qwen в условиях исследователей, Gemma редко застревала в длительных повторениях. По словам авторов, правки Astra не дали подтверждённого математического улучшения.

Другой эксперимент выявил ещё одно ограничение. Поначалу Astra не смогла отличить модель, обученную соглашаться с предложениями пользователей, от модели, обученной отвечать правильно. Ей это удалось лишь после того, как исследователи предоставили измерения внимания во время выполнения.

Эти неудачи показали, что одного доступа к весам не всегда достаточно для адекватного объяснения поведения или успешного вмешательства.

Рекурсивное самосовершенствование потребовало бы следующего шага: улучшения ИИ помогали бы ему создавать последующие улучшения, потенциально усиливая процесс от цикла к циклу. Прямое редактирование весов могло бы стать одним из путей, но исследователи не продемонстрировали такого цикла и не доказали, что прирост будет накапливаться.

Дальнейшие проверки должны выяснить, какое поведение редактор способен надёжно понимать и менять, сколько исследования требует каждое исправление и смогут ли независимые исследователи воспроизвести результаты.

Более ранние исследования заложили методы редактирования весов

Прямые правки обученных моделей изучались и раньше.

Проект ROME, представленный в работе на NeurIPS 2022, исследовал фактологические ассоциации в трансформерных моделях и вносил точечные изменения в веса. В его оценках проверялось, обобщаются ли такие правки на разные формулировки, сохраняя при этом несвязанные факты.

MEMIT, представленный на ICLR 2023, расширил эту работу до одновременного обновления тысяч ассоциаций.

Исследователи MIT сосредоточились на универсальной LLM, которая изучала веса и разрабатывала изменения для разных задач. Для оценки практической ценности подхода потребуется сравнение со специализированными методами редактирования, традиционным обучением и более простыми вмешательствами.

В случае конкретного сбоя разработчикам нужно будет понять, имеет ли прямой патч преимущества перед изменением настроек генерации или улучшением обучения. Заявленный прирост в бенчмарках на этот более широкий инженерный вопрос не отвечает.

Что компании могут получить от ремонта моделей силами ИИ

Возможные корпоративные применения пока остаются гипотезами. Исследователи не сообщали о развёртываниях у клиентов или бизнес-результатах.

Одно из возможных применений — сопровождение небольших моделей для специализированных рабочих процессов. Компания могла бы предоставить ассистенту-редактору воспроизводимый сбой, доступ к весам и контролируемую среду, а затем попросить его изучить проблему и предложить исправление.

Тестовым случаем мог бы стать локальный ассистент, который постоянно зависает при генерации структурированных ответов. Если исследователи свяжут сбой с исправимым внутренним механизмом, точечный патч может повысить долю завершённых ответов без традиционного переобучения.

Ещё одно возможное применение — аудит моделей. Ассистент, связывающий внутренние структуры с поведением, мог бы помогать объяснять сбои и проверять способы их устранения. Неудачный тест на угодничество, опиравшийся только на веса, показал, что эту перспективу нужно оценивать осторожно.

Экономику тоже придётся измерить. Сокращение повторяющегося вывода может сэкономить вычисления, но поиск и проверка патча требуют затрат. Исследование не показало шестикратного сокращения расходов наряду с шестикратным ростом математической точности.

На внедрение повлияет и доступ. Организации, контролирующие веса моделей, смогут экспериментировать напрямую. Клиентам, полагающимся исключительно на размещённый API, потребуется, чтобы провайдер разрешил вмешательство или выполнил его сам.

На официальной странице модели Qwen указана лицензия Apache 2.0, а среди предполагаемых применений небольшой модели названы прототипирование, специализированная адаптация, а также исследования и разработка.

Корпоративным командам также придётся управлять каждым патчем как новой версией модели. Им следует сравнивать её производительность с исходной на репрезентативных задачах, проверять наличие непреднамеренных изменений и сохранять возможность отката.

Например, улучшение извлечения данных из счетов не гарантирует, что изменённая модель по-прежнему справится с многоязычными документами или нестандартными форматами. Это лишь предлагаемые требования к проверке; о таких конкретных сбоях исследователи не сообщали.

Команда опубликовала журналы экспериментов и артефакты редактирования и сообщила, что разрабатывает бенчмарк и вспомогательный фреймворк.

Её выводы намечают возможную новую роль ИИ: непосредственную работу с механизмами других ИИ-систем. Дальнейшие исследования должны показать, сможет ли этот подход обеспечить надёжное сопровождение моделей, ускорить развитие их возможностей — или и то и другое.