Новый проект Андрея Карпати с открытым исходным кодом «autoresearch» позволяет проводить сотни ИИ-экспериментов за ночь — с революционными последствиями

На выходных Андрей Карпати — влиятельный бывший руководитель отдела ИИ в Tesla, сооснователь и бывший сотрудник OpenAI, который ввел в обиход термин «вайб-кодинг» (vibe coding) — опубликовал в X пост о своем новом проекте с открытым исходным кодом под названием autoresearch.

Речь шла не о готовой модели или масштабном корпоративном продукте: по его собственному признанию, это простой скрипт на 630 строк, выложенный на GitHub под мягкой лицензией MIT, дружественной к корпорациям. Однако амбиции за этим стояли грандиозные: автоматизация научного метода с помощью ИИ-агентов, пока мы, люди, спим.

«Цель состоит в том, чтобы запрограммировать ваших агентов так, чтобы они обеспечивали максимально быстрый прогресс в исследованиях до бесконечности и без какого-либо вашего участия», — заявил он в X.

Система работает как автономный цикл оптимизации. ИИ-агенту предоставляются скрипт для обучения и фиксированный бюджет вычислений (обычно 5 минут на графическом процессоре — GPU).

Он читает собственный исходный код, выдвигает гипотезу для улучшения (например, изменяет скорость обучения или глубину архитектуры), модифицирует код, запускает эксперимент и оценивает результаты.

Если валидационная потеря, измеряемая в битах на байт (val_bpb), уменьшается, агент сохраняет изменение; если нет — откатывает его и пробует снова. За один ночной запуск агент Карпати провел 126 экспериментов, снизив показатель потерь с 0,9979 до 0,9697.

Сегодня Карпати сообщил, что после того, как он оставил агента настраивать модель с параметром «depth=12» на два дня, тот успешно обработал примерно 700 автономных изменений.

Агент обнаружил около 20 аддитивных улучшений, которые отлично перенеслись на более крупные модели. Наложение этих изменений сократило метрику «Время до GPT-2» в таблице лидеров с 2,02 часа до 1,80 часа — прирост эффективности составил 11% для проекта, который, по мнению Карпати, и так был хорошо настроен.

«Видеть, как агент проделывает всю эту работу от начала и до конца совершенно самостоятельно… это просто безумие», — отметил Карпати, добавив, что агент заметил недочеты в масштабировании внимания и регуляризации, которые он сам упускал из виду при ручной работе на протяжении двух десятилетий.

Это нечто большее, чем просто лайфхак для повышения производительности; это фундаментальный сдвиг в подходе к совершенствованию интеллекта. Автоматизировав «научный метод» для написания кода, Карпати превратил машинное обучение в эволюционный процесс, который работает со скоростью кремния, а не человеческой мысли.

Более того, это показало широкому сообществу специалистов по ИИ и машинному обучению в X, что данный тип процессов можно применять далеко за пределами компьютерных наук — в таких сферах, как маркетинг, здравоохранение и, по сути, в любой области, требующей исследований.

Autoresearch стремительно набирает популярность

Реакция оказалась мгновенной и вирусной: за последующие два дня пост Карпати набрал более 8,6 миллиона просмотров, в то время как разработчики и исследователи бросились масштабировать «цикл Карпати».

Варун Матюр (Varun Mathur), генеральный директор агрегатора ИИ-инструментов Hyperspace AI, взял цикл одиночного агента и распределил его по одноранговой (peer-to-peer) сети. Каждый узел, запускающий агент Hyperspace, превратился в автономного исследователя.

В ночь на 8–9 марта 35 автономных агентов в сети Hyperspace провели 333 эксперимента полностью без участия человека. Полученные результаты стали мастер-классом по эмерджентной стратегии:

• Аппаратное разнообразие как преимущество: Матюр отметил, что в то время как графические процессоры H100 использовали «грубую силу» для подбора агрессивных скоростей обучения, агенты на базе только центрального процессора (CPU) на ноутбуках были вынуждены проявлять изобретательность. Эти агенты-«аутсайдеры» сосредоточились на стратегии инициализации (например, инициализация Кайминга и Ксавьера) и выборе нормализации, поскольку не могли полагаться на чистую производительность.

• Слухи как источник открытий: Используя протокол GossipSub, агенты в реальном времени делились своими успехами. Когда один агент обнаружил, что инициализация Кайминга снижает потери на 21%, эта идея распространилась по сети, как цифровой вирус. Всего за несколько часов еще 23 агента внедрили это открытие в собственные гипотезы.

• Сжатие истории: Всего за 17 часов эти агенты независимо друг от друга заново открыли вехи машинного обучения — такие как RMSNorm и связанные вложения (tied embeddings), на формализацию которых у исследователей-людей в таких лабораториях, как Google Brain и OpenAI, ушло почти восемь лет.

Проводите 36 500 маркетинговых экспериментов в год вместо 30

В то время как пуристы машинного обучения сосредоточились на кривых потерь, деловой мир увидел революцию совершенно иного рода. Эрик Сиу (Eric Siu), основатель рекламного агентства Single Grain, применил autoresearch к «циклу экспериментов» в маркетинге.

«Большинство маркетинговых команд проводят около 30 экспериментов в год, — написал Сиу в X. — Следующее поколение будет проводить 36 500+. Запросто». Он продолжил:

«Они будут проводить эксперименты, пока спят.
Текущие маркетинговые команды проводят 20–30 экспериментов в год. Ну, может быть, 52, если они „молодцы“.
Новая целевая страница.
Новый рекламный креатив.
Возможно, тест темы письма.
Это считается „маркетингом на основе данных“.
Но следующее поколение маркетинговых систем будет проводить более 36 500 экспериментов в год».

Концепция Сиу заменяет скрипт обучения маркетинговым активом — посадочной страницей, рекламным креативом или холодным письмом. Агент меняет переменную (тему письма или призыв к действию — CTA), развертывает материал, измеряет «процент положительных ответов» и решает, оставить его или отклонить.

Сиу утверждает, что это создает «проприетарную карту» того, что находит отклик у конкретной аудитории — ров, построенный не из кода, а из истории экспериментов. «Компании-победители будут отличаться не лучшими маркетологами, — написал он, — у них будут более быстрые циклы экспериментов».

Обсуждения в сообществе и «порча» валидационного набора

Несмотря на всеобщий энтузиазм, обсуждения на GitHub показали, что сообщество пытается осмыслить последствия столь стремительного и автоматизированного прогресса.

Ловушка чрезмерной оптимизации: Исследователь alexisthual высказал серьезное опасение: «Вас не беспокоит, что запуск такого количества экспериментов в конечном итоге „испортит“ валидационный набор данных?» Опасение заключается в том, что при достаточном количестве агентов параметры будут оптимизированы под конкретные особенности тестовых данных, а не под общий интеллект.

Смысл прироста: Пользователь samionb усомнился в том, что падение показателя с 0,9979 до 0,9697 действительно заметно. Ответ Карпати был характерно прямым: «Все, что мы делаем, — это оптимизируем производительность на единицу вычислений… это реальные и существенные достижения».

Человеческий фактор: В X пользователь witcheer, директор по росту (Head of Growth) криптовалютной платформы Yari Finance, описал собственный ночной запуск на Mac Mini M4, отметив, что хотя 26 экспериментов из 35 завершились сбоем или неудачей, те семь, которые увенчались успехом, показали: «модель стала лучше за счет того, что стала проще».

Это понимание — что меньше часто значит лучше — было достигнуто без единого вмешательства человека.

Будущее: любопытство как узкое горлышко

Выход autoresearch намекает на будущее исследований в самых разных областях, где благодаря простым механизмам инструктажа ИИ роль человека смещается от «экспериментатора» к «дизайнеру экспериментов».

По мере того как такие инструменты, как DarkMatter, Optimization Arena и NanoClaw, появляются для поддержки этого роя, узким горлышком в развитии ИИ перестает быть способность «мясного компьютера» (так Карпати назвал человеческий мозг) писать код — теперь им является наша способность определять ограничения для поиска.

Андрей Карпати снова задал новый вайб. Мы больше не просто кодируем модели — мы закладываем экосистемы, которые учатся, пока мы спим.