Лион Джонс переключает внимание с трансформеров
В ходе поразительного акта самокритики один из архитекторов трансформерной технологии, которая лежит в основе ChatGPT, Claude и практически всех крупных систем искусственного интеллекта, заявил на этой неделе собравшимся лидерам индустрии, что исследования в области ИИ стали опасным образом узконаправленными и что он сам отказывается от своего собственного творения.
Ллион Джонс (Llion Jones), который был соавтором основополагающей статьи 2017 года «Attention Is All You Need» и даже придумал термин «трансформер», выступил с необычайно откровенной оценкой на конференции TED AI в Сан-Франциско во вторник: несмотря на беспрецедентные инвестиции и приток талантов в сферу ИИ, эта область зациклилась на единственном архитектурном подходе, что потенциально мешает исследователям разглядеть следующий крупный прорыв.
«Несмотря на то, что никогда прежде не было такого интереса, ресурсов, денег и талантов, это почему-то привело к сужению проводимых нами исследований», — заявил Джонс аудитории. По его словам, в этом виновато «огромное давление» со стороны инвесторов, требующих отдачи, и исследователей, пытающихся выделиться в переполненной сфере.
Это предупреждение имеет особый вес, учитывая роль Джонса в истории ИИ. Трансформерная архитектура, в разработке которой он участвовал в Google, стала фундаментом бума генеративного ИИ, позволив создать системы, способные писать эссе, генерировать изображения и поддерживать человекоподобный диалог. На его статью было опубликовано более 100 000 цитирований, что делает ее одной из самых влиятельных публикаций по информатике этого столетия.
Теперь, занимая должность технического директора и соучредителя токийской компании Sakana AI, Джонс открыто отказывается от своего творения. «Лично я в начале этого года принял решение радикально сократить количество времени, которое я уделяю трансформерам, — сказал он. — Теперь я целенаправленно ищу и исследую нечто принципиально новое».
Почему увеличение финансирования ИИ привело к снижению творческого потенциала исследований, по мнению пионера трансформеров
Джонс обрисовал картину сообщества исследователей ИИ, страдающего от того, что он назвал парадоксом: больше ресурсов привело к меньшему творчеству. Он описал, как исследователи постоянно проверяют, не «опередили» ли их конкуренты, работающие над аналогичными идеями, а ученые выбирают безопасные, пригодные для публикации проекты вместо рискованных и потенциально революционных.
«Если вы сейчас занимаетесь стандартными исследованиями в области ИИ, вам приходится предполагать, что есть еще три или четыре группы, делающие что-то очень похожее или, может быть, абсолютно точное», — отметил Джонс, описывая обстановку, где, «к сожалению, это давление наносит ущерб науке, потому что люди спешат с публикациями, и это снижает уровень креативности».
Он провел аналогию из самого ИИ — дилемму «исследования против использования» (exploration versus exploitation), которая определяет, как алгоритмы ищут решения. Когда система слишком сильно концентрируется на использовании имеющегося и слишком мало исследует новое, она находит посредственные локальные решения, упуская превосходящие их альтернативы. «Мы почти наверняка находимся в такой ситуации прямо сейчас в индустрии ИИ», — утверждал Джонс.
Последствия этого вызывают тревогу. Джонс вспомнил период прямо перед появлением трансформеров, когда исследователи бесконечно дорабатывали рекуррентные нейронные сети — предыдущую доминирующую архитектуру — ради незначительных улучшений. Как только появились трансформеры, вся эта работа внезапно стала нерелевантной. «Как вы думаете, сколько времени эти исследователи потратили бы на попытки улучшить рекуррентную нейронную сеть, если бы знали, что не за горами что-то вроде трансформеров?» — спросил он.
Он опасается, что эта ситуация повторяется. «Я боюсь, что мы находимся в том же положении прямо сейчас, когда мы просто концентрируемся на одной архитектуре, перебираем ее и пробуем разные мелочи, в то время как где-то совсем рядом может зреть настоящий прорыв».
Как статья «Attention is all you need» родилась благодаря свободе, а не давлению
Подчеркивая свою мысль, Джонс описал условия, которые вообще позволили появиться трансформерам, — что резко контрастирует с сегодняшней атмосферой. Проект, по его словам, был «очень органичным, инициативным снизу вверх», он родился из «бесед за обедом или случайных записок на маркерной доске в офисе».
Что критически важно: «у нас на самом деле не было какой-то гениальной идеи, у нас была свобода тратить время и работать над ней, и, что еще важнее, у нас не было никакого давления со стороны руководства», — вспоминал Джонс. — Никакого давления с требованием работать над конкретным проектом, публиковать определенное количество статей ради какого-то показателя».
Этой свободы, как полагает Джонс, по большей части не хватает сегодня. Даже исследователи, нанятые на астрономические зарплаты — «в некоторых случаях буквально на миллион долларов в год», — могут не чувствовать себя вправе идти на риск. «Думаете ли вы, что, начиная новую работу, они чувствуют себя способными воплощать свои дикие и более спекулятивные идеи или они испытывают колоссальное давление, стремясь доказать свою состоятельность и в очередной раз собрать «низко висящие плоды»?» — спросил он.
Почему одна из ИИ-лабораторий делает ставку на исследовательскую свободу, а не на миллионные зарплаты
Предложенное Джонсом решение звучит нарочито провокационно: выкрутить «ручку исследований» на максимум и открыто делиться открытиями, даже себе во вред в конкурентной борьбе. Он признал иронию своего положения. «Возможно, звучит немного противоречиво, когда один из авторов трансформеров заявляет со сцены, что ему от них уже тошно, но это вполне справедливо, верно? Я занимаюсь ими дольше кого бы то ни было, за исключением, может быть, семи человек».
По словам Джонса, в Sakana AI он пытается воссоздать ту дотрансформерную атмосферу: с исследованиями, вдохновленными природой, и минимальным давлением в плане погони за публикациями или прямой конкуренции с соперниками. Он привел исследователям девиз инженера Брайана Чу (Brian Cheung): «Вам стоит заниматься только теми исследованиями, которые не состоялись бы, если бы ими не занимались вы».
Одним из примеров является разработка Sakana — «машина непрерывного мышления» (continuous thought machine), которая объединяет похожую на мозг синхронизацию с нейросетями. Сотрудник, предложивший эту идею, признался Джонсу, что на прежних местах работы или в академической среде он столкнулся бы со скептицизмом и давлением, запрещающим тратить время впустую. В Sakana Джонс дал ему неделю на исследования. Проект оказался настолько успешным, что о нем рассказали на NeurIPS, крупной конференции по искусственному интеллекту.
Джонс даже предположил, что свобода превосходит компенсацию при найме сотрудников. «Это действительно очень, очень хороший способ привлекать таланты», — сказал он об исследовательской среде. «Подумайте сами: талантливые, умные люди, амбициозные люди естественным образом будут искать именно такую среду».
Успех трансформеров может блокировать следующий прорыв в области ИИ
Пожалуй, самое провокационное заявление Джонса заключалось в том, что трансформеры стали жертвами собственного успеха. «Тот факт, что текущая технология настолько мощная и гибкая… помешал нам искать что-то лучшее, — сказал он. — Логично, что если бы текущая технология была хуже, больше людей искали бы альтернативы».
Он аккуратно уточнил, что не собирается списывать со счетов текущие исследования трансформеров. «Впереди еще много очень важной работы по текущей технологии, которая принесет огромную пользу в ближайшие годы, — сказал он. — Я просто говорю, что, учитывая количество талантов и ресурсов, которыми мы располагаем в настоящее время, мы можем позволить себе гораздо больше».
Его главный призыв заключался в преобладании сотрудничества над конкуренцией. «По правде говоря, с моей точки зрения, это не соревнование, — заключил Джонс. — У всех нас одна цель. Мы все хотим видеть прогресс этой технологии, чтобы каждый мог извлечь из нее пользу. Поэтому, если мы все вместе сможем выкрутить ручку исследований на максимум, а затем открыто делиться своими находками, мы придем к нашей цели гораздо быстрее».
Высокие ставки проблемы поисковых исследований в ИИ
Эти высказывания прозвучали в переломный момент для искусственного интеллекта. Индустрия сталкивается со все большим количеством свидетельств того, что простое создание все более крупных моделей-трансформеров может приближаться к исчерпанию отдачи. Ведущие исследователи начали открыто обсуждать, имеет ли текущая парадигма фундаментальные ограничения, причем некоторые предполагают, что для дальнейшего продвижения к более способным системам ИИ потребуются архитектурные инновации, а не просто масштабирование.
Предостережение Джонса намекает на то, что поиск этих инноваций может потребовать демонтажа тех самых систем стимулирования, которые подпитывали недавний бум ИИ. Учитывая, что ежегодно в разработку ИИ вливаются десятки миллиардов долларов, а ожесточенная конкуренция между лабораториями порождает секретность и быстрые циклы публикаций, описанная им среда для поисковых исследований кажется все более далекой.
Тем не менее, его мнение инсайдера имеет необычайный вес. Как человек, помогший создать технологию, которая сейчас доминирует в этой сфере, Джонс понимает как то, что требуется для достижения прорывных инноваций, так и то, чем рискует индустрия, отказываясь от этого подхода. Его решение отойти от дел с трансформерами — архитектурой, которая создала ему репутацию — добавляет убедительности посланию, которое в противном случае могло бы прозвучать как маргинальная позиция.
Остается неясным, прислушаются ли ключевые игроки индустрии ИИ к этому призыву. Но Джонс четко напомнил о том, что поставлено на карту: следующий прорыв масштаба трансформеров может ждать нас за углом, если им займутся исследователи, обладающие свободой экспериментировать. Либо же эта идея будет чахнуть без внимания, пока тысячи исследователей спешат опубликовать инкрементальные улучшения архитектуры, от которой, по словам самого Джонса, одному из ее создателей уже «абсолютно тошно».
В конце концов, он работает с трансформерами дольше практически любого другого человека. Ему ли не знать, когда пора двигаться дальше.
