Риски искусственного интеллекта: утрата человеческой экспертизы
Чтобы системы ИИ продолжали совершенствоваться в интеллектуальной сфере, им необходим либо надежный механизм автономного самосовершенствования, либо оценщики-люди, способные замечать ошибки и давать качественную обратную связь. Индустрия вложила колоссальные средства в первое, но практически не задумывается о том, что происходит со вторым.
Я утверждаю, что к проблеме оценки со стороны человека нужно относиться с такой же строгостью и инвестициями, как и к созданию возможностей самих моделей. Найм выпускников в крупные технологические компании сократился вдвое по сравнению с 2019 годом. Анализ документов, первичные исследования, очистка данных, ревью кода — теперь с этим справляются модели. Экономисты называют это вытеснением. Компании, которые это делают, называют это эффективностью. Ни те, ни другие не фокусируются на проблеме будущего.
Почему самосовершенствование в интеллектуальной работе имеет пределы
Очевидный контраргумент — обучение с подкреплением (RL). AlphaZero освоила го, шахматы и сериги на сверхчеловеческом уровне без участия человека и в процессе генерировала новые стратегии. 37-й ход в матче 2016 года против Ли Седоля — ход, который, по словам профессионалов, они бы никогда не сделали, — появился не благодаря разметке человека. Он возник в результате самообучения ИИ.
Что делает это возможным, так это стабильность среды. 37-й ход — это новый ход в рамках фиксированного пространства состояний го. Правила полны, однозначны и постоянны. Что еще более важно, сигнал о вознаграждении идеален: победа или поражение, немедленно и без возможности двоякого толкования. Система всегда знает, был ли ход хорошим, потому что игра в конечном итоге заканчивается четким результатом.
Интеллектуальная работа не обладает ни тем, ни другим свойством. Правила в любой профессиональной сфере динамичны и постоянно переписываются людьми, которые в ней работают. Принимаются новые законы. Изобретаются новые финансовые инструменты. Юридическая стратегия, которая работала в 2022 году, может потерпеть неудачу в юрисдикции, где с тех пор изменилось толкование. Правильность медицинского диагноза может оставаться неизвестной годами. Без стабильной среды и однозначного сигнала о вознаграждении невозможно замкнуть цикл. Вам нужны люди в цепочке оценки, чтобы продолжать обучать модель.
Проблема формирования кадров
Создаваемые сегодня системы ИИ были обучены на экспертизе людей, которые прошли именно через такое становление. Разница сейчас заключается в том, что начальные позиции, развивающие такую экспертизу, были автоматизированы первыми. А это значит, что следующее поколение потенциальных экспертов не накапливает тот тип суждений, из-за которого человека-оценщика стоит привлекать к работе.
История знает примеры гибели знаний. Римский бетон. Технологии готического строительства. Математические традиции, на восстановление которых уходили столетия. Но во всех исторических случаях причиной были внешние факторы: чума, завоевания, крах институтов, хранивших знания. Разница здесь в том, что никаких внешних сил не требуется. Области могут деградировать не из-за катастрофы, а в результате тысяч индивидуально рациональных экономических решений, каждое из которых кажется разумным само по себе. Это новый механизм, и мы не привыкли распознавать его в процессе развития.
Когда целые сферы умолкают
В своем логическом пределе это не просто проблема кадрового резерва. Это обвал спроса на саму экспертизу.
Рассмотрим высшую математику. Она деградирует не потому, что мы перестаем обучать математиков. Она деградирует потому, что организации перестают нуждаться в математиках для повседневной работы, экономический стимул стать им исчезает, число людей, способных мыслить на стыке математики и передовых технологий, сокращается, а способность сферы генерировать новые идеи тихо сходит на нет. Та же логика применима и к программированию. Наш вопрос звучит не «будет ли ИИ писать код», а «если ИИ пишет весь продакшн-код, то кто развивает глубокую архитектурную интуицию, которая порождает по-настоящему оригинальный дизайн систем?»
Существует критическая разница между автоматизацией области и ее пониманием. Сегодня мы можем автоматизировать огромную часть строительного проектирования, но абстрактное знание о том, почему работают те или иные подходы, живет в головах людей, которые сначала годами все делали неправильно. Если вы исключаете практику, вы теряете не просто практиков. Вы теряете способность осознавать, что именно вы потеряли.
Высшая математика, теоретическая информатика, глубокие юридические рассуждения, архитектура сложных систем: когда последний человек, глубоко понимающий подраздел алгебры, уходит на пенсию, а на его место никто не приходит, потому что финансирование иссякло и карьерный путь исчез, это знание вряд ли удастся скоро восстановить.
Оно исчезло. И никто этого не замечает, потому что модели, обученные на работах таких специалистов, еще десяток лет продолжают показывать хорошие результаты в бенчмарках. Я называю это опустошением: поверхностные возможности сохраняются (модели все еще могут выдавать экспертно выглядящие результаты), в то время как лежащий в основе человеческий потенциал для проверки, расширения или исправления этой экспертизы тихо исчезает.
Почему рубрикаторы не заменяют человека полностью
Текущий подход — это оценка на основе критериев (рубрикаторов). Конституционный ИИ, обучение с подкреплением на основе отзывов ИИ (RLAIF) и структурированные критерии, позволяющие моделям оценивать другие модели, — это серьезные методы, которые существенно снижают зависимость от оценщиков-людей. Я не умаляю их достоинств.
Их ограничение заключается в следующем: рубрикатор может отразить только то, что составитель знал и умел измерить. Если жестко оптимизировать модель под него, вы получите результат, отлично удовлетворяющий критериям. Но это не то же самое, что модель, которая действительно права.
Рубрикаторы масштабируют явную, поддающуюся вербализации часть суждений. Более глубокая часть, интуиция, внутреннее ощущение того, что что-то не так или не вписывается в рамки, не помещается в рубрикатор. Вы не можете записать это, потому что сначала должны прочувствовать это на собственном опыте, прежде чем поймете, что именно нужно написать.
Что это значит на практике
Это не призыв замедлить развитие. Прирост возможностей реален. И вполне возможно, что исследователи найдут способы замкнуть цикл оценки без участия человека. Возможно, конвейеры синтетических данных станут достаточно хороши. Возможно, модели разработают надежные механизмы самокоррекции, которые мы пока не можем вообразить.
Но сегодня у нас этого нет. И пока мы демонтируем человеческую инфраструктуру, которая сейчас заполняет этот пробел, причем не в результате осознанного решения, а как побочный продукт тысяч рациональных шагов. Ответственный подход к этому переходному периоду заключается не в том, чтобы предполагать, будто проблема решится сама собой. Нужно относиться к пробелу в оценке как к открытой исследовательской задаче, требующей такой же срочности, как и повышение возможностей моделей.
Больше всего ИИ нуждается в людях именно в том, сохранению чего мы уделяем меньше всего внимания. Вне зависимости от того, временное это явление или постоянное, цена игнорирования проблемы будет одинаковой.
Ахмад Аль-Дале (Ahmad Al-Dahle) — технический директор Airbnb.
Добро пожаловать в сообщество VentureBeat!
Наша программа гостевых публикаций — это площадка, где технические эксперты делятся инсайтами и представляют нейтральные, непредвзятые обзоры по вопросам ИИ, инфраструктуры данных, кибербезопасности и других передовых технологий, формирующих будущее бизнеса.
Читайте далее в рамках нашей программы гостевых постов и ознакомьтесь с нашими рекомендациями, если вы хотите опубликовать собственную статью!
