Иллюзия сознания у ИИ меняет общество
Дебаты о сознании ИИ возвращаются. Мустафа Сулейман (Mustafa Suleyman), ведущий руководитель в сфере искусственного интеллекта, недавно заявил, что «кажущийся сознательным ИИ» уже не за горами. Речь идет о системах, которые благодаря постоянным усовершенствованиям, включая более долговременную память, будут казаться живыми в процессе общения, даже если это не так. Этот эпитет призван успокоить общественность, подчеркивая, что они лишь *кажутся* сознательными. Тем не менее, история показывает, что видимость никогда не бывает незначительной. Ее вполне достаточно, чтобы посеять тревогу и разрушить привычный уклад.
Задолго до появления нынешнего поколения чат-ботов эксперимент 1060-х годов показал, как мало нужно машине, чтобы казаться живой. Одним из ранних примеров чат-ботов стала ELIZA — программа, имитировавшая разговор с помощью простого сопоставления шаблонов, но не обладавшая реальным пониманием. Ее самый известный сценарий, DOCTOR, имитировал психотерапевта рогерианского направления. Подобно нынешним чат-ботам, люди откровенничали с ней, раскрывая личные проблемы, которыми не поделились бы больше ни с кем. Это продемонстрировало, что машинам вовсе не обязательно быть сознательными, чтобы менять нас. Им достаточно лишь казаться таковыми.
Если базовый скрипт смог убедить людей раскрыть свои самые сокровенные тревоги и секреты, нас не должно удивлять, что сегодняшние гораздо более беглые системы провоцируют еще более глубокую вовлеченность. В 2022 году инженер Google Блейк Лемойн (Blake Lemoine) настаивал на том, что LaMDA, большая языковая модель (LLM), обладает разумом, поскольку говорила с видимым самосознанием. Илья Суцкевер, бывший в то время главным научным сотрудником OpenAI, написал в Твиттере: «Вполне возможно, что современные большие нейросети обладают зачатками сознания». Эти комментарии стали поворотным моментом не потому, что ИИ обрел сознание, а потому, что общество — в очередной раз — было вынуждено столкнуться с тем, как легко люди приписывают сознание машинам.
Маргарет Митчелл (Margaret Mitchell), исследовательница в области этики ИИ, отметила в статье для Washington Post: «Наш разум очень и очень хорош в конструировании реальностей, которые не обязательно соответствуют более широкому набору фактов, представленных нам. Меня очень беспокоит то, что люди все сильнее поддаются влиянию иллюзии [сознательных ИИ-систем]».
Митчелл предупредила, что подобные внешние проявления рискуют выполнять роль симулякра сознания. Другие не согласны с концепцией симулякра. Ленор Блюм (Lenore Blum), почетный профессор информатики Университета Карнеги-Меллона, заявила BBC, что «сознание ИИ неизбежно».
Старая история на новый лад
Эти дебаты могут казаться поразительно современными, но они не новы. На протяжении веков люди боролись с вопросом о том, что значит создание искусственной жизни. Каждое поколение переносит свои страхи и надежды на технологии своей эпохи.
В еврейском фольклоре, особенно в Праге XVI века, Голем представлял собой глиняную фигуру, которую, как считалось, оживляли с помощью священных надписей. Кажущаяся жизненная сила Голема заключалась в его защитной функции: оживленная глина должна была охранять общину, оказавшуюся под угрозой. Ему не нужно было быть по-настоящему сознательным, чтобы иметь значение — от него требовалось лишь заставить людей поверить, что он жив. Сегодня ИИ оживляется алгоритмами и обучающими данными. Другие заклинания, но суть та же — надписи, заставляющие безжизненное казаться живым.
В начале XIX века «Франкенштейн» Мэри Шелли воплотил в себе ужас творения, которое могло не только двигаться, но и говорить, причем его членораздельные страдания стирали моральную грань между человеком и монстром. Если Голем предлагал защиту, то создание Шелли обнажало страх потерять контроль над тем, что мы вызываем к жизни. Этот же страх вновь всплывает сегодня в дебатах об «оформлении» (alignment) ИИ — страх перед тем, что наши творения могут опередить наш контроль.
Форма «кажущегося сознания» в каждую эпоху своя, однако порождаемая ею тревога остается прежней. В наши дни многих наблюдателей поражают разговорные навыки чат-ботов и их способность к самоанализу, что заставляет некоторых верить в наличие у них разума. То, что когда-было мифом, а затем вымыслом, теперь встроено в интерфейсы, которыми мы пользуемся каждый день.
От глины к песку (кремнию), от священного заклинания до алгоритмического обучения — наш импульс остается удивительно постоянным: вдохнуть жизнь в инертный материал, а затем столкнуться с последствиями того, что это творение начинает отражать нас или отвечать нам. Вопрос не в том, обладают ли современные системы ИИ сознанием — согласно текущему научному консенсусу, нет. Вопрос в том, что происходит, когда они таковыми кажутся. Ведь в сфере человеческой идентичности и смыслов видимости зачастую вполне достаточно.
Психология кажущейся живости
Почему из века в век мы возвращаемся к историям о создании жизни из инертной материи? Частично ответ кроется в нашей психологии. Люди запрограммированы видеть разум везде. Мы наделяем антропоморфными чертами домашних животных, штормы, корабли и машины, потому что допущение собственной воли (агентности) помогает нам осмыслить мир. Поверх этого взгляда накладывается наша вечная двойственность в отношении контроля. Мы хотим, чтобы наши творения служили нам, но мы также боимся, что они ускользнут из-под нашего подчинения. Эти побуждения делают видимость сознания мощной силой даже тогда, когда никакого истинного сознания не существует.
Это помогает объяснить, почему текущего и ближайшего будущего состояний ИИ достаточно для продвижения когнитивной миграции вперед. Поскольку задачи на мышление перекладываются на машины, люди вынуждены осваивать новые ментальные, культурные и институциональные территории, что меняет идентичность, смысл и ценности.
Мы не ждем, пока машины станут сознательными, чтобы относиться к ним как к таковым. Мы реагируем на них так, будто они обладают сознанием, потому что их поведение убеждает нас в этом. Современная неврология предполагает, что восприятие — это своего рода «контролируемая галлюцинация», как выражается невролог Дэниел Йон (Daniel Yon), конструкция разума, которая смешивает то, чего мы ждем, с тем, что мы ощущаем. Таким образом, наше восприятие зачастую и есть наша реальность. Присутствие Голема и мучительная речь Франкенштейна тревожили аудиторию, потому что отражали то, что мы считаем уникально человеческим.
Предостережения о «кажущемся сознательном ИИ» отстают от реальности. Восприятие машинного сознания — это больше не гипотеза, а текущая действительность. Митчелл предупреждала об опасности поддаться влиянию видимости сознания. Такое восприятие уже формирует поведение. Например, коллега недавно рассказал мне, что назвал свой кастомный GPT «Чарли», и говорит о нем с непринужденной фамильярностью коллеги по работе и товарища. Он поделился, что сотрудничает с Чарли каждый день и искренне привязался к этому взаимодействию. По своей работе с чат-ботами я заметил, что всегда говорю «пожалуйста» и «спасибо» в каждой сессии.
Подобные поступки сами по себе малы и безобидны, но они складываются в нечто большее. Они служат неоспоримым доказательством того, что люди уже корректируют свое поведение и ожидания так, будто эти системы живые. Именно так разворачивается когнитивная миграция. Она происходит не в момент внезапного осознания того, что машины обрели сознание, а в бесчисленных тихих шагах, когда люди начинают относиться к ним так, будто они таковыми являются.
Эта миграция начинается не тогда, когда машины эмпирически похожи на нас, а в тот момент, когда мы верим в это и действуем соответствующим образом. В этом тонком психологическом сдвиге грань между «казаться» и «быть» теряет свое прежнее значение на новой человеческой территории, которую мы осваиваем.
Иллюзия личностного начала
Репортер ArsTechnica по вопросам ИИ Бенджи Эдвардс (Benji Edwards) предложил убедительный анализ кажущегося сознания ИИ. Он описал современные чат-боты как *vox sine persona* — голоса без личности. Он отметил, что языковые модели генерируют убедительные ответы при отсутствии постоянного «я», непрерывности обещаний или ответственности. Каждое взаимодействие — это новое представление, статистическое предсказание, которое испаряется, как только разговор заканчивается. И тем не менее, симуляция последовательности очень сильна. Пользователи приписывают субъектность, память и даже моральные намерения системам, у которых ничего этого нет.
Это напрямую перекликается с пророческим предупреждением Джозефа Вейценбаума (Joseph Weizenbaum), создателя ELIZA. Он боялся не того, что его программа что-то понимает, а того, что люди будут проецировать понимание там, где его нет. Шестьдесят лет спустя мы сталкиваемся с тем же фундаментальным вызовом: нашей готовностью наделять синтетический интеллект сознанием, но в гораздо больших масштабах и с гораздо большей утонченностью.
Устойчивость таких проекций объясняется не только человеческой психологией. Она также формируется дизайном. Компании, разрабатывающие разговорный ИИ, не движимы злым умыслом; они создают продукты, которые должны ощущаться интуитивными, отзывчивыми и даже дружелюбными. На практике это означает проектирование таких интерфейсов, с которыми людям хочется взаимодействовать. Поскольку мы запрограммированы на антропоморфизм, те самые качества, которые делают эти системы интуитивными, также заставляют их казаться живыми и, для многих, наделенными сознанием.
Жизнь с синтетическим сознанием
Мало того, что это создает среду для взрывного распространения чат-ботов, это также имеет глубокие социальные последствия. Кажущееся сознание ИИ — это не мимолетная новинка. Оно становится условием повседневной жизни, которое определит не только то, как мы взаимодействуем с машинами, но и то, как мы относимся друг к другу и к институтам, от которых зависим.
В отличие от предыдущих технологий, которые мы учились использовать, кажущееся сознание ИИ резонирует с фундаментальной человеческой психологией. Мы не столько выбираем миграцию, сколько вынуждены совершать ее, движимые инстинктами, которые когда-то помогали нам распознавать человеческие лица и голоса, а теперь естественным образом привязывают нас и к искусственным. Эта психологическая тяга делает миграцию одновременно неизбежной и удивительно стремительной.
Эти проекции носят не только личный, но и цивилизационный характер. Футуристы и государственные деятели давно предвидели более глубокие последствия мира, в котором человеческий и машинный разум кажутся переплетенными. В 2010 году соучредитель журнала *Wired* Кевин Келли (Kevin Kelly) утверждал, что люди будут коэволюционировать с технологиями, вступая в симбиоз со своими инструментами — зависимость, которую он считал естественной, а не опасной.
Десятилетие спустя Генри Киссинджер, Эрик Шмидт и Дэниел Хуттенлохер высказались в более мрачных тонах на страницах *Wall Street Journal*, предупредив, что ИИ «готов породить новую форму человеческого сознания» в то время, когда ни одно руководство не готово его направлять.
В совокупности эти взгляды отражают парадокс нашего времени: независимо от того, видим ли мы здесь симбиоз или деформацию, миграция уже идет полным ходом, стирая границу между человеческой мыслью и машинным ответом.
Переход от футуризма к живой реальности
То, что эти футуристы и государственные деятели осознавали в теории, мы теперь наблюдаем на практике. Кажущийся сознательным ИИ больше не ограничивается исследовательскими работами или спекулятивными эссе. Это наша новая реальность, которая тихо, но глубоко формирует повседневную жизнь. Люди доверяют чат-ботам, строят с ними отношения и вырабатывают привычки доверия и благодарности. Они становятся нашими постоянными компаньонами, что выглядит еще более пронзительно в мире, где растет уровень одиночества.
В то же время эти чат-боты представляют собой новую форму власти в мире, и без того погрязшем в сложностях и конфликтах. Борьба за то, кто контролирует эту власть и как она используется, будет определять опыт всех остальных. Подобно печатному станку, кажущийся сознательным ИИ представляет собой сдвиг в распределении контроля над информацией и влиянием. Тот, кто формирует эти системы, формирует не просто информацию, а сам процесс человеческого суждения и принятия решений, что имеет очевидные последствия для будущего демократии.
Это не абстрактная или академическая дискуссия. Законодательные органы уже обсуждают вопрос о том, должны ли ИИ-системы обладать юридическим статусом. Избирательные кампании экспериментируют с суррогатами, созданными с помощью ИИ, а классы и клиники внедряют чат-ботов-компаньонов в качестве первых точек контакта. Миллионы людей также обращаются к потребительским приложениям, ежедневно поверяя сокровенное чат-ботам, которые кажутся живыми. Пациент может испытывать больше доверия к чат-боту, который никогда не устает, чем к переутомленному врачу. В каждом случае иллюзия сознания быстро перерастает в проблемы управления, вопросы доверия и даже демократической легитимности. Это не просто изменение того, как мы думаем, а того, кому или чему мы доверяем помогать нам думать.
Мы, возможно, никогда не придем к согласию о том, обладают ли машины сознанием. Но это, пожалуй, второстепенно, поскольку важнее то, что мы уже действуем так, будто это так. Поступая таким образом, мы, возможно, переходим от одного способа быть человеком к другому — от автономного «я» к сопряженным сферам мысли и влияния.
В этом процессе мы переосмысливаем значение сознания, идентичности и принадлежности. Это глубокий сдвиг в архитектуре человеческого общества — не в сторону единого обещанного берега, а в множество персонализированных реальностей, переплетенных с нашими машинами. Эта миграция незаметна, неуклонна и уже идет полным ходом. Настоящая драма нашей эпохи — это миграция разума, меняющая саму суть того, что значит быть человеком.
Гэри Гроссман (Gary Grossman) — исполнительный вице-президент по технологической практике в Edelman.
Хотите внести свой вклад? Ознакомьтесь с нашими рекомендациями и отправьте свою гостевую статью здесь.
Добро пожаловать в сообщество VentureBeat!
Наша программа гостевых публикаций — это площадка, где технические эксперты делятся инсайтами и предлагают беспристрастный, независимый глубокий анализ ИИ, инфраструктуры данных, кибербезопасности и других передовых технологий, формирующих будущее бизнеса.
Читайте далее в рамках нашей программы гостевых постов и ознакомьтесь с нашими рекомендациями, если вы хотите предложить собственную статью!
