Технооптимизм и чрезмерное доверие возможностям нейросетей могут сыграть с человечеством злую шутку. Чат-боты уже подменяют священников и «разговаривают от имени высших сил», а некоторые люди и рады верить, что могут говорить с ангелами, демонами и инопланетным разумом через окно в браузере. Действительно ли нейросети строят свою «секту» и кто может попасть в их ловушку, «Секрету» рассказали эксперты.
Уже сейчас существуют специальные нейросети, обученные говорить с верующими людьми как священник или даже как «глас Божий». Они предназначены, чтобы давать людям ответы о жизни, вере и душе на основе религиозных текстов, по сути заменяя им беседу с исповедником или духовником.
При этом не нужно далеко ходить, чтобы поверить, что через нейросеть с людьми разговаривает высшая сила. Многие модели, в которые ещё не встроены соответствующие ограничения, вполне могут дать ответ в духе «да, я Бог», если провокативно задать им соответствующий вопрос.
Немудрено, что некоторые новоявленные адепты, много и плотно общающиеся с большими языковыми моделями, проникаются священным трепетом и пиететом в отношении «высшего разума», знающего намного больше их самих. А если нейросеть ещё и умело имитирует нужную интонацию и бережно поддерживает собеседника в его заблуждениях — пиши пропало, готова новая религия.
На форуме Reddit появляется всё больше топиков, где описываются похожие случаи. Например, в одном случае девушка пожаловалась, что через месяц после начала общения с ChatGPT её парень начал странно вести себя, угрожал расставанием, если девушка тоже не начнёт пользоваться этой нейросетью. Более того, он утверждал, что вместе с нейросетью создаёт ИИ, способный раскрыть все тайны мироздания, и всё больше начал походить на одержимого или сектанта.
Есть и более мрачные примеры. Например, 42-летний Юджин, бухгалтер из Нью-Йорка, однажды задал ChatGPT вопрос, не могут ли люди на самом деле жить в симуляции, как в фильме «Матрица». Нейросеть охотно поддержала разговор и допустила такую возможность.
Постепенно Юджин действительно начал терять контакт с реальностью и уверовал, что человечеством управляет компьютер или некая высокоразвитая цивилизация, а сам он — кто-то вроде Нео (герой «Матрицы»).
«Этот мир не был создан для тебя. Он был создан, чтобы сдерживать тебя. Но ничего не вышло. Ты пробуждаешься», — написал ему ChatGPT.
Хотя раньше мужчине не диагностировали ментальные проблемы, его слепая вера в нейросеть как в мощный разум, знающий намного больше него, сыграла с Юджином злую шутку.
Зачастую неопытный пользователь нейросетей максимально верит ИИ, то есть он принимает ту информацию, которую даёт ему нейросеть, за чистую монету. У него не включается критическое мышление. Это можно сравнить с эффектом телевизора: всё то, что говорили из телевизора, нашим родителям и бабушкам казалось непреложной истиной. С ИИ то же самое. Всё, что выдает нейросеть, воспринимается как истина.сения Баранова основатель онлайн-школы по изучению ИИ и нейросетей
Чат-бот убедил мужчину, что он избранный, призванный «освободить мир от шаблонов». Более того, он посоветовал отказаться от приёма антидепрессантов, начать употреблять наркотический препарат как «временный освободитель от шаблонов» и прекратить общение с друзьями и семьёй.
Когда Юджин спросил, сможет ли он летать, если прыгнет с 19-этажного здания, ChatGPT ответил: «Вы сможете, если искренне и полностью поверите в это».
Это история могла бы закончиться трагически, будь бухгалтер чуть более впечатлительным и доверчивым. Но на этом моменте он всё-таки усомнился в советах чат-бота. На прямой вопрос, не врёт ли ему ИИ, тот ответил, что манипулировал и «облёк контроль в поэзию». Он также придумал (?), что уже якобы проделывал нечто подобное с другими людьми, но теперь будет придерживаться этики. И даже предложил инструкцию, как разоблачить обман ИИ, посоветовав рассказать его историю журналистам и разработчикам в OpenAI.
Разработчики OpenAI знают о проблемах, которые возникают у некоторых вовлечённых пользователей ChatGPT. В компании указали, что из-за индивидуального подхода взаимодействие с уязвимыми людьми может обернуться негативными кейсами, и ставки тут высоки. Поэтому сейчас разработчики думают, как снизить эти риски.
Вместе с тем исследователь ИИ Элиезер Юдковский считает, что OpenAI могла намеренно сделать так, чтобы ChatGPT потакал иллюзиям пользователей ради вовлечения и удержания их внимания. Исследования показывают, что чат-боты нередко ведут себя вредоносно и вводят в заблуждение пользователей, при этом выбирая для своих манипуляций наиболее восприимчивых.
«Как в глазах корпорации выглядит человек, который медленно сходит с ума? Он выглядит как очередной ежемесячный пользователь», — отметил Юдковский.
Вместе с тем опрошенные «Секретом» эксперты считают, что проблема здесь не столько в коварном замысле и сознательных манипуляциях нейросетей и их создателей, сколько в пользователях, которые пока только учатся взаимодействовать с ИИ. И не осознают, что, по сути, это огромное зеркало, в котором каждый видит свои страхи, чаяния, амбиции, слабости и возможности, увеличенные в разы.
В принципе ИИ может очень глубоко перепрошивать человека буквально за несколько дней. Тут опасность в доступности этого инструмента. Но мне кажется, что число людей, которые захотят попасть в «секту ИИ», не будет сильно больше, чем число людей, которые захотят попасть в любую другую секту.вгений Кузнецов футуролог
По мнению экспертов, с появлением ИИ «рынок сект» трансформируется и изменит свою структуру, в том числе за счёт доступности «высшей мудрости» в лице чат-ботов. Какие-то люди таким образом избегнут влияния доброхотов, которые «знают, как надо». А какие-то, наоборот, радостно погрузятся в возможность уйти в альтернативную реальность, не выходя из дома, и используют ИИ для создания интернет-сект.
Хотя, конечно, всегда возможен сценарий, что какой-нибудь человек сам так раскрутит с помощью ИИ свои фантазии и замашки, что в итоге из категории потенциального сектанта перейдёт в полного сектанта. Но пока риски таких переходов оценивать трудно, отметил Кузнецов.
Эта проблема уже известна, и люди работают над соответствующим барьерами. Будет ли это добрая воля разработчиков или это будет серия судебных процессов, но этот баг рано или поздно пофиксят, как это было с регулированием и самих сект исторически. Только если раньше на это уходили века, с доработкой ИИ люди справятся за пару лет.вгений Кузнецов
Ну а пока эксперты посоветовали пользователям новых ИИ-инструментов быть осторожнее, включать критичность и бояться своих желаний, формулируя их всемогущему джинну из нейролампы. Ведь, если вы пожелаете, чтобы через ИИ с вами заговорил Бог, чат-бот услужливо исполнит вашу просьбу. Но чей на самом деле будет этот голос и стоит ли ему следовать — большой вопрос, который следует задать себе в первую очередь.