Грозят ли человечеству думающие роботы?

Европейский парламент намерен вынести на голосование подробный перечень правил, по которым люди должны будут общаться с искусственным интеллектом и роботами. Парламентарии ясно дали понять, что, по их мнению, мир стоит на пороге новой промышленной революции - революции роботов. Депутаты Европарламента решат, следует ли наделять роботов статусом "электронной личности". Как рекомендует представленный в Европарламент отчет, разработчики роботов должны гарантировать, что в каждом из них будет предусмотрено устройство, позволяющее при необходимости отключить все его функции. Пользователи роботов должны быть избавлены от риска или страха получить физические или психологические травмы, отмечается в отчете. Отчет предполагает, что роботы, боты, андроиды и прочие формы искусственного интеллекта способны начать новую промышленную революцию, которая затронет все сферы общества. Стоит ли Европарламенту, да и всем нам, беспокоиться по поводу того, на что будут способны роботы с искусственным интеллектом? Ведущий программы "Пятый этаж" Михаил Смотряев беседует с писателем-фантастом Леонидом Кагановым и политологом Николаем Мейнертом. Михаил Смотряев: Для начала давайте поймем, где мы находимся в том, что касается технологии. То, что касается искусственного интеллекта, - тут и строгого определения, что это такое, как мне представляется, еще нет. Разные ученые и обыватели понимают его по-разному. И прогнозы по поводу того, когда именно он сравняется с человеческим, и что собственно считать "сравняется", тоже разнятся: от трех лет до трехсот. Хотя довольно большая часть видных и ученых, и просветителей, и бизнесменов (Илон Маск первый, кто приходит в голову) говорят о том, что в течение ближайших 15 лет более или менее сопоставимый с человеческим искусственный интеллект у нас будет. Так где мы находимся? Леонид Каганов: По моим наблюдениям (я давно слежу за этой темой, потому что я по образованию электронщик-программист), искусственный интеллект - это такая вещь, о которой очень давно говорят. Буквально уже лет сто, может быть, даже больше. Но все, что пока сделано, показывает, что мы еще очень далеки от интеллекта как такового. У нас есть отдельные элементы разума, которые мы можем воплощать в железе. То есть у нас есть электрические манипуляторы, распознавание речи, какое-то принятие решений по точкам на локаторе, но все это настолько далеко от разума, что о правах, наверное, говорить пока рано. С этой точки зрения это напоминает немножечко закон о 25-ом кадре, который запрещен во многих странах, в том числе в России, несмотря на то что, как давно уже известно, это просто была шутка американских маркетологов, которые уже давно признались, что это все было шуткой и не работает. Тем не менее, поскольку человечество боится всего непонятного, то закон о 25-ом кадре в российском законодательстве присутствует. У нас запрещен 25-ый кадр, несмотря на то, что он не существует и не работает. Мне кажется, эта инициатива - из той же области. Как было у Козьмы Пруткова такое прекрасное стихотворение "Древнегреческой старухе, если б она домогалась моей любви": "Уйди, проклятая, твои противны ласки...". Мне кажется, это тоже своего рода ответ древнегреческой старухе, если б она там чего-то такое делала. М.С.: Не бежим ли мы впереди паровоза? Список реально существующих в мире проблем займет страниц сто пятьдесят, и тут вдруг ни с того ни с сего всплывает разговор об электронной личности: "Должны ли быть у нее права?" Притом что электронной личности как таковой еще пока нет и в проекте. Николай Мейнерт: Мне кажется, что здесь ключевым словом для того, чтобы понять, почему вообще такой разговор встал на повестку дня, может быть слово "экономика". Если мы говорим об искусственном интеллекте, то до этого действительно, как уже было сказано, долгий путь, и непонятно, как быстро мы сумеем его пройти. Хотя, как показывает иногда опыт, жизнь довольно часто опережает очень многие даже самые смелые наши предположения. Экономически это может встать гораздо раньше на повестку дня в силу того, что роботами заменяется очень много рабочих сфер, и что делать с этой избыточной рабочей силой? Поэтому, может быть, прежде чем говорить о правах роботов, хорошо бы подумать, как все-таки решать те проблемы, которые, несомненно, могут возникнуть (и уже возникают довольно часто - в Японии, в Европе) в связи с тем, что роботизация приводит к сокращению сфер применения для человека, особенно для того, что связано с наиболее примитивным трудом, которым в Европе сейчас занято достаточно большое количество людей. Что касается второй части поднятого вами вопроса, то здесь возникает очень много различного рода нюансов, которые связаны, с моей точки зрения, с тем, что все больше и больше ощущается разрыв между политиками и реальной проблематикой. Довольно часто европейские механизмы очень хорошо функционируют тогда, когда все нормально, когда понятна логика. Если происходит какой-то сбой, что-то изменяется вокруг, тут начинается такое метание, когда не совсем понятно, что делать. Кризис европейских элит - это тема, которая звучит достаточно актуально. М.С.: Если принять за исходную точку эти ваши рассуждения, тогда, может быть, в предусмотрительности европейских парламентариев нет ничего дурного? Понимая или интуитивно чувствуя, - и отличаясь этим в лучшую сторону от роботов, - что многие европейские механизмы забюрократизированы сейчас настолько, что работают достаточно слажено только в абсолютно стабильных условиях (а мир сейчас этим похвастаться не может), может быть, и не имеет смысла дожидаться, пока эти условия поменяются насильно нестабильные (тем более что технологические рывки могут происходить в рекордно короткое, дажепо человеческим, а не по историческим, масштабам время), и подготовиться к этому заранее? Но может быть, европарламентарии проявляют какую-то исключительную прозорливость, а мы просто на обывательском уровне этого не понимаем? Н.М.: К этому и хотел подвести свой ответ - к тому, что есть некая реальная основа для того, чтобы такой вопрос поднимать, как я уж сказал, с чисто экономической точки зрения. Вторая часть того, о чем мы говорим, связана с тем, что, может быть, прозорливость эта достаточно элитарная. Действительно поднимаются вопросы, которые могут иметь значение при огромном количестве нерешенных проблем текущих, сиюминутных. Элита воспарила высоко и смотрит в будущее, за горизонт, - что там виднеется, и, в принципе, к этому готовится. Наверное, это действительно имеет смысл, но при этом не замечает, что заканчивается топливо в том летательном средстве, при помощи которого они на эту высоту поднялись. Я считаю, что вы абсолютно правы в том плане, что целый ряд нерешенных проблем остается, и, может быть, иногда имеет смысл каким-то образом совмещать взгляд на перспективу с теми реальными проблемами, которые стоят. Самое главное - это бюрократизация. Я немножко знаю, как живет особенно молодежная часть брюссельской партократии, - можно ее так назвать, - и это вызывает у меня очень много вопросов, потому что механизм становится, обеспечивающий самого себя. Прежде чем разобраться с правами роботов, хорошо бы разобраться с обязанностями самих брюссельских структур. М.С.: Искусственный интеллект, как таковой, еще не прощупывается, но какие-то его отдельные элементы, которые в состоянии уже реально принести человечеству выгоду или, наоборот, значительный убыток, уже есть. В этой связи возникает вопрос: может, надо начинать с малого, сначала ответить на вопрос: если беспилотный автомобиль попал в аварию, то чья это вина? Л.К.: Я бы хотел как раз указать на юридический аспект. Мы как те три мудреца в темной комнате, которые ощупывали слона. Мы не можем ничего сказать толком про этот закон, потому что никто из нас его целиком не читал. М.С.: Его нет еще, - закона, как такового. Л.К.: Да, но мы даже не читали законопроект. Мы имеем дело с некоей журналистской интерпретацией, потому что действительно тема привлекает внимание. Что на самом деле написано в этом законе, мы не знаем. Мне кажется, что юридический аспект действительно очень важный, потому что у нас есть, например, законы, которые регламентируют ответственность за ущерб, причиненный домашними животными. Почему бы не сделать то же самое с роботами? Есть компьютер, он рассылает спамы или делает какие-то вредоносные действия, например. Владелец компьютера говорит, что он не имеет к этому отношения, его компьютер был захвачен кем-то. Вопрос: кто виноват, кто должен нести ответственность за это дело? То же самое - очень хороший пример с автомобилем: автомобиль попал в аварию, кто виноват? Может также возникать какая-то ситуация, когда человек позвонил в автоматическую службу, с ним поговорил робот, ответил на какие-то вопросы, потом оказалось, что ответы были абсолютно неправильные и не о том. Человек выкатывает претензию, что ему ответить? С одной стороны, он позвонил в официальную фирму, с другой стороны, он выслушал официальный ответ телефонного робота. Кто виноват? Эти вещи действительно надо как-то регламентировать, потому что сейчас в законе по этому поводу у нас сплошные белые поля. У нас нет такого объекта, субъекта, как робот, мы не знаем, как с ним работать чисто юридически. Поэтому это тоже надо все регламентировать, возможно, об этом будет нынешний закон. М.С.: На самом деле о том, что собираются прописать парламентарии, в общих чертах известно. Там речь идет не столько, по моим наблюдениям, о правах роботов, их профсоюзах и каких-то других их объединениях, сколько о тех сферах, где они взаимодействуют с людьми, упоминаются даже знаменитые три закона робототехники. Речь во многом идет об ответственности. Но тут возникает интересная история. Одно из определений искусственного интеллекта (мне представляется в этом контексте ключевое), включает в себя владение компьютером в широком смысле некими нормами этики и морали, которые присущи человеку. Если ваш компьютер рассылает спам по вашему неведению, это означает, что плохо написана операционная система и ей завладели злоумышленники. Если вы это делаете сами, вы это делаете по своей доброй воле, исходя из каких-то своих морально-этических принципов (какие принципы-в этом контексте не так важно). Когда в этом плане искусственный интеллект сравняется с человеческим, тогда, наверное, эту проблему можно будет всерьез обсуждать. Оптимисты предсказывают, что это произойдет через 10-15 лет, пессимисты - через 50 или 100, но очевидно, что искусственный интеллект тоже будет развиваться. Если мы собираемся равнять нормы морали искусственного интеллекта со своими человеческими, правильно ли мы поступаем, так ли, собственно, хороши нормы морали общепринятой человеческой в своем повседневном применении? Николай Павлович, это вопрос скорее про европейские структуры, действующие в Евросоюзе сейчас. Мы, самыми благими намерениями руководствуясь, декларируя, напринимали кучу беженцев. Этому невозможно сопротивляться по-человечески, когда видишь, в каких условиях они живут и от чего они бегут, но потом случаются теракты всех сортов. Более того, когда это происходит, как-то сострадание к беженцам мгновенно уходит на второй план, люди начинают заботиться о собственной безопасности. Может быть, сначала в людях чего подкорректировать? Н.М.: Я, может быть, подошел бы к этому с другой стороны. Я живу в Финляндии. Довольно часто приходится иметь дело с чиновниками самого разного уровня, начиная от пограничных служб, заканчивая социальной системой, и как журналисту, и как гражданину, живущему здесь. Я могу сказать, что у меня создается такое ощущение, что финский чиновник-это уже наполовину робот. Для него такого понятия "сострадание" практически не существует. Вы можете апеллировать к российскому пограничнику или таможеннику по-человечески, как это ни парадоксально: "Ну, так получилось". Иногда, честно говоря, идут навстречу и входят в положение, что абсолютно невозможно, например, в Финляндии, где есть очень четко оговоренные правила, и по этим правилам действуют: "положено-не положено". Сейчас достучаться в той же самой социальной системе до человека, принимающего решения, практически невозможно, потому что перед этим человеком стоит еще цепочка просто обыкновенных окошечек, где сидят стажеры, лаборанты, практиканты, - масса всякого народа, которая не понимает сути проблемы, а просто принимает у вас бумагу и говорит: "По закону положено столько-то, на разборку ваших документов уйдет такое-то-такое-то количество времени". Получается, что по сути своей, если вы ставите более-менее организованный механизм, который будет также автоматически это дело принимать, я не думаю, что здесь возникнет, - по крайней мере, в странах, которые организованы так, как это происходит в Финляндии, - будет возникать какая-либо моральная проблема. Она и так уже частично элиминирована до следующего уровня. Здесь я не вижу ничего плохого, если, скажем, можно будет этих же самых людей направить на какую-то другую сферу деятельности, где, может быть, всяческие отношения и моральные вопросы имеют гораздо большее значение, чем на уровне принятия бумажки с тем, чтобы положить ее на нужную полку. Л.К.: Вопрос морали - это вообще на самом деле такая бездна, которая не имеет дна, потому что на сегодняшний день у нас нет единого морального кодекса и для человечества. С одной стороны, убивать - это грех, с другой стороны, солдат на войне убивать должен. Человеку разобраться в этом сложно. Как в этом разобраться роботу? На самом деле современная мораль человечества более идет, наоборот, по пути роботизации. Мы получаем некие до сих пор алгоритмы с исключениями и на их основании выстраиваем то, что мы называем сегодняшней моралью. Мы знаем, что, например, женщине обнажить грудь на людях - это аморально, но если это сделать красиво и в "Инстаграме", то, в принципе, - ничего. Поэтому вот так у нас сегодня выстраивается мораль, которую мы не можем объяснить даже своим детям и своим ближним. Естественно, мы не сможем объяснить роботам. Поэтому, мне кажется, здесь говорить о морали пока вообще рановато. Мы сами пока не разобрались толком. М.С.: Нет, собственно в этом, наверное, и заключается предмет моего вопроса. Во-первых, я совершенно с вами согласен, что некая структуризация человеческой морали имеет место приблизительно по тем рельсам, которые Николай Павлович только что описал. Хотя, казалось бы, где бюрократы и где моралисты, но пропасть между ними не такая большая. Если это свести, условно говоря, к десяти заповедям, которые в той или иной форме лежат в основе человеческой морали западной цивилизации уже пару тысяч лет, а то и больше, то тут, наверное, все очень просто в смысле превращения этого в алгоритм. Но это, как мне представляется, вряд ли будет работать. Огромное количество европейских институтов направлено для того, чтобы примирить эти дыры в морально-этической конструкции западного мира, которые, с одной стороны, строго запрещают, скажем, убийство, но, с другой стороны, в некоторых условиях его разрешают. Давайте вспомним, сколько Европе, отдельным европейским странам потребовалось, чтобы окончательно на законодательном уровне отказаться от, скажем, смертной казни. Исходя из того, что бюрократия в отличие от светлых умов, которых мы упоминали в начале, не растет вверх, она растет только вширь, - каковы здесь перспективы? Н.М.: Вы уже упомянули законы робототехники, сформулированные в свое время фантастом, как это ни парадоксально. Получается довольно своеобразно в результате, что фантастика начинает входить уже даже в конкретную политическую жизнь, потому что Айзек Азимов эту проблему поднимал - уже сколько? - 60 лет тому назад, если мне память не изменяет в своих фантастических романах. Что касается всех бюрократических вопросов, то, может быть, введение более четкой регламентации действий на низовом уровне, когда можно будет заложить какой-то конкретный, как уже упоминалось, алгоритм, как раз приведет к тому, что каким-то образом появится возможность бороться с бюрократизацией? Вместо того чтобы сделать десять окошечек для приема тех же самых документов, во что я последнее время довольно часто упираюсь, сделать какое-нибудь одно и туда просто вставлять робота, [который] все это механически обрабатывает и выдает вам ответ на данный момент, не решение, а просто, скажем, говорит о процессе принятия решения, - как это будет происходить, в том числе и график, как будет рассматриваться ваше ходатайство, заявление, предложение и так далее. Таким образом, та самая опасность роста бюрократии вширь неким способом может быть, и ограничена, - может быть. Если все это дело будет связано с роботами, которые будут выполнять простейшие функции, ничего плохого в этом, мне кажется, усматривать не следует. Другое дело, проблема связана с тем, что мы сейчас немножко говорим о разных уровнях. Мы пытаемся перескочить. Есть некий очень простой вариант роботизации, - когда решаются какие-то элементарные вещи на низовом уровне. Второй-это искусственный интеллект, который поставит совершенно другие проблемы. Третье-это, как я уже говорил, экономические проблемы, с этим связанные, которые неизбежно возникают. Четвертый момент, может быть, я бы еще выделил, - это насколько сейчас все-таки своевременен разговор об именно этих проблемах, потому что действительно очень много сложностей последнее время возникает в Европейском союзе. Я, честно говоря, считаю, что, может быть, вопрос роботизации - заманчивый, интригующий, но все-таки не самый актуальный на данный момент в повестке дня. М.С.: Если пользоваться вашей классификацией, то это действительно разговор не о роботизации, а именно об искусственном интеллекте. Кстати, пока мы говорим об искусственном интеллекте, Леонид Александрович, если посмотреть на это немножко отвлеченно, то выглядит это в теории, во всяком случае, так, что искусственный интеллект призван приблизить роботов к человечеству, в то время как, если следовать механизмам, только что описанным, получается, что это скорее люди приближаются к компьютерному интеллекту? Л.К.: Сложно говорить об искусственном интеллекте, которого пока сейчас нет, но мне кажется немаловажным подчеркнуть, что наша цивилизация вообще погружается в электронный мир с головой. Возникает огромное количество проблем, которые не стояли перед человечеством последние тысячелетия. Мы знаем людей, которые ездят на работу по интернету, мы понимаем, что мы делаем покупки по интернету, мы уже скоро будем голосовать по интернету. Возникают очень разные ситуации, разные коллизии, которые не понятно, как разрешить. Во-первых, с одной стороны, возникают злоумышленники такого плана, к которому мы не были готовы. Мы не понимаем, что это такое. Я могу сказать про себя: мне до последнего момента было не ясно: хакер-это кто? Это герой или это взломщик? Человек, который получил доступ к какой-то информации, которая была плохо закрыта. Чья это вина-того, кто ее плохо закрыл или это вина хакера? До последнего времени, - я с удивлением обнаружил, - я исповедовал такую стандартную точку зрения, как, может быть, и программисты моего поколения, что хакер не совершает ничего такого предосудительного, если плохо закрыто. Если ты оставил какой-то код у себя, написал его на окне, и какой-то прохожий, проходя мимо него, увидел, что плохого в том, что он посмотрел на него, посмотрел на твое окно и что-то там прочел? С другой стороны, я теперь уже понимаю, что наш мир изменился настолько, что эти вопросы надо тоже пересматривать. В принципе, хакер-это тоже преступник. Не важно, что замок на сарае плохо открывался, зачем ты ковырял в нем гвоздем, с какой целью? Те вещи, которые казались безобидными, сейчас кажутся обидными, через 10-20 лет нашей электронной эры, - и, наоборот, какие-то вещи, которые казались очень оскорбляющими: "Ой, меня упомянули, меня кто-то процитировал без ссылки на авторство, как же это так?", - по всем законам предыдущей эпохи это, в принципе, было очень большое преступление. Н.К.: Очень меняется наш мир, очень меняется наше представление. Возможно этот закон, который мы обсуждаем, - о роботах, на самом деле не о роботах, а о некоторых аспектах именно электронного взаимодействия людей. М.С.: Может быть, и так. Тут важно еще раз подчеркнуть, что закона, как такового, нет, и действительно, может быть, пока и предмета для обсуждения нет. В заключение такая небольшая фантазия. Николай Павлович, вы говорили о том, что в принципе было бы неплохо всех этих финских практикантов из десяти окошечек роботизировать и засунуть в одно. Давайте расширим конструкцию, - памятуя о том, что у нас чуть больше двух минут времени, - и перенесем ее на крупные европейские институты -Европарламент, где заседают роботы. Кстати, об этом был разговор: одна из сфер применения искусственного интеллекта - это юриспруденция. Вот уж абсолютно беспристрастные судьи! Как, по-вашему, чем закончится? Н.М.: Я согласен с тем, что было сказано сейчас, что мы, может быть, не столько говорим конкретно о роботах, сколько об изменении нашей среды, - моя любимая тема. Начиная с ХIХ века, прогресс пошел такими темпами, в таком направлении, что изменил очень много что в нашем обществе, в том числе и социальные взаимоотношения, в структуре, в поколенческих культурах, повлиял на коммерцию, - на все. Промышленная революция ХIХ века сыграла в этом стартовую, начальную роль. Конечно, все это сказывается и будет сказываться дальше, так что я думаю, что до парламента все-таки дело не дойдет, потому что человеческий аспект при принятии очень многих решений пока еще чрезвычайно важен. Если мы можем юриспруденцию где-то на уровне принятия документов все-таки каким-то образом механизировать или сделать эту процедуру более логичной, последовательной, понятной поэтапно, то слишком много все-таки эмоций связано еще с личным представлением о том, что такое хорошо и что такое плохо, которые пока, как я понимаю, электронный интеллект заменить не в состоянии. М.С.: Действительно кодифицировать плохое и хорошее мы сейчас не можем даже в рамках одной, - в широком смысле слова, - культуры, прийти к согласию по этому вопросу. Что же думать о межкультурных различиях и, тем более, как объяснить все это роботам? Специалисты, однако, не теряют надежды, предполагается, что так или иначе это произойдет. Человеческая интуиция-это, разве что, единственное, что долгое время будет искусственному интеллекту не подвластно, хотя и здесь тоже на этот счет нет единой точки зрения. Что же касается заседающих в парламенте, как не вспомнить здесь один из довольно ранних рассказов Станислава Лема, один из цикла об Ийоне Тихом. Там речь, правда, шла о стиральных машинах, которые в итоге обзавелись искусственным интеллектом. Дело кончилось тем, что они каким-то образом действительно пробрались даже в законодательные институты. Конгрессменов, помнится, тогда обстукивали специальным молоточком, чтобы определить, не металлические ли они изнутри. Всех желающих отсылаю к полному собранию сочинений Станислава Лема, неоднократно переводившемуся на русский язык. Загрузить подкаст передачи "Пятый этаж" можно здесь.