Что ни день, то очередной заголовок о новых достижениях искусственного интеллекта. А точнее, о способностях крупных языковых моделей. Одно из таких достижений было ранее в 2025-м: по результатам одной научной работы, языковая модель ChatGPT 4.5 смогла пройти знаменитый тест Тьюринга. Портал popsci.com рассказал, что это означает.
Математик Алан Тьюринг впервые представил идею своего теста в научной работе 1950 года под названием «Вычислительные машины и интеллект». Текст попытался ответить на большой, фундаментальный вопрос, который волновал современников Тьюринга: «могут ли машины мыслить?».
В статье Тьюринг быстро отринул сам вопрос как размытый и недостаточно строгий, потому что в этом контексте не понятно, что является «машиной» и что можно подразумевать под «мыслью». Вместо этого, по мнению математика, нужно немного поменять формулировку: «способна ли машина вести себя так, что ее действия будут неотличимы от человеческих?». А для того, чтобы ответить на этот вопрос, он предложил нечто под названием «игра в имитацию» — эксперимент, который сегодня известен как «тест Тьюринга».
Тест Тьюринга проходит следующим образом. Один человек (допрашивающий) одновременно общается с двумя собеседниками (свидетелями) в письменном виде. Нюанс в том, что один из двух собеседников — реальный человек, а второй — машина. Цель игры для допрашивающего — понять, кто из двух свидетелей на самом деле человек.
Похожий эксперимент провели с участием четырех языковых моделей. ChatGPT 4.5 была наиболее успешной: 73% допрашивающих идентифицировали ее как человека. Модель LLaMa-3.1-405B признали человеком в 56% случаев. ELIZA и GPT-4o добились успеха в 23% и 21%.
Хотя результаты ChatGPT 4.5 и LLaMa сами по себе примечательны, самое интересное — что они могут значить для технологий.
Здесь сразу стоит оговориться, что тест Тьюринга не призван обнаружить машинный интеллект. Отвергнув вопрос «могут ли машины мыслить», Тьюринг также удобно обходит сопутствующий вопрос — кто, на самом деле, мыслит, если ответ положительный.
При этом статья Тьюринга выдвигает тезис, что, при успешном прохождении «игры в имитацию», нельзя отрицать возможность существования настоящего машинного интеллекта. По сути, математик предполагал, что, если человечество сможет построить машину, совершенно неотличимую от человека, то ее вполне можно назвать разумной.
Тот факт, что Тьюринг выбрал язык как основу своего теста — не случайность. На свете есть много очевидных способов имитации человека, которые недоступны машине, и напротив, способы имитации машины, недоступные человеку. Но печатный язык — всего лишь набор букв на листе бумаги. Он ничего не говорит о том, кто его написал: человек с печатной машинкой или компьютер с помощью принтера.
С тех самых пор, как наши предки впервые начали составлять предложения, язык стал эксклюзивной характеристикой человечества. То же самое можно сказать и о типе интеллекта, которым мы обладаем: на Земле есть и другие умные животные, но ни одно из них не думает так же, как и мы, или имеет такую же степень самосознания. На этом фоне очень тяжело не отождествлять интеллект с языком, и, как следствие, не наделять интеллектом все, что способно «говорить» с человеком.
Но есть и эксперименты, которые опровергают гипотезы теста Тьюринга о неотличимости видимости интеллекта от его истинного присутствия. Так, Джон Серл в 1980 году впервые представил китайскую комнату — пожалуй, самый известный из подобных мысленных экспериментов.
Представьте, что вы находитесь в комнате, и кто-то просовывает под дверь листы бумаги, на которых напечатаны китайские иероглифы. Вы не говорите на китайском, но в той же комнате у вас есть книга с подробными инструкциями о том, как писать на китайском, и как правильно отвечать на записки, которые появляются из-под двери.
Человек, стоящий за дверью, может подумать, что тот, кто заперт в комнате, идеально владеет китайским, но на самом деле он просто следует инструкциям, которые подсказывают, какие символы нужно использовать и как их написать. Таким образом, Серл отвергает центральную идею теста Тьюринга, и возражает, что между пониманием и видимостью понимания есть критически важная разница. Точно так же, как между мышлением и видимостью мышления.
Китайская комната также демонстрирует другую потенциальную проблему теста Тьюринга. Мысленный эксперимент Серла специально продуман таким образом, чтобы обмануть человека, стоящего за дверью — или, выражаясь другими словами, это программа, специально созданная для прохождения теста Тьюринга.
В данном контексте стоит упомянуть, что языковые модели, прошедшие тест, тоже специально настраивали для этого эксперимента. Иначе тот же ChatGPT слишком выдавал себя характерными для ИИ повадками — например, особенностями синтаксиса и подбора слов. Исследователям также хотели научить ChatGPT допускать грамматические ошибки, чтобы звучать более естественно, но опечатки тяжело сделать органичными. Если попросить чат-бота ошибаться в словах, то он будет делать это в каждом слове, что звучит неубедительно.
Появляется другой вопрос: задумывал ли Тьюринг свой тест как реальное испытание, которое будут проводить? Или это был просто мысленный эксперимент? Если Тьюринг и придумал этот опыт как что-то проходимое, то он определенно знал, что его невозможно пройти в 1950-х. При этом по тексту его статьи можно сделать вывод, что математик как минимум допускал возможность, что когда-нибудь человечество построит достаточно продвинутые машины.