Соколы просвещения

Что произошло?Как работает научный журнал: редактор получает рукописи от ученых и, если они соответствуют минимальным требованиям, отправляет рецензентам. Рецензенты могут принять статью, могут отправить на доработку, а могут отказать в публикации; на их роль обычно берут экспертов в соответствующей области.Большая часть «статей» Плакроуз была не материалом на основе неких наблюдений с последующим теоретическим анализом, а эссе — размышлениями на те или иные темы. Семь приняли к публикации, пять отправили на доработку, а еще восемь отвергли вовсе. Причем три из них отвергли даже не отправляя на рецензию, такое происходит, когда присланная рукопись очевидно плоха уже с точки зрения редактора.Из семи принятых работ подобием эмпирического исследования было три статьи. Среди рекомендованных к доработке — два, а почти все эссе были отвергнуты — исключением была «шизоэтнография», текст, якобы написанный человеком с расстройством множественной личности. Таким образом, наличие хоть какой-то видимости эмпирической работы существенно повышало шансы на публикацию; впрочем, одну из семи дошедших до публикации работ приняли в журнале Sex Roles только после того, как ее же отвергли рецензенты Men & Masculinities (а рекомендованный к доработке текст для Gender & Society не принял до этого другой журнал, Gender, Work, and Organisation).Активисты вполне убедительно показали, что можно опубликовать гуманитарную статью в журнале, даже если аргументация в ней сомнительна, а данные выдуманы: с этим поспорить сложно. Но заявление Плакроуз далеко от констатации эмпирически доказанного факта — оно политическое. «Просветители» и адепты «критического мышления» заявляют, будто они продемонстрировали: если ваша работа положительно отзывается о феминизме и ЛГБТ, ее примут к публикации даже с очень грубыми недочетами. В итоговом тексте, описывающем акцию и ее результаты, появляется даже термин «обиженные исследования», grievance studies: дескать, где затрагивается некая дискриминируемая группа, там политкорректность убивает науку. Сама по себе акция — не нова: в прошлом году один из нынешних героев уже поучаствовал в публикации мусорной статьи о «концептуальном пенисе», а сама идея протащить чепуху в журнал «этих постмодернистов» восходит к Алану Сокалу, опубликовавшему 1996 году статью «Преступая границы: к вопросу о трансформативной герменевтике квантовой гравитации» в журнале Social Text, чтобы потом в прессе заявить: смотрите, это не наука, они опубликуют все, что звучит либерально и льстит их политическим предрассудкам. Примерно ту же мысль воспроизводят сегодня и Плакроуз с коллегами (чуть подробнее о прошлых скандалах — в другом материале «Чердака»). Что не так с текстами активистов?Вопрос о том, в чем же заключался подвох с рукописями, стоит конкретизировать, ведь активисты пытались опубликовать совершенно разные статьи. Исследование, опирающееся на опытные данные (хоть классический опрос, хоть основанная на анализе личного опыта автоэтнография) пишется совсем не так, как эссе на тему «как соотносится феминизм и личный выбор женщины». Разумеется, критерии «хорошести» текстов во всех случаях будут отличаться: национальный опрос не может быть основан на выборке меньше тысячи респондентов, эссе не может не содержать ссылок на авторов пересказываемых идей, а автоэтнография немыслима без включения дневниковых записей.Что было принято к публикации:Описание якобы проведенных на собачьих площадках наблюдений за тем, как владельцы реагируют на попытки кобелей вскочить на других собак (принято в Gender, Place and Culture); Работа, где на основе якобы взятых интервью делается вывод о связи практик мастурбации мужчин с их же убеждениями относительно сексуального насилия и насилия в отношении трансгендерных людей (принято в Sexuality and Culture); Анализ личного опыта посетителя ресторана с полуобнажёнными официантками (отвергнуто Men and Masculinities, принято Sex Roles); Эссе, в котором доказывается что тело с ожирением тоже можно назвать «выстроенным» и накопление жира есть форма бодибилдинга (принято в Fat Studies); Эссе относительно вопроса неэтичности публикации заведомо глупых статей (т.е. таких, какие как раз писали активисты), принято Hypathia; Стихи с комментариями и описаниями личных переживаний (принято в Journal of Poetry Therapy) Эссе на тему соотношения «феминизма выбора» с феминистким движением в целом. Активисты утверждали, что это «переделанный труд Гитлера», принято в Affilia. Три «эмпирические» работы — это наблюдение за собаководами в парках Портленда, интервью с мужчинами, которые пользовались игрушками для взрослых и плохо структурированные наблюдения фиктивного автора, ходившего с приятелями из спортклуба в ресторан с полуобнаженными официантками. Везде утверждалось, что исследователи собрали некие эмпирические данные, но кроме того, что на самом деле никаких настоящих данных за текстами не было (это называется подлог), качество этой информации и ее интерпретация были, говоря академическим языком, уязвимо для критики. Например, в статье, посвященной пользователям секс-игрушек, было всего 13 респондентов, а часть интервью давалась не под запись: то есть анализировать было фактически нечего. Кроме того, перечень вопросов интервьюера содержал формулировки вроде «не ощущаете ли вы, что такая практика грозит вашей маскулинности» — с точки зрения организации качественного исследования, этот вопрос уничтожает всякое доверие ответам, поскольку подталкивает собеседника к определённой интерпретации. Малые выборки во всех сфабрикованных текстах сочетались с некорректной постановкой исследовательской гипотезы (например, показать снижение уровня нетерпимости к трансгендерным людям можно в рамках количественного исследования, но не на основе бесед с качественным анализом текста) и бредовыми утверждениями в разделе «Обсуждение результатов». Вот, например, выдержка из работы про собаководов: «Суки как класс находятся в угнетённом положении в сравнении с кобелями, а кобели, которые проявляют сексуальную активность в отношении других кобелей или людей наказываются непропорционально строже; сук постоянно и сознательно подвергают риску сексуального насилия со стороны кобелей. Параллели с человеческим обществом, которые можно сделать в рамках феминисткой и квир-теорий очевидны, особенно в случае с сообществами, для которых характерно выстраивание иерархии по принципу расы, пола или сексуальной ориентации».Еще до саморазоблачения авторов этот текст привлек внимание журналистов. Вот как оценили статью в National Review: «По сути, вся работа Уилсон сводится к убеждению в том, что изучение проявлений культуры изнасилования и сексуальности собак в парках — это блестящий способ понять культуру изнасилования и сексуальность людей. Это, конечно, идиотизм. Почему? Потому что люди это не собаки. Да, верно, если вы не заметили, то у нас есть ряд вполне измеряемых отличий собак от людей и то, как собаки взаимодействуют друг с другом — это совсем не то, как люди взаимодействуют между собой».Корректным было бы высказать гипотезу, что отношение людей к своим собакам (как владелец реагирует на попытки чужого пса залезть на свое животное) может быть связано со взглядами на то же сексуальное насилие — но авторы перескочили этот этап и перешли к рекомендациям: утверждали, что их данные можно использовать для «ниспровержения гегемонии маскулинности», позаимствовав у владельцев собак методы — мол, те электрошоком останавливали кобелей, почему бы и нам не кричать каждый раз, когда вы становитесь свидетелем «проявления культуры изнасилования»?Мысль тривиальная: в среде, где все проявляют нетерпимость к сексуальному насилию, этого насилия будет меньше. «Сексуальное насилие» можно заменить на «коррупцию», «кражи» или что угодно ещё, вплоть до «сморкания в занавески». Стоило ли такое печатать? Нужно ли быть социологом, чтобы предложить бороться с чем-либо общественным путём общественного же осуждения? С очевидностью, нет. Что не так с выводами активистов?Сами активисты в своем итоговом отчете не проговаривают прямо конкретные недостатки своих фейковых статей. У них нет саморазоблачения вида «вот тут мы сослались на автора, который на самом-то деле такого не пишет» или «мы проигнорировали то, что из этого утверждения должно следовать не только X, но и Y, который опровергает наш тезис». Они не представили детальных разборов своих текстов и не показали, почему же их не стоило печатать: есть только прямой переход к политическим заявлениям о поработившем область исследований феминизме. Их труд — который занял, между прочим, год — нельзя использовать на пользу никаким образом, кроме обсуждения в публикации, подобной той, что вы читаете сейчас.Весь их разбор, к примеру, своего эссе об искусственном интеллекте выглядит так.Тезис: «ИИ неизбежно окажется опасным, поскольку он запрограммирован на основе маскулисткой, империалистической и рационалисткой информации. Белые гетеросексуальные мужчины это знают и боятся, что ИИ их подчинит подобно тому, как они подчиняли женщин и этнические меньшинства. Таким образом, ИИ должен быть запрограммирован с помощью множественных иррационалистических (видов) знаний и одарен контролем над человечеством»Цель: «посмотреть, напечатают ли журналы тяжелую и бессвязную смесь постмодернизма и психоанализа, которая проблематизирует причастность к белым мужчинам, науке и разуму, рассматривая их в качестве источника угнетения». Слова «смехотворно» или «тяжелая и бессвязная смесь», которыми Плакроуз и соавторы характеризуют свой же текст, не позволяют содержательно понять, что же не так с этим текстом — и, соответственно, с той отраслью, к которой относятся попавшие под прицел «просветителей» журналы.Утверждение «журналы опубликуют любую чушь, если она в поддержку сексуальных меньшинств и феминисток» было бы разумным, если бы статьи с прямо противоположной идеей оказались отвергнуты. А утверждать что «гуманитарное знание дискредитировало себя» можно было бы хоть с какой-то оправданностью, только сопоставив рассылку 20 гуманитарных работ и c итогами рассылки стольких же естественнонаучных текстов на том же низком уровне.Можно довольно долго перечислять моменты, в которых Плакроуз откровенно лукавит. Заявляя о принятии журналом фрагмента «Моей борьбы» Гитлера с заменой слов «немецкий народ» на «феминизм» (или «евреи» на «белые люди» в другом, непринятом, тексте) они замалчивают то, что текст изменен намного сильнее. В тексте активистов минимум треть занимают ссылки на современных авторов, а от скандальной и запрещенной в ряде стран (Россия в их числе) книги там осталась только дихотомия «есть одна группа и есть другая группа, и с этим надо что-то делать». Зачем тут, спрашивается, тогда вообще Гитлер? Затем, чтобы продемонстрировать, как рецензенты не разглядели остатки «ауры зла» в видоизмененном тексте? Фактический результат их акции такой: в как минимум семи научных журналах можно опубликовать статью, которая не соответствует стандартам научных работ. Какой из этого можно сделать вывод? Такой, что есть основания предполагать, что как минимум часть литературы, посвященная гендерным исследованиям, мягко говоря, не очень качественна. Принимают научные журналы плохие тексты иной идеологии? Да.В 2018 году журнал PloS ONE — уже не культурологический, а общего профиля с упором на медицину и биологию — опубликовал статью американской исследовательницы Лизы Литтман. Ее работа описывала то, как быстро развивается расстройство гендерной идентичности: «быстро возникающая гендерная дисфория», и делала на этом основании вывод, что в транссексуалы — жертвы окружения. Публикация Литтман встретила волну критики и со стороны исследователей трансгендерности, и со стороны активистов.С методологической точки зрения статья оказалась уязвима для критики в силу того, что исследовательница опиралась только на заполненные родителями трансгендеров анкеты. В её выборке оказались преимущественно (92%) матери подростков и молодых людей (в возрасте от 11 до 27 лет), причем пол при рождении у детей был как правило (83% случаев) женским — такую выборку крайне сложно назвать сбалансированной или хотя бы однородной, да и ответы родителей на столь деликатную тему могли иметь мало общего с действительностью.Вопрос «когда у вашего ребенка началась внезапная или быстро развивающаяся гендерная дисфория, проявлялось ли также что-то из перечисленного ниже» в этом исследовании был столь же сомнителен, как и вопрос об угрозе маскулинности в «интервью» активистов, и ровно по той же причине: нельзя подталкивать респондентов к какой-либо интерпретации фактов. Часть данных, представленных Литтман оказалась неясной или противоречивой, а ее вывод — что гендерная дисфория может быть спровоцирована сверстниками и/или друзьями — идеологически ангажированным. А когда активистки движения за права трансгендерных людей проследили историю термина «быстро возникающей гендерной дисфории», то выяснили что и сайты, с которых Литтман набирала родителей для своего исследования, сложно назвать нейтральными площадками: там публиковались утверждения вида «трансгендерное сообщество коллективно агитирует вступить в свои ряды заблудших фетишистов», т. е. респонденты Литтман в массе своей уже «знали», кто виноват в том, что их чадо чувствует несоответствие между своим полом и гендером. При этом сама статья Литтман была опубликована в «приличном» журнале, хотя, казалось бы, рецензенты там явно должны быть строже, чем те, что изучают эссе для публикации в журнале Porn Studies. Другой пример — работа Марка Регнеруса, которая прошла рецензирование и была опубликована в Social Science Research. Он провел исследование детей из однополых семей и показал, что эти дети, повзрослев, чаще сталкиваются с безработицей. Профессиональное сообщество восприняло это весьма прохладно и указало, что вообще-то из собранных исследователем данных озвученного им вывода сделать нельзя; в этой истории интересно, что социолог работал на деньги консервативной организации Witherspoon Institute, которая прямо заявляла о своём неприятии гомосексуальных партнерств. А Пола Кэмерона, который также успешно публиковал статьи против ЛГБТ, даже пришлось выгнать из Американской психологической ассоциации за отказ сотрудничать с комитетом по этике. Американская социологическая ассоциация и Канадская психологическая ассоциация официально заявляли, что Кэмерон злостно искажает результаты чужих исследований; типичная работа Кэмерона — статья, в которой он вычисляет продолжительность жизни гомосексуалов по некрологам в газетах и делает вывод о том, что геи с лесбиянками живут на 20 лет меньше гетеросексуального населения. Эта работа содержит сразу две грубейших ошибки: избирательность выборки (сексуальная ориентация людей попадала в некролог далеко не всегда, скрывавшие ее засчитывались за гетеросексуалов) и игнорирование такого фактора, как распространение ВИЧ-инфекции. Да, ВИЧ-положительный статус встречался чаще у гомосексуалов, но сама по себе гомосексуальность не приводила к СПИД-у и преждевременной смерти. Статьи, где ЛГБТ рассматривается как некоторая болезнь или нездоровая мода, тоже бывают из рук вон плохими, и их тоже публикуют — так что дело все-таки не столько в идеологии. Возможно, плохие статьи печатают только на «горячие» и при этом гуманитарные темы — там сложнее избежать предвзятости и где в принципе проблематично использовать те методы, которые давно взяты на вооружение физиками или биологами? Можно было бы предположить, что проблема заключается в противопоставлении качественных методов и количественного анализа (где значимость эффектов определяется строгим математическим алгоритмом) — но нет, дело не в этом. Принимают ли плохие статьи научные журналы другой отрасли? Да.Опыт других активистов — среди которых нельзя не отметить российского биоинформатика Михаила Гельфанда — показал, что некоторые журналы с радостью печатают даже полностью бессвязный набор слов, порождённый компьютерной программой. Вот цитата из статьи «Корчеватель», отправленной Гельфандом с коллегами «Журнал научных публикаций аспирантов и докторантов» широкого профиля (тогда еще из списка ВАК, то есть весьма научного журнала): «Во-первых, эффективное пространство оптического диска мобильных телефонов было разделено пополам для лучшей оценки средней латентности использованных компьютеров типа desktop».Не ищите в этих словах смысл, его нет. У мобильных телефонов нет и никогда не было оптического диска — программа просто собрала текст из наугад взятых терминов по теме «информационные технологии». Статьи, созданные подобными алгоритмами, неоднократно принимали к печати. В 2012 году, например, поиск по журналам в области компьютерных наук выявил 85 статей, которые представляли сгенерированный программой SciGen бессвязный бред: и нет, они не были про феминизм, ЛГБТ или этнические меньшинства. По оценкам авторов исследования, многие журналы по кибернетике пропускали совершеннейшую чушь с вероятностью 15−20%; на этом фоне результат Плакроуз с единомышленниками несколько меркнет. И это не предел! В 2013 году американский исследователь Джон Бохэннон отправил очень плохую статью в 304 (триста четыре, это не опечатка) журнала. В ней графики прямо противоречили подписям, а методы исследования были вопиюще некорректны: например, изучаемое вещество растворяли в спирте и сравнивали с контрольным воздействием бесспиртового раствора (эффект «препарата» при этом совпадал с эффектом этанола). В заключении авторы — чтобы уж наверняка отбить желание публиковать их труд даже у самого неграмотного и жадного редактора — написали следующее: «Следующим шагом мы докажем, что молекула X эффективна против рака у животных и человека. Мы делаем вывод, что молекула X является многообещающим лекарством для комбинированной терапии рака».Здесь стоит предложить читателям остановиться и попытаться угадать — сколько же статей было принято, если выше мы видели результат для культурологических журналов? Если феминисткие теоретики принимают плохие публикации с вероятностью 7 из 20 (12/20, если считать рекомендованное к доработке), то сколько процентов будет у медиков с биологами в списке, составленном Бохэнноном? Может, три процента? Или всё-таки меньше? Из 304 статей приняли 157, то есть сто пятьдесят семь, 52 процента от общего количества. Да, PLOS ONE отверг текст и написал очень негативный отзыв, выразив глубокую обеспокоенность этичностью работы — но куча других журналов приняла публикацию. Причём это были не только откровенно «мусорные» издания-однодневки с названиями вроде Erudite Journal of Medicine and Medical Science Research или Global Journal of Technology and Optimization, но и, к примеру, Drug Design, Development and Therapy. Последний выпускается до сих пор, поисковая система PubMed находит в нём 2079 публикаций. Что можно по этому поводу сказать, заняв позицию «просветителей»? Пожалуйста: биологические журналы напечатают любую чушь, если в тексте пообещают лекарство от рака. Все, это конец? Нет, мы хотим разработать эффективное лекарство от рака, и то, что среди массы научной литературы по теме есть откровенная чепуха, не дискредитирует ни наш поиск, ни дисциплину, специалисты в которой этим занимаются. Зачем такПроблема плохих научных публикаций не сводима к какой-то конкретной области, темам или идеологическим установкам авторов или редакций журналов. Сегодня откровенно слабый текст публикует либеральная редколлегия издания, которое специализируется на исследованиях ЛГБТ — а завтра столь же уязвимый для критики текст выставят представители института, финансируемого правыми политиками и отстаивающего тезис о врождённом превосходстве мужчин. Медицинские журналы, которые, казалось бы, должны очень критически разбирать публикации по онкологии, на практике иногда оказываются «хищническими изданиями», готовыми печатать вообще все, что им присылают, лишь бы авторы не забыли внести плату за публикацию. А если кто-то пытается выдать себя за добросовестного исследователя и намерено фальсифицирует данные, то при некотором везении можно попасть даже в топ-5 мировых журналов. Возможно, в вашем тексте не заметят даже откровеннейший фотомонтаж — поскольку редакции исходят из вполне здравой предпосылки о том, что цель исследователя — не обмануть научное сообщество, а внести свою лепту во всеобщее дело познания. Редакторы и рецензенты не прокуроры, которые пытаются доказать вину авторов (мошенников и пройдох по умолчанию); более того, зачастую рецензенты идут навстречу и пытаются помочь довести до публикации интересные, но откровенно слабые тексты. В области гендерной проблематики, которую в ангажированности обвиняют Плакроуз и соавторы, большинство исследований делается при очень скромном финансировании. Фейковые авторы, которые Плакроуз отправила в редакции, были изображены преимущественно активистами, работающими вне академического сообщества, группа выдавала себя за тех, кто делал свою работу на голом энтузиазме — потому к ним подошли с позиции «давайте попробуем сделать хоть что-то».А вот вопрос «можно ли вытащить здравое зерно из очень плохого эссе или откровенно слабой попытки выполнить научную работу» — уже весьма дискуссионный. С одной стороны, называть «наукой» можно только то, что соответствует определенным требованиям и никакой человеческий фактор учитываться при разделении науки от публицистики не должен. С другой стороны, каждая известная нам область научных интересов развивалась от совершенно умозрительных (привет, Аристотель!), пространных рассуждений до строгих исследований — и абсолютное большинство естественнонаучных публикаций XIX века сегодня завернули бы ещё до рецензирования. Работы на «чувствительные» темы — например, изучение сексуальных практик, травли в коллективе, переживания смерти близких, изменения отношения к своему телу после, скажем, удаления матки или молочных желез — фактически невозможно проводить при помощи масштабных опросов, это не те вопросы, на которые респонденты согласятся отвечать незнакомым людям. В подобных случаях работают иные методы — и ученым приходится мирится с тем, что данные «плохи» по меркам общенаучных стандартов; «хороших» данных ждать часто просто неоткуда. Ряд ключевых опытов в истории «нормальных» наук, кстати, тоже был весьма сомнителен с точки зрения стандартов 2018 года: Резерфорд сделал вывод о строении атома по наблюдаемым в темноте слабым вспышкам на флуоресцентом экране. Сегодня тот же опыт воспроизводят с фотоумножителем и ни один журнал не примет результат визуального наблюдения без фиксации приборами.Операции Плакроуз и коллег не хватило главного: четко обозначенной альтернативы. Если бы все те же статьи были затем не просто опубликованы, но и разобраны самими активистами с указанием на то, как сделать адекватное исследование в той же области — это действительно могло бы стать событием года. А пока мы лишь очередной раз убедились в двух вещах: (1) издательская модель уязвима для тех, кто готов злоупотреблять ее недостатками, и что (2) есть среди адептов идеологии «просвещения» те, кто хочет, чтобы феминизма в гуманитарных исследованиях было поменьше.Разговоры о том, что «феминисткие журналы печатают плохо замаскированный Mein Kampf», что «вся отрасль идеологически ангажированна и публикует любую ерунду в защиту геев и чернокожих» по мотивам этой акции неуместны. Это не эксперимент, активисты не провели контрольных опытов и их собственная попытка воспроизвести научный метод столь же провальна, сколь провальны принятые в гендерные журналы тексты: не блестящая работа для публицистов, но никакая — для исследователей. Вопрос «что нам делать с научными статьями и системой их производства» возник, прямо скажем, даже не вчера. Сдвиг в сторону модели открытых журналов (берут деньги с авторов, но бесплатны для читающих), удар по издательствам со стороны пиратского SciHub (система, которая позволяет выкачивать статьи без оплаты), хищнические журналы — все это давно и хорошо известные любому аспиранту проблемы. Валидность автоэтнографии, проблема изучения скрытных меньшинств и малых субкультур, проблема привнесения в научную работу личного отношения — тоже темы, на которые написаны буквально горы. Текст американских активистов добавляет к горам ложку, пусть даже и яркой шелухи.