«Публикации — не главная причина того, почему мы занимаемся наукой»

На прошлой неделе исследователь современной науки, профессор медицины Стэнфордского университета Джон Иоаннидис впервые побывал в России с публичной лекцией в Университете ИТМО в Санкт-Петербурге. Перед ней он ответил на вопросы Indicator.Ru — о «сторожевых псах» науки, образовании для врачей, а также Сциллах и Харибдах научных коммуникаторов. — Начнем с принципиального вопроса: кто, на ваш взгляд, должен следить за опубликованными исследованиями, выявлять ошибки, словом, быть «сторожевым псом» науки? Отдельные энтузиасты, все научное сообщество или, может быть, искусственный интеллект? — Наверное, это должны быть ученые, потому что именно ученые должны владеть наукой. Ошибки и предубеждения — это не что-то отдельное от научного процесса, а часть континуума, часть нашей повседневной работы. Потому именно ученые должны понять, как улучшить исследовательские методы, как сделать их более эффективными, менее предвзятыми, и в конце концов, более полезным. Да, в науке много других стейкхолдеров — журналы, издательства, спонсоры, другие финансирующие организации, университеты. В медицине это еще и больницы. Все они могли бы помочь, тем более что многие из них на самом деле состоят из ученых, это одни и те же люди в «разных шляпах», в разных ролях. Но и обычные люди, широкая публика заинтересованы в развитии. Это вполне определенная роль общественности — требовать более информативной и полезной науки. Потому что наука — лучшее, что случалось с людьми, и все мы от нее зависим с точки зрения наших решений, медицины, проблем жизни и смерти. — То есть следить за качеством исследований должно все научное сообщество? — Думаю, да. Значительный прогресс в этом произошел не потому, что кто-то навязал новые правила, а когда научное сообщество в каждой дисциплине поняло, что для нашей же пользы нужны более надежные исследования, что необходимо взять дело в свои руки и решить проблемы. — Какие шаги, какие действия научного сообщества могут улучшить систему рецензирования в журналах? — Это довольно сложная задача. Я лично думаю, что лучше иметь рецензирование, чем нет. Но мы знаем, что благодаря ему, вероятно, лучше становятся только около 30% статей, 5% становятся хуже, а на остальные оно не слишком влияет. С тех пор, как Драммонд Ренни провел первый конгресс по рецензированию в 1989 году, появилось много исследований в этой области. Конгресс проходит, кстати, каждые четыре года, и в 2021 году я буду его директором. Мы знаем о многих мерах, которые работают в рецензировании, но не решена главная проблема — оно не вознаграждается. У людей мало причин прикладывать усилия к рецензированию статей, заявок и так далее. Так что мы должны найти способы отдавать должное рецензентам. Есть и другое направление — открыть рецензирование для более широкого сообщества. Это потребует большей открытости и прозрачности от исследователей, сейчас средняя статья совсем не такая: по ее содержанию нельзя понять, что именно и как было сделано, данные и методы представлены очень схематично. Если мы сделаем так, что протоколы исследований, сырые данные и использованные для их обработки программы будут доступны, то все научное сообщество сможет оценивать статью после публикации. Но рецензирование все еще будет ценно, потому что его можно будет проверить. Открытость и прозрачность сделают экспертную оценку более эффективной: у нас будет гораздо больше глаз на каждую статью. — А что вы думаете о будущем научных публикаций в целом? Это будут все еще журналы, или скорее порталы с препринтами и сырыми данными? — Будущее сложно предсказать. Но сегодня есть много новых идей, и у каждой из них, наверное, будет какое-то будущее. Трудно сказать, что будет доминировать. Вы упомянули препринты, я считаю их хорошим вариантом, потому что они позволяют сделать исследование доступным очень быстро. Да, все будут знать, что оно не прошло рецензирование, но его можно будет увидеть, попытаться оценить, поработать с ним. В целом я думаю, что рядовая научная статья уже эволюционировала и продолжит развиваться. У нас будет больше данных, больше доступа к ссылкам, в целом более «живой» тип исследования по сравнению со стереотипной сегодняшней статьей из пяти страниц, похожей на рекламу. Так что я настроен оптимистично, хотя, конечно, не могу точно предсказать, как будут выглядеть исследовательские проекты в 2030 году. — Вы не раз говорили, что сама природа современной профессиональной науки с ее гонкой за открытиями приводит к публикации ложных результатов. Какие существующие практики приводят к наибольшим искажениям? — Это сочетание нескольких факторов. Безусловно, гонка за открытиями требует от ученого делать вызывающие выводы. Ученых стимулируют к выдающимся, значимым результатам. Но на самом деле это далеко не всегда правда, есть регрессия к среднему, снижение эффекта, если мы проводим много исследований по одной теме. Стимулирование лежит в основе науки, и если мы будем стимулировать только количество статей со значимыми результатами, мы это и получим. Если стимулировать открытость, качественную воспроизводимую работу, которую можно перевести во что-то полезное, — мы получим больше этого. Так что финансирующие и другие организации должны поддерживать правильные вещи. — В России работа ученых сейчас оценивается, как правило, по количеству публикаций в журналах определенного уровня. — Я не против производительности и не хочу сказать, что не нужно быть продуктивными. Но это только одно измерение. Да и саму производительность можно измерить лучшими способами. Многие университеты используют импакт-фактор в оценке ученых, и это ужасный выбор. Распределение по цитированию сильно искажено: несколько статей получают все цитаты, а остальные процитированы однажды, дважды или вообще никогда. Измерять цитирование нужно так, чтобы учесть реальный вклад, что ученый сделал в этом исследовании, учесть, сколько соавторов работали над статьей, дать оценку результату. Но кроме публикаций есть еще много видов вклада в науку — обучение, рецензирование, работа с гражданской наукой. Все это нужно ценить. И при этом надо учитывать, в чем миссия университета. Чего мы пытаемся достичь? Когда есть ответ на этот вопрос, можно увидеть, какие элементы соответствуют этой конкретной миссии. И я бы точно не сделал миссией публикацию многих статей. Да, я много публикуюсь, люблю писать, люблю работать с талантливыми людьми и, как уже говорил, не вижу ничего плохого в производительности, но публикации — не главная причина того, почему мы занимаемся наукой. Это скорее побочный продукт. — Сегодня на вашу лекцию придет много молодых врачей. Как вы считаете, медицинское образование, которое всегда было долгим и сложным делом, стало сейчас еще сложнее из-за постоянного вала новых открытий? — Сегодня мы должны обучать врачей адаптироваться к меняющейся реальности. Я не думаю, что имеет смысл давать им большой объем знаний в предметных областях, потому что это очень быстро изменится. Им нужны инструменты для освоения новых знаний по мере того, как они появляются. Таким образом, первоочередная задача — обладать навыками, которые позволят оценивать научную информацию по ее значимости, понимать, нужно ли ее учитывать или отбрасывать или рассматривать, а также обновлять свою базу знаний. Большинство университетов в мире с этим не справляются, я не уверен насчет ситуации в России, но очевидно, что есть много направлений для улучшения. По моему опыту большинство университетов преподают более или менее те же дисциплины, что и в течение последних 50 лет. Они постоянно пытаются охватить то, что похоже на новейшие разработки, но это похоже на погоню за собственным хвостом. Как только вы настигнете упущенное, на горизонте появится что-то новое. Нужно учить студентов адаптироваться, обучаться самостоятельно и понимать, как оценивать доказательства, где их искать, как использовать. Это имеет первостепенное значение. — Говоря о будущем медицины и медицинских исследований, как изменило ситуацию появление больших данных? Решили ли они проблему, например, недостаточной статистической мощности исследований? — У больших данных много преимуществ, и в ситуациях, где раньше вы бы столкнулись с недостатком мощности, теперь вы столкнетесь с проблемой избыточной мощности. Все, что вы тестируете по большим данным, может быть статистически значимым. Я не против больших данных, как не против любых данных при условии, что мы знаем, что они из себя представляют, как они были собраны, что они могут и чего не могут сказать нам. По поводу больших данных есть как и ясные ожидания, так и много хайпа. Сам по себе огромный размер выборки в отсутствие мер для предупреждения искажений рискует дать еще более необъективные результаты, чем мы могли получить раньше. Поэтому нужно обдумать, как интегрировать их таким образом, чтобы они не искажали исследования больше, чем есть сейчас. Кроме того, большие данные — относительный термин. То, что мы сегодня называем большими данными, через три года, вероятно, станет «маленькими» данными. Так что я считаю, что перед ними не нужно благоговеть, это просто данные. Важно критическое отношение, понимание их сильных сторон и осторожность. Пока в большинстве случаев мы не очень осторожны с большими данными. — В этом году премия памяти Нобеля по экономике была присуждена за экспериментальный подход к исследованиям. Когда в науки об обществе приходят методы, более привычные естественным наукам, правильно ли они используются? — Я был очень рад этой новости, потому что общественные науки имеют относительно слабые традиции в дизайне экспериментов. Некоторые области сильно полагаются на наблюдательные исследования. Такие проекты могут рассказать нам многое в тех случаях, когда наблюдаемый эффект очень велик, как связь между курением и раком легких. Но в большинстве наук, как и в медицине, эффекты, как правило, не такие заметные. И в отсутствие рандомизации и строгого экспериментального дизайна наши выводы обречены быть очень тенденциозными. Можно изменять дизайн наблюдательных исследований, но неопределенности в выводах все равно не избежать. И потому эксперименты, рандомизированные исследования должны широко распространяться в общественных науках. Многие уже используют их в экономике и образовании, наиболее сильные традиции имеет психология. Но и даже с экспериментальным дизайном она переживает кризис воспроизводимости, так что с наблюдательными исследованиями было бы намного хуже! Я думаю, что нет никаких дисциплинарных границ при выборе дизайна исследования. Независимо от области, нужно обдумать исследовательский вопрос и решить, какой дизайн действительно может дать на него ответ хотя бы со скромным уровнем надежности. Соображения о том, что другие ученые в этой области раньше не использовали такой исследовательский дизайн, не должны никого ограничивать. — В одной из лекций вы говорили о Сцилле и Харибде, где один из монстров — отрицание науки, а второй — ее внутренние проблемы. Как научным журналистам проложить путь между ними? С одной стороны, есть те, кто отрицает доказательную медицину — анти-вакцинаторы, натуропаты, гомеопаты, с другой — несовершенство научных исследований. — Научная коммуникация с широкой публикой имеет возможность убедительно доказать, что наука действительно лучшее, что есть у человечества. Ученые, как правило, очень плохие коммуникаторы, мы изо дня в день погружены в очень мелкие вопросы. А параллельно существует так много конкурирующих теорий, догм, верований. Люди, не имеющие ничего общего с наукой, выступают с очень громкими заявлениями. Давать голос науке очень важно, потому что она влияет на жизнь каждого. Но если мы это делаем, если мы хотим быть честными, нужно говорить, что у науки очень часто есть неопределенность. Существует градиент от стопроцентной достоверности до очень низкой уверенности, до вопросов, где мы почти на 100% ни в чем не уверены. Главная задача научной журналистики — дать убедительную информацию о том, что мы знаем наверняка, где есть стопроцентная определенность. Мы знаем, что курение убило миллиард людей, что происходит изменение климата, что вакцина MMR безопасна. Важно прояснить это в коммуникации с широкой публикой: здесь нет теории заговора, вакцины созданы не для того, чтобы убить ваших детей или вызвать у них аутизм. Или взять курение: нужно что-то делать, чтобы остановить эту эпидемию. Как я понял, у России все еще большие проблемы с этим. А когда речь заходит о менее ясных вопросах, я думаю, мы должны передавать настоящий уровень неопределенности. И если неопределенность вызывает излишнюю путаницу, возможно, в коммуникации вообще не стоит погружаться в эти спорные вопросы. Например, в исследования о питании. В таких вопросах стоит просто просвещать людей, что это фронтир науки, что здесь мы все еще находимся в режиме поиска, и что не надо менять свою жизнь, основываясь на этих исследованиях. Потому что иначе люди думают, что выводы каждой новой статьи, каждую новую технологию, каждый новый тест нужно использовать в своей повседневной жизни. А это, конечно, невозможно. Благодарим блог о доказательной медицине «Медфронт» и лично Петра Талантова за помощь в организации интервью. Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще. Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.