«Мужики-то правильно думают»: когда установятся новые правила оценки публикационной результативности

Одной из главных тем первого для свеженазначенного министра высшего образования и науки Валерия Фалькова заседания Президиума РАН стала разосланная министерством в январе новая методика расчета публикационной результативности научных организация. Как ее предлагается считать, почему научное сообщество восприняло документ в штыки и каких изменений в нем стоит ждать – в лонгриде Indicator.Ru. Темное «Зеркало» Ситуация с новой методикой в некоторой степени выглядит повторением прошлогодней, когда точно так же в начале года Минобрнауки разослало по институтам «Методику расчета качественного показателя публикационной активности научных организаций, подведомственных Минобрнауки, в рамках госзадания». Этот документ обосновывал число публикаций в журналах, индексируемых в Web of Science и Scopus, которые сотрудники каждой организации должны были опубликовать в течение 2019 года. Запланированный рост числа публикаций в этой методике рассчитывался по формуле с одним и тем же коэффициентом, что вызвало волну претензий. Президиум РАН рассмотрел вопрос в апреле прошлого года и предложил министерству, в частности, разделять при оценке публикационной активности работы, выполненные по госзаданию и по грантам, учитывать при планировании качество публикаций, а также создать совместную со всеми заинтересованными организациями рабочую группу для исправления методики. Такая группа («по подготовке рекомендаций по установлению единых требований к порядку формирования и утверждения государственного задания на проведение за счет бюджетных ассигнований федерального бюджета фундаментальных, поисковых и прикладных научных исследований») действительно была создана. В ее состав входили представители РАН, научных и образовательных организаций, профсоюза РАН. В основе предложенной методики легла разработка Физического института им. П. Н. Лебедева РАН, основанная на внутренней наукометрической системе института «Зеркало». Остальные члены группы методику одобрили, а 30 декабря ее согласовала РАН. Правда, согласовала, как признался на заседании президиума Академии 11 февраля ее президент Александр Сергеев, в спешке конца года и с расчетом, что в следующем году «мы посмотрим на эту формулу, покритикуем и скажем, что нам делать дальше — действительно мы ее принимаем или будем разрабатывать еще одну». Видимо, потому даже сопредседателю рабочей группы - вице-президенту академии Алексею Хохлову - потребовалась встреча с авторами методики, чтобы выявить (sic – Indicator.Ru) ее положения, которые можно обсуждать. При этом предварительные версии методики и презентационные материалы рассылались участникам рабочей группы, начиная с августа. Документ и правда непростой — из-за многих формул и таблиц. Главное новшество по сравнению с версией 2019 года — фракционный счет, то есть разделение «веса» статьи в баллах между всеми указанными в журнале авторами. По прошлогодним правилам качественным показателем считалось, как ни странно, количество публикаций. Об отходе от этого «валового» принципа и двойного учета одних и тех же публикаций говорил на дискуссии «Наукометрия 2.0: цифровая перезагрузка» Гайдаровского форума директор департамента стратегического развития, мониторинга и оценки Минобрнауки Тимур Броницкий. В новой методике сделана попытка учесть все сложности научного сотрудничества, значения разных видов финансирования, научной значимости публикаций и эффективности работы организации через несколько повышающих и понижающих коэффициентов. ««Выгоднее» тихонько послать коллег лесом» Некоторые ученые оценили новый подход как более разумный по сравнению с прошлогодней методикой: такую точку зрения высказал, к примеру, заведующий лабораторией Института микробиологии имени С. Н. Виноградского ФИЦ «Фундаментальные основы биотехнологии» РАН Андрей Летаров. Тем не менее даже те, кто признал некоторое движение к лучшему по сравнению с предыдущей версией, критиковали новую. Согласно ей, баллы за все публикации отражаются в формуле, по которой высчитывается так называемый КБПР — комплексный балл научной результативности. Формула определяет его как сумму баллов за каждую из строк публикационного отчета организации перед министерством. Строка публикационного отчета содержит информацию об одной публикации, а точнее, об уникальном сочетании «статья + автор». То есть одна статья нескольких авторов разбивается на несколько строк: «статья 1 + автор 1», «статья 1 + автор 2», «статья 1 + автор 3» и так далее (это описано в пояснительной записке к методике). Балл, который получит строка, — результат деления коэффициента качества журнала (о его значениях поговорим чуть ниже) на число авторов статьи и на количество аффилиаций автора, к которому строка относится. Очевидно, эта мера призвана стимулировать отказ от «липовых» аффилиаций, когда отдельные авторы и организации находят взаимную выгоду не в реальном сотрудничестве, а в приписывании нескольких формальных мест работы одному ученому. В обсуждениях новой методики сразу же появились прогнозы, что фракционный учет отрицательно скажется на сотрудничестве научных организаций: в отчетах по госзаданию статьи авторов из разных институтов будут весить меньше, даже если они опубликованы в очень влиятельных журналах. «Если у вас 30 авторов в статье в Nature в составе большого проекта, да к тому же две аффилиации, то вам «выгоднее» тихонько послать коллег лесом и опубликоваться в Q3 в одиночку», — отметил в своем посте в Facebook Летаров. В тех случаях, когда авторы из одной организации, публикация все-таки получит достаточно высокий балл (ведь она образует несколько ненулевых строк в отчете). Правда, студентов и аспирантов указывать как соавторов будет невыгодно — баллы на автора-сотрудника из-за этого сократятся, а вслед за ними, вероятно, и его надбавка за публикационную активность. Кроме того, методика исходит из предположения, что вклад всех авторов в статью равен. «В ведущих зарубежных журналах давно существует практика, по которой в статье обязательно содержится раздел, раскрывающий личный вклад всех авторов, — напомнил в комментарии для Indicator.Ru директор Института общей и неорганической химии имени Н. С. Курнакова РАН Владимир Иванов. — Но нигде не делаются попытки количественно оценить этот вклад в долях и процентах. В новой методике вклад всех соавторов в статью де факто считается равным, но так не бывает — как можно сравнить, например, вклад профессора, который предложил идею нового исследования, и человека, который провел единичное измерение на каком-нибудь приборе? Деление в лоб на число авторов и организаций некорректно, и уже поэтому оно не может привести к хорошим результатам». Особенно контрпродуктивен такой подход, по мнению Иванова, для междисциплинарных исследований, которые априори предполагают сотрудничество разных организаций. Отчасти он идет вразрез и с программой обновления приборного парка приборных институтов: институтам будет невыгодно пускать коллег из других организаций в свои центры коллективного пользования. Представители Минобрнауки в дискуссию о практиках, которые может стимулировать фракционный учет, не вступили, а указали, что у крупных международных коллабораций за год выходит гораздо больше статей, чем у небольших коллективов. Это соображение привел на организованном министерством вебинаре о методике заместитель директора департамента стратегического развития, мониторинга и оценки Илья Тихомиров. По его словам, учет всех авторов в КБПР позволяет выровнять эту количественную разницу и оценить и тех, кто выпускает за год 30 статей в огромной коллаборации, и тех, кто в одиночку пишет три – четыре статьи. Кроме того, методика стимулирует авторов лишний раз подумать, прежде чем включать кого-то в соавторы: этот вопрос регулируется самими учеными, и все они, если на бумаге не зафиксировано иное, обладают равными правами на итоговую публикацию. Механическое разделение балла за статью между всеми авторами — не единственный подмеченный недостаток формулы КБПР. Следующее распространенное замечание касается коэффициента качества, который определяет первоначальную оценку публикации. В методике коэффициенты отличаются для журналов, отнесенных к разным квартилям по индексу цитирования в Web of Science, а также для изданий Scopus, RSCI, списка ВАК и монографий. И разброс значений тут весомый: для квартилей Web of Science от первого к четвертому коэффициент составляет соответственно 19,7; 7,3; 2,7 и 1, для журналов Scopus, которых нет в Web of Science, и монографий — тоже 1. Квартили журналов в Scopus не учитываются, хотя они могут существенно отличаться от таковых в Web of Science, и если, например, издание индексируется в обеих базах, но в Scopus относится к первому квартилю, а в Web of Science — к третьему, оно получит всего 2,7 балла. Разница между квартилями Web of Science также вызвала недоумение ученых. Например, палеоботаник Наталья Завьялова задала иронический вопрос: «если один и тот же автор написал статьи в российский журнал четвертого квартиля и в международный (первого), неужели вторая статья у него лучше в двадцать раз?». На вебинаре Минобрнауки Илья Тихомиров ответил на аналогичный вопрос так: конечно, качество статей не отличается ровно в 20 раз, но согласно общей картине по всем публикационным отчетам именно такие коэффициенты позволяют стабилизировать места организаций в списках по направлениям науки, так что они не «прыгают» сразу на несколько мест при незначительных изменениях. При этом разброс коэффициентов все-таки делает, по словам Тихомирова, публикации в ведущих журналах более привлекательными. В будущем планируется ввести еще более высокий коэффициент для условного Q0 — самых влиятельных журналов с высочайшими импакт-факторами. На критику слишком низкого балла для монографий он ответил, что их учет — еще не до конца решенный в новой методике вопрос, и к следующей итерации в 2021 году эта часть будет обновлена. Пока методика учитывает только монографии, обязательный экземпляр которых передан в Российскую книжную палату, но уже идет работа над списком издательств, публикации в которых будут иметь более высокий коэффициент. Также Тихомиров отметил, что качественные монографии индексируются Web of Science и Scopus, причем по главам, и это позволяет авторам получать за них значительно более высокие баллы, чем за обычную монографию. Что касается российских журналов, за судьбу которых тоже стали переживать многие ученые, при обновлении методики разработчики планируют ввести для них повышающие коэффициенты (например, статьи в российских журналах четвертого квартиля будут оцениваться как в третьем). Забегая вперед, скажем, что на заседании Президиума РАН это предложение одобрили, осталось только определиться со списком российских журналов для учета в методике. Для оставшихся двух категорий коэффициенты меньше единицы. У российских журналов, включенных в Russian Science Citation Index, но не входящих в квартили Web of Science и не индексируемых в Scopus, коэффициент 0,75. У журналов из списка ВАК, не входящих во все остальные категории, — 0,5. Между тем многие гуманитарные журналы в мире, отмечают участники обсуждений, не индексируются в Web of Science, только в Scopus. Это не означает, что при расчете КБПР они не учитываются совсем, но могут быть оценены только в один балл. Конечно, гуманитарные статьи редко пишутся большими коллективами, но тем не менее, видимая недооценка авторами новой методики особенностей социогуманитарных наук вызвала большую тревогу ученых. В начале февраля ученый совет Института философии РАН выразил ее в открытом письме президенту РФ Владимиру Путину, главам правительства и обеих палат парламента, а также министру высшего образования и науки Валерию Фалькову и президенту РАН Александру Сергееву. Как и участники многих дискуссий, авторы письма указали, что результаты исследований по многим гуманитарным наукам публикуются прежде всего на родном языке, но сделали из этого далеко идущий вывод: ориентация на зарубежные базы данных ведет к вытеснению русского языка из социогуманитарных наук, а это ставит под вопрос «культурно-цивилизационную идентичность» и безопасность страны. Стоит отметить, однако, что часть журналов социогуманитарного профиля, индексируемых в Web of Science или Scopus, издаются именно на русском языке; это справедливо для индекса RSCI и тем более для журналов списка ВАК. А именно в российских научных журналах сейчас публикуется половина всех проидексированных в международных базах российских статей (по нацпроекту «Наука» количество таких журналов должно еще быть увеличено). В решении ученого совета института указано также, что новая методика не позволяет адекватно оценивать публикационную результативность даже тех исследователей-гуманитариев, которые публикуются в индексируемых в Web of Science изданиях: «для коллекции «Arts and Humanities» в Web of Science не подсчитываются импакт-факторы журналов, а значит, публикации не могут дифференцироваться по квартилям» журналов». Ученый совет института предложил ввести отдельную методику подсчета КБПР для гуманитариев, включив в нее наравне со статьями авторский лист книжной продукции объемом 40 тысяч знаков. Через пару дней с аналогичным заявлением выступил и ученый совет Института мировой литературы имени А. М. Горького. Подобный подход, отметил Илья Тихомиров, может привести как к более правильной оценке труда гуманитариев, так и к «включению принтера», когда будет издаваться все подряд, лишь бы достичь заветных 40 тысяч знаков. Некоторые участники сетевых дискуссий даже расценили разброс коэффициентов в новой методике наряду с другими событиями как «вышибание» российских журналов в Scopus с рынка. Еще в июле прошлого года, задолго до появления новой методики расчета публикационной результативности от Минобрнауки, аналогичную получили медицинские вузы от министерства здравоохранения, и в ней издания в Scopus не учитываются совсем. На вебинаре Илья Тихомиров заверил слушателей, что у Минобрнауки таких планов нет, и пока квартили Scopus не учитываются именно из-за их несовпадения с квартилями Web of Science: непонятно, в каких случаях позиция в одной из этих баз должна считаться приоритетной. В течение года разработчики методики рассчитывают проработать эту тему и учитывать цитируемость журнала и по Scopus. А вот получится ли учитывать журналы, индексируемые в РИНЦ и не входящие ни в список ВАК, ни в международные базы, пока неясно. По словам Тихомирова, сейчас нет никаких инструментов контроля качества этих изданий, в результате сплошное включение журналов РИНЦ приведет опять же к «включению принтера». Планы — по новой методике, деньги — на прежних условиях Если в прошлом году научные организации сначала получили новые плановые показатели по количеству статей, а потом объясняющую их методику, теперь методика пришла в институты одновременно с рассчитанным по ней плановым КБПР на 2020 год. При планировании методика предполагает учитывать, во-первых, долю финансирования по госзаданию во всех средствах, которые организация получает на научные исследования. Данные для расчета при этом берутся по результатам 2018 года, кроме госзадания, учитываются средства грантов РНФ и РФФИ, полученные в том году (но не хоздоговора и другие источники средств). Согласно методике, в 2020 году организация должна достичь КБПР на 10% выше того, какого бы она достигла в 2018 году только за счет госзадания, без учета грантов. Для организаций-лидеров и отстающих в своих научных направлениях тут есть поправки: у лидеров рост КБПР может быть ниже, от 6,7% за два года, а отстающим велено расти быстрее, до 30% за два года. Согласно озвученной на вебинаре по новой методике позиции Минобрнауки, резервом для роста для организаций-лидеров могут быть мероприятия по нацпроекту «Наука», в частности, обновление приборной базы: на новых экспериментальных установках и результаты должны получаться быстрее и качественнее. Если объем субсидии для института с 2018 года вырос больше, чем на размер инфляции, планируемый КБПР увеличивается еще и с поправкой на этот рост. Такой расчет на линейную зависимость качества статей от финансирования также вызвал упреки. Станут ли публикационные показатели институтов хуже, если оценивать их по КБПР? Если за базовые значения, от которых рассчитаны планы, взяты данные 2018 года, рост требований должен быть не так уж значителен: ведь и в 2018 году представители естественных наук вели свои ключевые исследования в крупных коллаборациях, а гуманитарии не публиковались в Web of Science. Сравниваются организации только внутри направлений, оценивать физиков с историками в одном ряду никто не планировал. Так что провальных отчетов по госзаданию вряд ли станет больше. Но научные организации, как рассказал Indicator.Ru Владимир Иванов, не получили своих КБПР за 2018 год, и не могут сравнить плановые показатели с реальными. На вебинаре по методике Тихомиров пояснил, что для того, чтобы организация самостоятельно пересчитала свои показатели, ей фактически нужно предоставить доступ ко всей базе публикационных отчетов, а там содержится и непубличная информация других институтов. Организации могут обращаться в министерство, если сомневаются в верности расчетов (и таких обращений к вебинару было уже больше 70), а также уже получили доступ к «калькулятору КБПР»: он находится в информационной системе «Парус» и настроен под каждую организацию. По нему можно приблизительно рассчитать, какое количество статей в журналах разных уровней нужно опубликовать, чтобы достичь планового показателя. Это поможет и понять, высокий на деле задан показатель или нет. Можно предположить, как отметил в одном из обсуждений в группе Facebook «Наукометрия и Research Evaluation» директор Государственной публичной научно-технической библиотеки СО РАН Андрей Гуськов, что не повезло тем, у кого 2018 год был «урожайным». Разумнее, по его словам, план получился бы, если бы базой было среднее значение КБПР за 2 – 3 года; в ходе тематического вебинара Илья Тихомиров согласился с аналогичным предложением. На объем финансирования новый показатель, подчеркнул он, не будет влиять. По словам Тихомирова, цель методики — стимулировать рост количества публикаций российских ученых при сохранении их качества. Мнение Андрей Гуськов, директор Государственной публичной научно-технической библиотеки Сибирского отделения РАН : _Первое, что необходимо отметить, новая методика Минобрнауки хорошо согласуется с целями национального проекта «Наука», в котором подразумевается и количественное увеличение публикаций, индексируемых в базах данных Web of Science и Scopus, и их качественный сдвиг в сторону первых двух квартилей. При этом видна попытка учесть интересы тех, кто публикуется в российских журналах или издает монографии. Имея такие цели и ориентацию на формальный контроль их выполнения посредством наукометрии, едва ли можно изобрести какой-то принципиально другой подход. Более того, теперь появляется возможность определять свою публикационную стратегию, делая ставку на несколько статей в высокорейтинговых журналах или на вал публикаций в более доступных изданиях, сталкиваясь с известными муками выбора «те большие, но по пять, а эти маленькие, зато по три». _ Однако, дьявол обычно скрывается в деталях, и поэтому важно было бы уделить им достаточно внимания и разъяснить научной общественности, почему методика была утверждена именно в таком виде. В частности, почему любая публикация из Scopus оценивается в 1 балл, а из Web of Science — до 20 раз больше? Как и когда будет уточнена ценность монографии, которая сейчас практически равна статье? Зачем при фракционном счете учитывать зарубежные организации и тем самым демотивировать международные коллаборации, которые наши ученые с таким трудом выстраивают? И таких вопросов осталось еще достаточно много. На мой взгляд, наибольшим злом в этой методике является ежегодный рост КБПР от 6% для лидеров до 30% для отстающих, и это при отсутствии дополнительных субсидий. То есть наиболее эффективно работающие организации должны каждый год выжимать из своих публикаций на 5-10% больше, чем годом ранее. А если они и так уже очень продуктивны, откуда должны браться новые резервы? За счет новых лабораторий и оборудования, которые получат ведущие организации? Возможно, но ведущими будут признаны далеко не все, да и получателям дополнительных субсидий будет очень непросто конвертировать их дополнительные публикации. Самым же непонятным для меня является плановый опережающий рост публикационного балла на 10 – 30% ежегодно для организаций второй и третьей категории. То есть тех организаций, которым не стоит ожидать дополнительных бюджетных средств на развитие. За счет чего все они должны обеспечить столь уверенный рост качества или количества публикаций? Нет, мотивировать развитие безусловно нужно, но в этом случае цена провала будет очень высока: невыполнение показателей государственного задания либо приводит к необходимости возвращать соответствующую часть субсидии в бюджет, либо к каким-то иным болезненным последствиям, о которых пока никто ничего не говорит. Тем более, что список российских журналов, где могут быть опубликованы «зачетные» статьи, сократился примерно в два раза — от списка РИНЦ перешли к списку ВАК и RSCI. Поэтому плановый рост КБПР может оказаться миной замедленного действия, которая у кого-то рванет через год, а у кого-то через два или три. В общем, чем быстрее состоится публичная дискуссия, тем будет лучше для всех, даже если это не получилось сделать вовремя. И конечно, если мы движемся в сторону открытой науки и открытого правительства, должны быть опубликованы данные, на основании которых рассчитывается КБПР. В противном случае методика будет оставаться черным ящиком, из которого, как по волшебству, будут формироваться плановые показатели результативности научных организаций всей страны. «Никто не говорит, что подсчет должен быть одинаковым для разных наук» Постепенно обсуждение новой методики перешло от дискуссий на Facebook и запросов в министерство к письмам президенту, публичным заявлениям целых ученых советов и наконец, дебатам на заседании президиума РАН. В своих выступлениях заместитель министра науки и высшего образования РФ Сергей Кузьмин и разработчик методики, ученый секретарь ФИАН Андрей Колобов повторили многое из тех ответов на критику, которые дал на вебинаре Илья Тихомиров. Кузьмин отдельно подчеркнул: «Методика фактически реализует все те предложения президиума РАН, которые касались критики предыдущей методики 2019 года. Мы приняли решение закрепить эту методику как пилотную, распространив ее только на научные институты, для того, чтобы в течение 2020 года собрать предложения по ее использованию, возможно, откорректировать, и затем распространить на вузы». Основные направления перечислил Колобов: это повышение значимости российских изданий, когда будет определено, по каким признакам журнал считать российским; переход к формированию планов по усредненным данным за несколько лет; развитие системы рейтингования монографий и печатных изданий с учетом их объема, тиражей и экспертизы. Что не будет меняться, так это запланированные темпы роста по публикационной активности: по словам Колобова, их базовый уровень в 10% за два года соответствует общемировому тренду. Иначе отставание России по объему публикаций от ведущих стран только усугубится. В вопросах и выступлениях академиков вновь были подняты такие проблемы методики, как непродуманный учет монографий, невнимательное отношение к специфике гуманитарных наук, возможный негативный эффект на международное сотрудничество и на взаимодействие российских организаций. На предложение учитывать во фракционном счете только российских авторов Колобов ответил так: иностранные аффилиации учитываются, так как иначе самый большой вес получали бы статьи работающих за рубежом ученых, которые ставят российскую аффилиацию формально, может быть, для поддержания отношений с альма-матер. Для наукометрических показателей российских институтов это прекрасно, но реальное развитие российской науки никак не отражает, потому вес таких статей приходится снижать делением балла за статью на все аффилиации. На заявление главы Сибирского отделения РАН Валентина Пармона, что методика разрушает сложившуюся систему интеграции между вузовской и академической наукой, резко отреагировал президент РАН Александр Сергеев: «В стране сложился и развивается рынок фальшивых аффилиаций. Мы за одну статью отчитываемся в четырех – пяти организациях, и потом организация отчитывается перед министерством, что делает науку, выпустила сто статей. Но она не делает науку, она выкупила эти аффилиации!». Помех реальному сотрудничеству в методике Сергеев не видит. Попытки перевести обсуждение в лозунги «долой наукометрию» президент РАН также достаточно жестко пресекал: «Мы не обсуждаем, что у нас все плохо, а в той стране все было хорошо. Нам необходимо определить, сколько каждый институт должен в 2020 году опубликовать статей. Если не хотим, давайте оставим методику с коэффициентом 0,62, которую в прошлом году пытались подвергнуть обструкции, а к концу года все и выполнили». Желающих вернуть единый коэффициент для всех институтов не нашлось. Активнее всего на заседании обсуждалось все-таки то, что КБПР в представленном в январе виде не учитывает особенности научного процесса в разных научных областях. В сельскохозяйственных науках, напомнила вице-президент РАН Ирина Донник, практические результаты, оформленные главным образом в патентах, а не в статьях, всегда будут значить больше, чем публикации. Президент РАН Александр Сергеев согласился, что стоит обсудить вопрос о том, по каким критериям оценивать деятельность разных институтов, но отдельно на другом заседании: «У нас есть институты, для которых основная задача — генерация знаний, для других это создание технологий, для третьих — строительство и эксплуатация крупных установок и так далее». Академия, по словам Сергеева планирует обратиться с этой темой в Минобрнауки, и возможно, разделить эти типы. Академик-философ Андрей Смирнов предложил приостановить действие методики и сделать ее принципиально разной для разных областей. О том же говорил академик Валерий Тишков. Обоих президент РАН настойчиво и возмущенно спрашивал, а что же они хотят взамен, есть ли своя версия методики: Смирнов пообещал тут же передать предложения Института философии, Тишков ответил, что отделение историко-филологических наук готово разработать свои в течение недели. «Никто не говорит, что подсчет должен быть одинаковым для разных наук», — отметил вице-президент РАН Алексей Хохлов и предложил продолжить обсуждение методики в отделениях с тем, чтобы или принять ее, или исправить. Александр Сергеев подвел итог, заявив, что каждое отделение имеет право оценить методику и предложить свои обоснованные изменения: «Формула ФИАН не с Луны свалилась, ее действительно полгода обсуждали. На первый взгляд она вызывает разные вопросы, но, когда посмотришь на нее внимательно, разберешься часа за два – три, скажешь: „Елы-палы! Мужики-то правильно думают!‟». Критикам президент РАН посоветовал «врубиться» в формулу и выдвигать свои предложения. Чтобы настроить методику под себя, у отделений есть две недели. Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще. Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.