- A
- A
- A
- АБB
- АБB
- АБB
- А
- А
- А
- А
- А
Российские научные журналы: критерии оценки
.png)
Как вы оцениваете политику оценки исследователей по журналам, в которых они публикуются? В чём преимущества и недостатки такой оценки?
Ольга Кириллова, директор Учебно-консультационного центра НП НЭИКОН, эксперт-консультант Scopus
В целом это совершенно правильная политика. Так уже принято в мире, что от качества журнала зависит широта читательской аудитории и обнародования исследований, определяется авторитетность авторов и интерес к статьям, и, следовательно, к их содержанию. К сожалению, других формальных показателей качества журналов, а отсюда и статей, в них опубликованных, как только через индексы цитирования (я имею в виду, в первую очередь, международные информационные системы) еще не придумали. Безусловно, есть неформальные коммуникации, есть конференции, но формальные оценки качества исследований делаются именно по публикациям в признанных журналах.
Преимущества такой оценки – в простоте и прозрачности получения этой оценки по формальным показателям. Недостатки? Публикация в ведущем журнале еще не означает, что эта конкретная статья найдет своего читателя и получит признание через цитирование. То есть публикации в журнале могут быть присвоены заслуги других, а не этой конкретной публикации, т.е. исследования. Известно, что даже у самых цитируемых журналов, например, такого журнала как Quarterly Review of Economics 6% статей (но только 6%!) статей не цитируется. Чем больше этот показатель, тем менее авторитетным будет журнал. Поэтому, чтобы оценить конкретное исследование, кроме импакт-фактора или SJR журнала, хорошо бы еще смотреть, насколько признана и цитируется сама публикация в этом журнале. Что и позволяют делать эти поисковые системы. Но для этого все-таки нужно время. Также это уже в принципе относится к оценке авторитетности конкретного ученого, а не журнала. Есть и другие недостатки этих показателей, но это уже надо читать об этом лекцию.
Александр Муравьев, доцент департамента экономики НИУ ВШЭ – Санкт-Петербург, старший научный сотрудник Института трудовых исследований (IZA; Бонн)
Основные преимущества оценки исследователей по журналам, в которых они публикуются, – это простота реализации и высокая оперативность такой системы оценки, что имеет большое значение при принятии управленческих решений в сфере науки и образования.
Недостатки известны. В области экономики публикация даже в высокорейтинговом журнале не всегда свидетельствует о заметном вкладе в развитие науки (а именно такой вклад должен оцениваться в первую очередь). Если посмотреть на распределение числа цитирований в экономических журналах, то нетрудно заметить, что есть небольшое число часто цитируемых статей, а большинство работ цитируется мало. Даже в группе высокорейтинговых журналов статья статье рознь. Разумеется, есть альтернативные системы оценки: например, индексы цитирования и анализ содержания исследовательских работ коллегами (экспертными советами). Но у этих методов свои недостатки. Цитирования набираются годами, с их помощью можно оценить исследователей со стажем, но практически невозможно – молодых учёных. А ведь оценка более актуальна именно для молодых исследователей. Анализ содержания работ – чрезвычайно затратный во всех отношениях процесс, едва ли применимый при принятии управленческих решений, например, при найме новых и продвижении имеющихся сотрудников по карьерной лестнице. Поэтому акцент на журналах сегодня, видимо, наименьшее из зол.
Ольга Москалёва, советник директора Научной библиотеки имени М. Горького Санкт-Петербургского государственного университета
Весьма осторожно…. Уровень журнала – это скорее оценка работы редколлегии и экспертов. Если эксперты «правильные» в хорошем смысле, то и статьи будут публиковаться в журнале хорошие. Если редакционная политика грамотная, то подбор тематики журнала будет гарантировать интерес читателей и, соответственно, повышать его цитируемость. Таким образом, некорректно оценивать статьи (а тем более их авторов) по журналам, в которых они опубликованы. Здесь скорее может идти речь о вероятностной оценке, зависящей от добросовестности экспертов. Естественно, что вероятность того, что статья, опубликованная в Science, будет цитироваться лучше, чем статья из Вестника Н-ского университета, гораздо больше. Однако в последнее время доля высокоцитируемых статей в журналах со средним импакт-фактором возрастает по сравнению с высокоимпактными журналами. На статистически значимом уровне показателем может быть в какой-то мере доля статей, опубликованных ученым в журналах, например, входящих в первый квартиль по импакт-фактору или иному журнальному показателю.
Преимущества такой оценки исследователей очевидны – относительная простота и понятность. Недостатки - в очень вероятностной оценке свежих публикаций и сильная зависимость от области знаний и конкретных журналов.
Каким главным требованиям должен удовлетворять журнал, чтобы публикация в нём служила надёжным подтверждением высокого уровня научной работы? Есть ли здесь единые критерии качества?
Ольга Кириллова
Да, есть. Определенность политики: предметно-тематическая направленность на конкретную читательскую аудиторию – научное сообщество, авторитетность редакционного совета, его географическое разнообразие, авторитетность авторов, в т.ч. по тем же библиометрическим показателям, уровень рецензирования, объявляемые сроки прохождения статей, авторитетность издания (связано с авторитетностью авторов), высокие издательские стандарты, распространенность в других международных информационных системах. Без библиометрических показателей журнала здесь не обойтись, если журнал входит в индексы цитирования и имеет достаточную историю. Если не входит, например, журнал новый, то необходимо рассматривать просто «под микроскопом» все его характеристики (особенно журналы открытого доступа, которые существуют по модели gold open access). Это серьезная проблема, отличить добросовестные журналы от недобросовестных (особенно если предлагаются услуги различных фирм по опубликованию статей в таких журналах). Бывают ситуации, когда журнал сам ищет и старается сформировать свой авторский коллектив, особенно молодые журналы. Но к массовым рассылкам это не имеет никакого отношения. Необходимо смотреть, есть ли сайт журнала, что на сайте, насколько прозрачна его политика по данным на сайте, представлены ли аннотации и полные тексты, насколько регулярно выходит, насколько подробно составлены инструкции для авторов, понятен ли процесс рецензирования, и далее - по критериям, по которым рассматривают журналы эксперты международных систем. С большой осторожностью следует относиться к предложениям опубликовать статью в мультидисциплинарном журнале, а лучше их игнорировать. Большинство таких журналов не имеют определенной читательской аудитории, имеют низкие показатели цитируемости. Журнал, публикующий «все обо всем» - это первый признак того, чтобы его не рассматривать в качестве варианта своей публикации.
Александр Муравьев
К сожалению, отдельная публикация не может быть надёжным подтверждением высокого уровня научной работы. Даже ведущие международные журналы порой печатают невыдающиеся работы. Кроме того, большинство работ пишется в соавторстве, и это ставит вопрос о вкладе отдельных соавторов в результат. У экономистов часто бывает так, что одному человеку принадлежит идея, другой имеет доступ к уникальным данным, а основная исследовательская работа проводится кем-то третьим.
Ольга Москалёва
На мой взгляд, главное – чтобы в журнале было честное и прозрачное рецензирование. Без этого хорошего журнала точно не будет. Важны также технические моменты – как журнал распространяется, есть ли электронная версия, есть ли нормальный сайт с размещенными там материалами по редакционной политике, рецензированию, правилам для авторов и т.д. Иными словами важны все формальные требования, предъявляемые к журналам при включении их в международные индексы цитирования. Конкретные показатели (импакт-фактор, SNIP, SJR) не всегда являются определяющими, хотя конечно, вероятность того, что в высокорейтинговом журнале будет напечатана плохая статья ниже, чем в журнале с невысокими показателями. И то для гуманитарных журналов импакт-факторы не рассчитываются вообще, т.е. к ним такой критерий совсем неприменим. Если уж пытаться учитывать наукометрические показатели, то оптимальный вариант, на мой взгляд, делать это на уровне квартилей – опубликовать статью в журнале первого квартиля лучше, чем журнале третьего квартиля. В предметных рейтингах ARWU (Шанхайский рейтинг) учитывается количество публикаций в верхних 20% журналов по соответствующей области знаний. Аналогичный показатель используется в Snowball Metrics, которые, как мне кажется, могут стать основой для реорганизованного рейтинга Times Higher Education после объявленного перехода на Scopus и SciVal.
Как выявить такие журналы в России? Помогают ли в этом Scopus и прочие наукометрические продукты или без экспертной оценки не обойтись?
Ольга Кириллова
Если говорить о журналах, которых нет еще в глобальных индексах цитирования, то, безусловно, в первую очередь, по таким же критериям, которые применяются к другим международным журналам (частично я уже ответила на это в предыдущем вопросе). И это, в первую очередь, именно экспертная оценка. Здесь не просто считаются цифры. Журналы оцениваются специалистами. И не всегда цифры являются определяющими. Однако региональные журналы рассматриваются по тем же критериям, что и международные. И цитируемость (скрытая, по ссылкам, а не публикаций, которые уже включены в индексы цитирования) здесь, безусловно, имеет значение. Если журнал имеет длительную историю и не цитируется по глобальным индексам цитирования, он, скорее всего, не будет иметь хорошие шансы войти в Scopus или в Web of Science. Однако опять же решение принимают эксперты, и к разным тематикам, и к региональным журналам, безусловно, есть и разный подход. К гуманитарным и социальным журналам более щадящие требования, чем к журналам естественнонаучного, медицинского, технического профиля. Региональные журналы при всех прочих условиях имеют некоторые послабления, но все равно в незначительной степени и по определенным областям, которые, например, плохо представлены конкретным регионом (страной) в этих БД. Критерии для всех одни.
К российским журналам необходимо относиться еще с большим пристрастием, стараться оценить их и по другим показателям, в т.ч. по требованиям к формальной части, которая должна быть на английском языке, к спискам литературы, к применяемым стандартам. От того, как и в каком объеме представлена информация на английском языке зависит корректность представления информации в базах данных. Есть российские журналы, которые по содержанию очень хорошего качества, имеют авторитет в научном сообществе, высокий рейтинг членов редсовета и авторов, но издаются по принятым у нас давно издательским стандартам, значительно отличающимся от международных. Если такие журналы стремятся войти в международные информационные системы (я сейчас говорю именно об этой задаче), то им все равно необходимо изменить форматы, получить все необходимые атрибуты (например, ISSN на электронную версию, doi). Кроме этого, им необходимо создать качественный сайт с полной информацией о журнале, войти в другие международные и тогда уже пытаться войти в Scopus или в Web of Science. В то же время при изучении цитирования журнала с историей необходимо обращать внимание, насколько «актуальны» ссылки на статьи из журнала, есть ли ссылки на последние годы, или они все на статьи десятилетней давности. На это тоже обращают большое внимание. Если журнал хорошо цитируется (в экспертной системе Scopus, например, есть таблицы, определяющие оценку «хорошо» или «плохо» (пять градаций «отлично» до «нет цитирования») в зависимости от предметных областей, длительности истории журнала и числа ссылок относительно объема журнала), то войти в ГИЦ значительно легче. Но надо сказать, что нам надо еще очень многому учиться, чтобы быть на уровне и не хуже (по журналам), чем журналы других, даже не ведущих, стран. А нашим экспертам большое внимание уделять качеству содержания журналов.
Еще хочется сказать, что войти в ГИЦ – это одна задача, а удержаться и повысить авторитетность через цитирование – другая. Чтобы журнал не был через какое-то время (конечно, не сразу) исключен из БД, потому что отсутствуют ссылки на его статьи, т.е. по формальным показателям, нужно постоянно работать над его качеством. Это взаимодополняющие задачи.
Александр Муравьев
Библиометрический инструментарий, конечно же, основной элемент оценки качества журнала. Но не следует делать его единственным. Хотя бы потому, что редколлегия может манипулировать практически любыми библиометрическими показателями. Например, обязывая авторов добавлять ссылки на ранее опубликованные в журнале работы (искусственно «раздувая» таким образом индекс цитирования). У меня есть исследование, посвящённое оценке российских экономических журналов (опубликовано в журнале «Вопросы экономики» №4 за 2013 год), где приведено несколько примеров такой практики. За рубежом широко распространена практика классификации экономических журналов по их научной значимости. Как правило, такие классификации основаны на библиометрических показателях и оценках экспертов. Возможно, такие классификации будут востребованы и в России.
Ольга Москалёва
Конечно, все индексы цитирования могут помочь выявить такие журналы по количеству цитирований. Многие российские журналы, хоть и не индексируются в международных базах Scopus и Web of Science, имеют в них довольно много ссылок. Однако для большинства российских журналов нужно проводить дополнительную экспертизу – в первую очередь на предмет наличия рецензирования и его качества, отсутствия искусственных накруток цитирования и взаимного цитирования журналов, состава редакционных советов и т.д. Если бы все наши журналы имели электронные версии, можно было бы попробовать оценить их по принципам альтметрики (количество скачиваний статей, упоминаний в социальных сетях, менеджерах ссылок и т.д.), но это сейчас нереально.
Можно ли сегодня судить о том, сколько таких журналов в России, становится ли их больше за последние годы и в каких областях знания они сконцентрированы?
Ольга Кириллова
Если говорить о качестве журналов по содержанию, не думаю, что их много. Я думаю, их значительно менее тысячи, скорее всего, если применять именно перечисленные мной, еще не полностью, критерии. Журналов в целом становится больше, если рассматривать их с точки зрения готовности по международным стандартам и требованиям индексов цитирования. Журналы готовятся. Улучшается значительно англоязычная составляющая, форматы, структура и т.п. Но насколько улучшается качество публикаций, мне судить трудно. Думаю, что это более сложная задача. Наши журналы в значительной массе не готовы к проведению серьезной экспертизы подаваемых рукописей, рецензированию должного уровня, особенно университетские издания. Не готовы к этому и авторы. Проблема подготовки статей – отдельная тема, серьезная. Значительная часть молодых авторов не умеют писать (их никто этому не учит, а учить надо уже с первого курса). А заслуженные авторы не хотят считаться с новыми реалиями. Думаю, об увеличении качественных изданий говорить еще рано. Надо еще много работать с авторами, привлекать авторитетных ученых к публикации в наших журналах, публиковать больше совместных с иностранными учеными статей в наших изданиях… А для этого надо, чтобы и журнал был авторитетным. Взаимосвязанная задача, не простая, но решаемая.
Что касается областей знания. В каждой области есть ведущие российские журналы. Часть из них уже входит в ГИЦ, часть еще нет. На области, которые плохо представлены российскими авторами в Scopus или Web of Science, необходимо обращать особое внимание. В то же время необходимо также рассматривать тематику с точки зрения интереса к ней зарубежного сообщества. Например, ошибочно представление, что к филологии, лингвистике, истории нет интереса. Такие журналы включаются даже без цитирования и по дополнительным программам. Грустно, что журналы не готовы к такому решению и не делают ничего, чтобы выглядеть соответствующим образом и давать необходимую информацию, в т.ч. и для цитирования своих статей и других российских публикаций по спискам литературы. В результате выглядят они в Scopus достаточно бедно. Имеется место большой интерес к математике (особенно, если журналы индексируются в MathSciNet (Mathematical Reviews)) и к инженерным областям. О какой-то концентрации по областям говорить трудно, да и не надо. Большинство ведущих журналов по физике, химии уже представлены в ГИЦ своими переводными версиями. Плохо представлены науки о жизни, медицина (о проблемах с журналами, которые сейчас есть в Scopus из Medline говорить не буду), гуманитарные, социальные, инженерные области знания. В каждой области, повторяюсь, есть хорошие журналы. Обидно, когда хорошие, казалось бы, заслуженные, «старые» журналы «заявляются» без должной подготовки. Им отказывают с достаточно длительным эмбарго (до 5-ти лет). Конечно, «заявляющийся» журнал должен хорошо понимать все свои задачи, и сначала их решить, а потом подавать заявку. Войти «хотя бы в Scopus» очень даже непросто.
Надеюсь, что подключение к задаче продвижения российских журналов Российского экспертного совета по отбору, оценке и продвижению научных изданий в международные информационные системы (Russian Content Advisory Board), который начнет в ближайшие месяцы взаимодействовать с экспертным советом Scopus (Content Selection Advisory Board – CSAB), позволит улучшить качество заявляемых и повысить процент принимаемых журналов. Меморандум о взаимопонимании между Издательством Eslevier и НП «НЭИКОН» уже подписан. В дальнейшем, после регистрации и начала работы Ассоциации научных редакторов и издателей, этот совет будет работать под ее эгидой как постоянно-действующий совет Ассоциации.
Александр Муравьев
Мне сложно судить о естественных и точных науках. Там, по-видимому, дела обстоят лучше, чем в науках общественных, где положение довольно серьёзное. Скажу про экономику. К превеликому сожалению, ни один российский экономический журнал не может претендовать на сколь-нибудь заметную роль в мировой науке. Безнадёжна ли эта ситуация? Наверное, нет. Среди нескольких сотен российских журналов по экономике можно выделить около одного-двух десятков (не больше) лидеров. И если рассматривать журналы в этой группе, то, по моему мнению, качество публикуемых в них работ в последние годы понемногу улучшается. Но до вхождения этих журналов в категорию значимых по международным меркам изданий по экономике всё-таки ещё далеко.
Ольга Москалёва
Академические журналы по большей части отвечают требованиям «хороших» журналов, хотя далеко не всегда у них есть нормальные электронные версии, удобные для авторов, редакторов и рецензентов издательские системы и т.д. Появляются журналы вполне современного мирового уровня, как по содержанию, так и в технологическом плане. Сколько их? Это оценить довольно трудно, поскольку даже те журналы, которые индексируются в международных базах, есть куда улучшать по всем параметрам. Надеюсь, что проект по размещению российских журналов в отдельной базе данных на платформе Web of Science поможет эти журналы выявить.