Российские научные журналы в Web of Science

В уходящем году Научная электронная библиотека eLIBRARY.ru и компания Thomson Reuters договорились о том, что к концу 2015 года российская сторона представит 1000 лучших научных журналов для продвижения их в международной базе данных Web of Science.

Сегодняшний выпуск «Окон роста» посвящён вопросам участия Вышки в этом проекте и проблемам методики оценки ведущих российских журналов.

Первый проректор НИУ ВШЭ Вадим Радаев

Как выявить ведущие российские журналы? Достаточно ли для этого библиометрического инструментария РИНЦ? Какое участие в этом проекте примет Высшая школа экономики?

Мы, конечно, используем данные РИНЦ, но всё-таки этого недостаточно, ибо не существует идеальных библиометрических инструментов. В НИУ ВШЭ сейчас специально отобранный пул экспертов по единой методике ранжирует российские журналы. Да, они используют показатели библиометрии, но этим не ограничиваются, потому что библиометрические показатели должны дополняться экспертизой специалиста. Результаты этой экспертизы будут использованы в качестве одного из элементов оценки. Затем журналы будут поделены на условные категории A, B, C, D, где А — это издания действительно международного уровня, В — хорошие журналы, в которых мы бы хотели, чтобы публиковались наши коллеги, С — нормальные журналы, в которых не зазорно публиковаться, но публикация в которых не добавляет большого количества очков твоей репутации, а D — псевдоиздания, мусорные журналы.

Важно понять общую логику происходящих изменений, а общая логика выглядит так. Несколько лет назад, мы собрали руководителей всех вышкинских журналов и предложили им перечень требований к научным журналам списка ВАК. Как бы ни относиться к списку ВАК, его требования к журналам совершенно вменяемы, и выполнение этих требований оказалось более чем уместным. Именно тогда у многих журналов впервые появились сайты, институт рецензирования и мн. др. Так что смысл этого деяния заключался не столько и не только в том, чтобы оказаться в списке ВАК (а все наши журналы, включая электронные, оказались в списке ВАК), сколько в том, чтобы побудить все журналы соблюсти минимальные стандартные требования. Это был первый этап.

Второй этап начался в 2013 году, когда мы решили интернационализироваться. Тогда мы положили перед журналами список требований Scopus, выделили деньги под их реализацию и сказали, что будем считать работу законченной, когда журнал подаст документы в Scopus. Журналы двигаются разными темпами, но часть из них эти требования выполнили и уже подали документы в 2014 году. Другие журналы пока этого не сделали, и мы к ним уже предъявляем претензии, торопим.

В конце 2013 года мы решили, что больше просто так прибавлять журналам денег, как это делалось каждый год, не будем. Если журнал хочет дополнительного финансирования, он должен представить свою программу развития, главным словом в которой будет «интернационализация». А интернационализация подразумевает переход на международный язык, каковым является английский. Были поставлены некоторые условия: увеличения объёма не предлагать, увеличения зарплаты сотрудникам не предлагать — только инициативы, имеющие отношение к развитию и интернационализации. Большинство журналов это сделали. Журналы, которые этого не сделали, денег не получили.

Мы разрешили журналам идти своей траекторией, не настаивая на какой-то единой модели, и получилось семь разных стратегий продвижения. Далее каждый журнал начал двигаться со своей скоростью и по своей траектории. И вот теперь возник ещё проект, связанный с продвижением российских журналов на платформе Web of Science. Научная электронная библиотека elibrary.ru и Web of Science договорились о создании новой российской электронной платформы, примерно в тысячу журналов. Это будет как бы вторая лига Web of Science. Но лучше быть во второй лиге, чем ни в какой. К тому же, вторая лига даёт шанс наиболее продвинутым игрокам со временем оказаться в первой лиге. Если эта программа пойдёт, Вышка, конечно, обязательно будет в ней участвовать, и у нас есть все шансы подать туда не просто какие-то отдельные, а все наши журналы. Большинство из них об этом пока даже не знает. Но это и не нужно, потому что в целом сегодня мы к этому уже более или менее готовы. Будет реализован этот проект или не будет, у Вышки есть своя логика развития за последние пять лет, которая предполагает на каком-то этапе вхождение в Web of Science. Но если такой проект будет, чудесно, мы будем рады эту возможность использовать.

Заведующий отделом исследований результативности научно-технической деятельности Института статистических исследований и экономики знаний НИУ ВШЭ Константин Фурсов

В чём преимущества и недостатки оценки исследователей по тем журналам, в которых они публикуются?
Статус научного журнала является в некотором роде гарантией качества текста, который в нём опубликован, и может выступать в качестве дополнительного дифференцирующего фактора при оценке результативности работы исследователей (наряду с фактом наличия публикации). На мой взгляд, вопрос не в том, оценивать исследователя по журналам или нет, а в том, какие журналы мы отнесём, условно говоря, к хорошим, а какие — к плохим. Основным количественным критерием качества научных журналов является так называемый импакт-фактор — индекс, позволяющий оценить уровень цитируемости журнала за фиксированный промежуток времени (два-три года). Но, во-первых, цитируемость не всегда отражает качество научной публикации: статью могут принимать, а могут критиковать: и в том, и в другом случае она получает отметку за цитирование, тональность которого никак не учитывается. Во-вторых, в разных журналах период, достаточный для того, чтобы статью прочитали и процитировали, сильно разнится. Статью в крупном междисциплинарном журнале типа Nature или Science прочитают и процитируют очень скоро, а статью в монодисциплинарном узкоспециализированном издании, возможно, не процитируют вовсе. Скорость попадания статьи в поле зрения коллег зависит и от дисциплины. В биологии, например, иногда хватает полугода, потому что это очень динамично развивающаяся область, публикационный цикл в которой достаточно короткий. А в философии актуальность того или иного автора может всплыть через десять, двадцать, тридцать, сто лет. Поэтому оценивать качество журналов, сравнивая их цитируемость или импакт-фактор за единый для всех период, некорректно. Нужно дифференцировать наши оценки по дисциплинарным областям.

 

Какие критерии используются сегодня при оценке качества научных журналов?
Первый формальный критерий — это импакт-фактор, измеряющий в конечном счёте значимость журнала для научного сообщества. Есть его усовершенствованная версия — так называемый Эйгенфактор, который учитывает не только прямые ссылки на журнал, но и ссылки через другие журналы. Кроме того, Эйгенфактор рассчитывается за пять лет, что позволяет нивелировать скачки в цитируемости, возникающие для разных дисциплин в разные периоды времени.

Третий критерий — это экспертная оценка, валидация статуса журнала, которая должна время от времени проводиться самими учёными. Относительно недавно похожая инициатива была реализована в Вышке для российских журналов. Учёным были разосланы анкеты, предлагавшие им оценить степень своего знакомства с тем или иным изданием, качество его содержания, периодичность, сообщить о наличии в нём своих публикаций, желании публиковаться ещё и т.п. На основании полученных результатов была предпринята попытка выстроить рейтинг российских журналов, который показал, что формальные показатели публикационной активности не всегда совпадают с экспертной оценкой и что крупные журналы широкого профиля иногда уступают по значимости узкоспециализированным журналам, которые в принципе не могут иметь большого значения импакт-фактора, потому что в этих специфических областях научное сообщество само по себе небольшое. Кроме того, импакт-фактором можно манипулировать, договорившись с редакторами или авторами о взаимном цитировании. И таких примеров довольно много.

Помогает ли наукометрический инструментарий Web of Science, Scopus и РИНЦ в выявлении сильнейших российских журналов?

Здесь важно понимать, что изначально и Web of Science (WoS), и Scopus, и РИНЦ создавались не для того, чтобы оценивать, а для того, чтобы искать журналы и авторов по предметной области. Помогают ли они в таком поиске? Определённо да, но при этом ни WoS, ни Scopus не охватывают значительного числа российских изданий. РИНЦ, как и зарубежные базы, индексирует свои журналы и собирает метаинформацию по ним. На сегодняшний день это, пожалуй, единственный полный источник по российским журналам, который может служить основой для их дифференциации и отбора.

Однако при помощи одних только формальных критериев оценить содержание и, стало быть, качество журналов невозможно. Если журнал активно издаётся и активно цитируется, по формальным признакам он может быстро взлететь в рейтингах в своей предметной области. Но вы открываете этот журнал и видите, что средний объём статьи там составляет три страницы, а сами статьи содержательно пустые или представляют собой набор общих мест. Поэтому необходимо дополнять библиометрию экспертной оценкой.

Генеральный директор Научной электронной библиотеки eLIBRARY.RU Геннадий Ерёменко
Какова методика отбора журналов?

Сейчас мы как раз находимся в стадии обсуждения методики, как библиометрической, так и экспертной. Сначала мы при помощи библиометрического инструментария отсеем заведомо плохие журналы, а оставшиеся дифференцируем по направлениям. Но есть целый ряд параметров, где библиометрия работает плохо. Не очень понятно, как библиометрически оценивать мультидисциплинарные или, наоборот, узкоспециализированные журналы, где всего один-два журнала на всё направление. В таких журналах обычно высокое самоцитирование, и нужно смотреть, с чем это связано: с узостью специализации или с замкнутостью журнала, который никто не цитирует просто потому, что он никому не интересен. Поэтому на следующем этапе мы подключим к работе экспертов.

Как будет организована работа экспертов?

Кроме сотрудничества с существующими экспертными площадками, мы, наверное, будем первыми, кто попытался организовать общественную экспертизу журналов. В РИНЦ зарегистрировано подавляющее большинство российских учёных, мы знаем, какими исследованиями и на каком уровне они занимаются, какие у них показатели. Мы планируем отобрать учёных, являющихся уже состоявшимися специалистами в своём направлении, и дать им возможность поработать с журнальными списками у себя в интерфейсе. Но мы не знаем, насколько активно прореагирует научное сообщество. Если большинство учёных откликнутся на наше предложение, может получиться статистически интересный результат, который будет интересно сравнить результатами библиометрии и экспертной оценки.

Наукометрические критерии РИНЦ чем-то отличаются от критериев WoS и Scopus?

Отличаются. Сначала мы пытались использовать стандартные международные методики, самая распространённая из которых — импакт-фактор. Но мы столкнулись с тем, что общепринятые типовые показатели в их классическом варианте в российских реалиях не работают. Все принципы библиометрии — импакт-фактор, различные коэффициенты — исходят из того, что журналы соблюдают какую-то научную этику. У нас же за счёт манипуляций с цитированием журнал легко можно вывести по импакт-фактору  на небесные высоты. Самый простой способ — самоцитирование. В том же WoS не меньше 80% журналов имеют коэффициент самоцитирования не больше 20%. А у нас 40% — это ещё неплохо, у многих журналов он гораздо выше.

Несколько лет назад мы исключили самоцитирование при расчёте импакт-фактора. На положении хороших журналов в рейтинге это практически не сказывалось, а вот плохие журналы откатывались.

Тут же появились издатели, которые создадут два-три журнала и давай друг друга цитировать. Мы и с этим научились бороться: стали учитывать количество цитирующих журналов. В экономике есть так называемый индекс Херфиндаля, используемый для оценки степени монополизации рынка в той или иной отрасли. И применительно к журналам он хорошо работает, выявляя и самоцитирующие журналы, и эти искусственные кластеры.

Дальше начинаются вопросы, связанные с учётом тематического направления. Если мы хотим построить междисциплинарный рейтинг журналов, то не можем основываться на импакт-факторе, потому что среднее количество цитирований одной статьи (импакт-фактор) напрямую зависит от среднего количества ссылок в самой статье и от структуры списка цитируемой литературы. Но практика цитирования в разных дисциплинах разная, а классический импакт-фактор учитывает данные за два года. Если отрейтинговать все журналы по импакт-фактору, то журналы естественных наук окажутся в выигрыше по сравнению, например, с математикой, а общественные науки и вовсе будут где-то в хвосте. Поэтому рейтинг строят по тематическим направлениям. Но тут возникают новые сложности. Например, кто решает, к какому направлению отнести журнал? А если журнал междисциплинарный?

Ещё один недостаток импакт-фактора — его независимость от значимости того, кто процитировал. Ведь если тебя процитировал ведущий учёный или ведущий журнал, то эта ссылка стоит дороже, чем ссылка из какого-нибудь вестника молодых учёных. И таких методических нюансов много.

В последние пять-шесть лет появился ряд новых показателей, призванных компенсировать недостатки импакт-фактора. Например, такой индикатор, который первым начал использовать Scopus и который называется SNIP (Source Normalized Impact per Paper), позволяющий учитывать тематическое направление автоматически. Мы же хотим отобрать тысячу лучших журналов, и в этой тысяче должны быть учтены пропорции между разными науками, которых мы пока не знаем. Сколько в этой тысяче должно быть физических журналов, а сколько экономических? Для этого нам нужно построить сквозной рейтинг, в котором лучшие журналы разных направлений были бы сопоставимы по качеству, чтобы лучший журнал по биологии не был на порядок хуже лучшего журнала по физике. SNIP позволяет это делать. Там логика простая: анализируется список статей, процитировавших данный журнал, и в этой совокупности статей измеряется средняя длина списка цитируемой литературы.

Но оказалось, что стандартная система расчёта SNIP в наших реалиях тоже не работает. Три-пять журналов договариваются о взаимном цитировании, и при расчёте SNIP получается, что мы определяем уровень этих журналов по ним самим. Тогда мы придумали сравнивать журнал не только с теми изданиями, которые его цитируют, а со всеми журналами его направления, определяя последнее по ключевым словам, соавторству, социтированию и т.п., независимо от ссылок. Все журналы автоматически делятся на тематические кластеры, и нормировочный коэффициент мы вычисляем уже не только по цитирующему изданию, но и по всему кластеру.

 
Как менялось количество качественных российских журналов за последние годы?
В процентном выражении количество качественных научных журналов по отношению ко всем остальным уменьшается. Просто за счёт того, что общее число журналов растёт, появляется много новых журналов — каждый год около 250, а «умирает» всего несколько десятков. Конечно, среди них какой-то процент фейковых журналов, сложно сказать, какой именно. Собственно проект это и покажет.

 

25 декабря, 2014 г.