Наука в библиометрических показателях – 2

В октябрьском выпуске Academic Forum продолжается обсуждение темы значения библиометрических показателей для оценки развития науки. Своим мнением по этому вопросу делятся эксперты, представляющие разные дисциплины: математик Михаил Вербицкий, лингвист Максим Кронгауз, социолог Александр Филиппов и историк Ирина Савельева.

Отражает ли индекс цитирования в принципе качество публикаций исследователя и состояние науки в целом?

Михаил Вербицкий, профессор факультета математики, заместитель заведующего Лабораторией алгебраической геометрии и ее приложений

Библиометрические показатели легко поддаются манипуляции в руках целеустремленных жуликов, поэтому базировать на них критерии качества не стоит. Даже если сейчас среди наших ученых нет таких жуликов, под давлением начальственных требований они непременно появятся.

В Китае за публикации в журналах с приличным импакт-фактором дают много денег, в результате Китай обогнал по публикациям США. Качество этих публикаций при этом резко упало, и образовались многочисленные группировки околонаучных жуликов, бессмысленно ссылающихся друг на друга, и журналы, которые получают высокий импакт за счет подобного жульничества.

Южная Корея платит существенно бóльшие деньги за публикации в журналах из верхней десятки. Результатом такой политики явилось то, что корейцы сегодня находят себе западных соавторов и публикуются в топовых журналах в соавторстве, деля деньги.

Любая достаточно интенсивная кампания по достижению библиографических показателей приведет к чему-то подобному, и в результате эффективность исследований повысится весьма незначительно или не повысится вообще.

С другой стороны, иных, лучших способов определять профессиональную пригодность ученого у нашего начальства нет: любые «экспертные советы» в России неизменно наполняются научными мафиями и выдают премии исключительно друг другу. Поэтому в настоящий момент библиометрические показатели – наименьшее зло.

Кроме того, есть надежда, что прогресс библиометрии сможет на время приостановить жуликов, которым придется снова и снова тратить время и силы, вырабатывая методику обхода новых правил подсчета.

Максим Кронгауз, профессор, руководитель Лаборатории лингвистической конфликтологии Школы филологии факультета гуманитарных наук

Индекс цитирования отражает не качество публикаций, а социальный статус или публикационную активность исследователя. В качестве оценки последних он, безусловно, полезен, хотя и не может выступать единственным критерием. С ним связаны по крайней мере две опасности. Низкий индекс цитируемости в определенном смысле более объективен, чем высокий. Во-первых, высокий рейтинг цитирования может быть достигнут за счет вполне комфортного существования в рамках большой научной школы, члены которой традиционно «опыляют» друг друга ссылками. Ученый, находящийся на том же уровне, но вне научных школ, скорее всего, будет иметь значительно более низкий индекс цитирования. Во-вторых, естественное «опыление» может фактически развиться в сговор, когда группа ученых договаривается использовать перекрестные ссылки. Иначе говоря, если из инструмента оценки индекс цитирования превращается цель, он начинает приносить больше вреда, чем пользы. Это и означает, что он ни в коем случае не может быть единственным критерием.

Александр Филиппов, профессор Школы философии факультета гуманитарных наук, руководитель Центра фундаментальной социологии ИГИТИ

Во время регулярных посещений сайта РИНЦ я обнаружил, что мой индекс Хирша, долгие годы державшийся на 8, вырос до 10, затем до 11, затем снова опустился до 10 и там застыл. Где-то я прочитал примерную расшифровку значений. Оказывается, 10-11 – это маркер руководителя научного подразделения, члена ученого совета и чего-то еще в том же роде. Так что по библиометрии я, кажется, соответствую должности. Или наоборот: библиометрические показатели ей соответствуют. Но никакого чувства глубокого удовлетворения у меня по этому поводу нет. Я знаю, как это устроено, во всяком случае, про себя точно знаю. Чаще всего цитируется то, что, на мой взгляд, того не заслуживает. А то, что заслуживает, либо не учитывается, либо учитывается крайне скудно. В свое время я хотя и не часто, но все же публиковался в Германии. Время от времени я нахожу ссылки на свои немецкие статьи при помощи Google. Но ни в какие индексы они не попадают, словно их нет. Точно так же, я думаю, дела обстоят у многих. Я не хочу сказать, что в этих индексах нет никакого проку. Мне они помогают сориентироваться в своей науке, почитать что-то такое, на что я мог бы и не обратить внимания. Кроме того, они приучают к определенной трезвости: можно думать, что тебя знают и читают, но это иллюзия, просто знакомые люди говорят тебе приятные вещи, а незнакомым и дела до тебя нет. В общем, я бы не стал это игнорировать (да никто и не даст), но отношусь я к этим индексам с большим подозрением.

Ирина Савельева, профессор, директор Института гуманитарных историко-теоретических исследований (ИГИТИ) имени А.В. Полетаева

Этот вопрос состоит из двух, на мой взгляд, довольно разных тем. И я начну со второй. Индекс цитирования отражает прежде всего состояние одной науки – библиометрики. Для оценки других наук он является информационным источником, и важно понимать, какую информацию можно из него извлечь. Например, из него можно извлечь информацию о роли языка публикации и места (страны) издания журнала, о наиболее популярных академических жанрах и, конечно, актуальных исследовательских темах. При более вдумчивом анализе возможно получить картину соотношения отдельных направлений внутри дисциплин, выявить сетевые сообщества, проследить динамику развития научных школ, лидеров, процессы классикализации – да мало ли что. Достаточно сформулировать исследовательскую задачу и построить хорошую модель. Все это задачи, лежащие в области не только библиометрики, но и науковедения в целом.

О зрелости науки (и библиометрики, и конкретной науки) косвенно свидетельствует качество базы, на основе которой определяется индекс цитирования. Достаточно посмотреть РИНЦ, чтобы понять, что я имею в виду. Требованиям РИНЦ наши журналы соответствуют. А вот в Scopus они пробиваются с большим трудом. А ведь журнал – это средство оперативной научной коммуникации, и его состояние, конечно, в какой-то мере отражает ситуацию научной дисциплины и ее отдельных направлений. Недавно у историков появился «новый» (!) скопусовский журнал – Ab Impero. Он был основан в 2000 году российскими учеными и с самого начала издавался в формате западной науки: с процедурой peer review, на двух языках, с выполнением всех норм справочно-библиографического оформления.

То есть мой ответ на вторую часть вашего вопроса будет «да». Но все это эффективно только при понимании того, о чем свидетельствуют индексы цитирования и что именно с их помощью можно доказать. Корреляция между «больше» и «лучше» здесь не будет ни основной, ни значимой.

Проблема, однако, в том, что библиометрические базы, которые можно рассматривать как информационные источники, ныне обрели функции управления и контроля, т.е. трансформировались в кибернетические системы. И здесь вопросы о том, как формируется база данных и что именно показывает индекс цитирования, приобретают совсем иное звучание. Правильно ли используется содержащаяся в них информация? Для каких решений? Об этом мы писали с Андреем Полетаевым в 2009 году [См.: Савельева И.М., Полетаев А.В. Публикации российских авторов в зарубежных журналах по общественным и гуманитарным дисциплинам в 1993–2008 гг.: количественные показатели и качественные характеристики // «Гуманитарные исследования» (ИГИТИ ГУ–ВШЭ). 2009. Вып. 2 (39). 52 с.]. Кратко укажу, на что следует обратить внимание протагонистам РИНЦ, Scopus и цифровых показателей.

1.        Страна и язык публикации. Упомяну только о «большой тройке» Web of Science (WoS), представляющей львиную долю журналов США, Великобритании, Нидерландов. Доминирование американских изданий отражает позиции США как в экономике, так и в науке, в том числе и в социально-гуманитарных дисциплинах. Наличие большого числа журналов Великобритании и Нидерландов связано в основном с тем, что в этих странах базируются крупнейшие издательства (из так называемой большой семерки – Wiley/Blackwell, Elsevier, Springer/Kluwer, Taylor&Francis/Routledge, SAGE, Cambridge University Press, Oxford University Press). В последние годы именно они издают многие из ведущих научных журналов.

Один из примеров, который важно иметь в виду для трезвой оценки индекса цитирования российских историков в международных базах данных. В WoS в настоящее время зарегистрирован 221 исторический журнал, из них примерно треть выходит в США. Часть из них – журналы по различным аспектам истории США (American Heritage, American Historical Review, American History и т.д.), другая часть посвящена истории отдельных американских штатов или регионов (Appalachian Journal, Arkansas Historical Quarterly, California History и т.д.). Конечно, печататься в них могут не только американцы, но почти исключительно американисты.

2.        Типы журналов. Высокие показатели имеют три типа журналов: ведущие журналы по дисциплине в целом; журналы узкой области исследований, где число исследователей и возможности для публикации невелики, и, наконец, полупопулярные междисциплинарные журналы, которые могут читать исследователи из разных областей. Высокую цитируемость обеспечивают научные и аналитические обзоры, особенно статьи, помещенные в периодических изданиях, в названии которых присутствует слово «review».

3.        Темы. Есть популярные темы, и есть темы, привлекающие внимание узкого круга специалистов. Причем последние необязательно обречены на безвестность и забвение. Если у них есть свой журнал, входящий в «правильную» базу данных, они будут непрерывно ссылаться друг на друга и иметь приличный индекс цитирования.

4.        Показатели числа ссылок сильно различаются в разных науках из-за структуры журнальных баз. В гуманитарных дисциплинах этот показатель вообще плохо работает, что связано с большой дисперсностью публикаций по разным изданиям, не вполне репрезентативным набором журналов, включенных в ведущие базы, но главное – с тем, что в работах по гуманитарным дисциплинам основная часть ссылок приходится на книги, тогда как на статьи ссылаются относительно редко. Это одна из причин, по которой импакт-фактор, как правило, не принимается во внимание для оценки гуманитария, – то, что по книжным базам он не делается либо рассчитывается с большими огрехами.

5.        Методика расчета (в частности, взятый в формуле чрезмерно короткий период «реакции», который для гуманитарных исследований фактически в 2-3 раза длиннее).

Если говорить об отдельном ученом, то высокий индекс цитирования может свидетельствовать о чем угодно (оригинальных результатах, пребывании в тренде, модной тематике, принадлежности к хорошо оснащенному журналами направлению и сообществу), а низкий, конечно, свидетельствует о «безвестности» ученого («мировая безвестность» – удачный термин Нины Брагинской, использованный ею применительно к трудам Ольги Фрейденберг), но вовсе не о качестве его исследований. Во всяком случае, применительно к гуманитарным наукам это так.

Имеет ли смысл развивать отечественную науку путем повышения библиометрических показателей?

Михаил Вербицкий

В странах третьего мира и Восточной Европы показатели эффективности науки базируются на библиометрии, в Западной Европе, США и Японии – на решениях собственных экспертных комитетов. Оба способа хорошо совместимы с коррупцией, потому что экспертные комитеты зачастую движимы мафиозными интересами, а библиометрические данные подвержены произвольным манипуляциям.

Россия по уровню академической коррупции существенно превосходит большинство европейских стран, а экспертное сообщество здесь не сформировано и слабо, поэтому опираться на отечественные экспертные советы ни в коем случае не надо. В данный момент библиометрические показатели существенно адекватнее, чем решения большинства российских экспертных советов, хотя это, безусловно, изменится, когда жулики освоят манипулирование библиометрическими показателями.

Самой разумной представляется мне система, разработанная англичанами для их рейтинга RAE (https://en.wikipedia.org/wiki/Research_Assessment_Exercise), в соответствии с которым раз в 5-7 лет правительство оценивало британские университеты по заключениям международных (не британских – это важно!) экспертов и библиометрическим показателям. Есть масса проблем с британской системой, но двух главных недостатков (манипуляции библиометрическими показателями и мафиозных экспертных советов, ставящих высокие оценки членам своей мафии) эта система успешно избегала. Ныне, впрочем, для экономии средств RAE заменили на REF, который работает иначе (и к которому у ученых существенно больше претензий, чем к RAE).

Максим Кронгауз

Очевидно, что ответ должен быть отрицательным, в особенности если мы говорим о гуманитарных науках. Это, в частности, вытекает и из сказанного выше, поскольку может привести к уничтожению небольших, но качественных научных школ или интересных направлений исследований. Кроме того, такая стратегия крайне болезненна для русистики и изучения русского языка. В мировом масштабе это довольно небольшая и не слишком популярная область, в которой невозможны сверхвысокие показатели. Ориентация исключительно на библиометрические показатели приведет к оттоку исследователей из нее. В гуманитарных областях следовало бы говорить о приоритете изучения «своего», поскольку, если мы сами себе неинтересны, то вряд ли будем интересны кому-либо еще.

Александр Филиппов

К развитию науки как знания библиометрия не имеет никакого отношения. Она важна для управления наукой, распределения финансов, поддержки школ, журналов и т.п. Здесь, как мне кажется, впереди глухая неизбежность. Управление через систему показателей ведет к тому, что не только управленцы, но и управляемые начинают ориентироваться на эти показатели. Представления о том, что ученый может годами что-то искать и не находить, что его могут не признавать и не цитировать, а потом... Все это теперь непозволительная романтика. Система стала самореферентной и аутопойетической: она сама производит реальность, в которой живет. Вопрос, который приходится сейчас решать, состоит не в том, можно ли и нужно ли ориентироваться на эти показатели, а только в том, как спасти то, что еще можно спасти. Ответа на него у меня нет.

Ирина Савельева

Можно ответить коротко: нет. Сегодняшняя ситуация напоминает мне реакцию мирового академического сообщества 1990-х годов на грантовую политику. Тогда фонды стали давать гранты на новые, идеологически значимые темы (историю женщин, колониальные исследования, историю меньшинств и пр.). В результате специалистов по этим направлениям расплодилось изрядно. Впоследствии они превратились во влиятельную группу: их усилиями создавались учебные программы, кафедры, факультеты, журналы и т.п. Не думаю, что с точки зрения уровня исторической науки это был самый перспективный вариант. По такой же модели происходит и нынешняя переориентация ученых. Некоторые пишут для тех журналов и на те темы, которые есть в базах и которые будут цитировать. Вот реальное название статьи из журнала Postmedieval, позиционирующего себя как площадку для постмодернистов, внезапно обнаруживших в себе интерес к Средним векам, и, vice versa, медиевистов: «Неудержимое самоограничение: перформанс, искупление и ежедневная практика смерти в "Житии" Даниила Столпника» (Boundless Restraint: Performance, Reparation, and the Daily Practice of Death in the Life of Daniel the Stylite). Видимо, всеми перечисленными в этом титуле эротико-танатологическими практиками и должен заниматься гуманитарий, чтобы пробиться в вожделенные квартили.

Ориентация на индекс цитирования, по-моему, ведет и к нивелированию научного сообщества. Это как беллетристика. Хочешь, чтобы тебя читали, думай, что интересно читателю. Но ставка на определенный журнал и аудиторию – отнюдь не бесспорный стимул к развитию науки.

Наконец, суета на журнальном поле. Журнальные базы включают в себя и лучшие, и просто приличные журналы. Вряд ли там есть совершенный трэш, но многие престижные издания не прикладывают усилий, чтобы войти в WoS или Scopus, в то время как скороспелые журналы ставят это своей целью. Конечно, они подтягиваются до минимальных стандартов, но сам состав базы репрезентирует в итоге не лучших, а активных.

Закон создания академических сообществ предполагает их зависимость от оценки друг друга. Введение индексов цитирования как инструмента оценивания ведет к устранению сообщества от экспертизы. Понятно, что базы ловят то, что читают и цитируют специалисты. Из них же коллеги узнают, что того или иного автора они процитировали в энное количество раз чаще, чем другого. Кто, почему, в каком контексте, как считали и прочие вопросы остаются при этом без ответа. У нас практически исчез институт научного рецензирования (рецензии редки, культура их упала, и большей частью они заказные), и в этих обстоятельствах индекс цитирования, число заходов на страницу и другие безличные показатели превращаются в «наше всё». И здесь опасность индекса цитирования, как и других библиометрических показателей, состоит в том, что они усиливают власть администрации в научном сообществе. Знаете, есть серии шахматных этюдов «Белые начинают и выигрывают». Так вот, с превращением индекса цитирования в инструмент оценивания администраторы превратились в белые, а ученые – в черные фигуры

Этот выпуск «Academic forum» целиком, а также все предыдущие выпуски, читайте по этой ссылке в формате PDF

Авторы текста: Вербицкий Михаил Сергеевич, Кронгауз Максим Анисимович, Савельева Ирина Максимовна, Филиппов Александр Фридрихович, 8 октября, 2015 г.