Наука в библиометрических показателях

Отражает ли в принципе индекс цитирования качество публикаций исследователя и состояние науки в целом?

 

 

Ландо Сергей Константинович

Профессор Факультета математики

 

Под индексом цитирования часто понимают количество цитирований. Это не вполне так. Собственно индекс – это указатель, и изначальное предназначение индексов цитирования состоит в том, чтобы указывать библиографические данные публикаций, в которых цитируется тот или иной научный текст. Это очень полезная функция индекса; недаром различные общие или специализированные индексы так многочисленны, несмотря на то что сделать качественный и востребованный индекс весьма сложно. Напротив, функция подсчета количества цитирующих статей – элементарная составляющая функционала любого индекса.

Для того чтобы вопрос о связи цитируемости статей, их качества и уровня развития науки имел смысл, нужны способы оценки качества, отличные от подсчета количества цитирований. Традиционно инструментом такой оценки служит профессиональная экспертиза. Однако подобная экспертиза может быть неработоспособной в случае несформированности профессионального сообщества или в результате его деградации. В таком случае цитируемость является внешним источником хоть какой-то независимой информации.

Мой собственный опыт сравнения цитируемости статей различных исследователей и оценок, даваемых им математиками, которых я отношу к профессионалам высокого класса, приводит к следующим выводам:

 

                цитируемость работ, опубликованных до 1990 года, не несет значимой информации (где-то на рубеже 90-х годов проходит граница, по эту сторону которой всякий представляющий маломальский интерес научный текст становится общедоступным в кратчайшие сроки благодаря современным электронным средствам распространения информации);

 

                высокая цитируемость работы, опубликованной после 1990 года, может означать все что угодно – от уважительного признания мировым сообществом полученного в работе крупного достижения до графомании многочисленных псевдоученых, кормящихся вокруг бессмысленной тематики;

 

                низкая цитируемость работ исследователя, возраст которого перевалил за 50 лет, означает, что человеку не удалось убедить сообщество в том, что в его багаже имеются какие-либо значительные результаты.

Равным образом при характеризации состояния науки в стране в целом высокие показатели цитируемости могут означать что угодно, тогда как низкая цитируемость означает, скорее всего, отсутствие серьезных достижений, представляющих интерес для международного сообщества.

 

Пенская Елена Наумовна

ординарный профессор, руководитель Школы филологии факультета гуманитарных наук

Для меня проблема измерения чего бы то ни было начинается прежде всего с постановки двух вопросов: зачем измерять и как измерять. А потом – думать, как интерпретировать полученные данные, как учитывать разно-образные погрешности. Заботы наши имеют общеизвестную историю. Возраст ее – почти полвека. С 1960-х годов началась экспансия наукометрии.

Потребность формализовать все, что поддается и не поддается, знакома многим, независимо от их принадлежности к той или иной научной сфере. Формализация в гуманитарных науках дает, скорее всего, наиболее искаженную картину, если сравнивать с естественными и точными.

Но, думаю, некорректно судить о некоей абстрактной единой филологии. Такой не существует. Необходимо учитывать, что филологи-классики, медиевисты, слависты, структурные и теоретические лингвисты, историки языка по-разному чувствительны к библиометрическим измерениям. В каждом сегменте есть нюансы. Они зависят от целой группы факторов: сложившихся научных традиций и школ, особенностей публикационной сферы, приоритета статей или монографий, структурированности филологической среды, языковой доступности написанного данным ученым для его референтной профессиональной группы и для более широкого круга коллег.

Безусловно, хорошие публикации, определяющие развитие нашей дисциплины и задающие творческие ориентиры для практикующих лингвистов и филологов, в подавляющем большинстве случаев имеют высокую цитируемость. Обратное, однако, неверно. Далеко не всякая обильно цитируемая публикация отличается высоким качеством эмпирических обобщений и аккуратностью логических построений. Очень часто высокая цитируемость обусловлена обстоятельствами, не имеющими прямого отношения к научной ценности публикации, – такими, например, как положение и авторитет автора. Индекс цитирования, таким образом, в значительной степени отражает не качество исследования, а сложившуюся внутри дисциплины социальную иерархию.

Повышение библиометрических показателей, по-видимому, способно дать эффект, аналогичный тому, который наблюдается в промышленности при укреплении производственной дисциплины. Этот путь, однако, предполагает и очевидные риски, с которыми сталкивается любой утилитарный подход к науке. Когда все интеллектуальные ресурсы направляются на соблюдение норм научной выработки, начинают страдать те области исследования, которые не предполагают мгновенной публикационной отдачи, но в перспективе могут привести к творческому прорыву. Добавлю, что известные мне успешные лингвистические и филологические кафедры (например, кафедра лингвистики и философии в MIT, кафедры лингвистики в Чикагском университете, NYU, UCLA, UMass, Dahlem Center Freie University, институт славистики в Университете Гумбольдта) не устанавливают библиометрических нормативов для своих сотрудников, но, напротив, стимулируют создание среды для свободных исследований.

Индекс цитирования лишь косвенно отражает состояние науки, но, увы, принципы цитирования не анализируются. Здесь идет речь не о качестве, а о тенденциях. Например, индекс дает информацию об актуальности той или иной темы, которая нередко является не чем иным, как показателем преходящей «моды». Необходимо учитывать также, что индекс фиксирует только публикации, которые попали в РИНЦ, ВАК и пр., в то время как цитируют коллег по самым разнообразным научным изданиям. Другими словами, библиометрические показатели очень слабо отражают реальность, поскольку, к примеру, в eLibrary индекс цитирования рассчитывается иначе, чем в других международных системах. Количество цитат может быть определено жанром (например, нередко скопление ссылок на плохие учебники) и степенью популярности темы (работа частного характера может быть отличной, а ссылок на нее будет мало). Что касается индекса Хирша, то с этим, как мне кажется, уже разобрались: он в отношении гуманитариев не отражает ничего, поскольку не для них был и придуман изначально. В гуманитарных науках, кроме того, нет адекватных индексов, отсутствует возможность все учесть, поскольку пока еще далеко не все труды находятся в интернете (а как иначе считать?). На основе неполной информации делать выводы о состоянии науки ошибочно и опасно.

 

Бойцов Михаил Анатольевич

профессор факультета гуманитарных наук, заместитель декана по науке, заведующий Лабораторией медиевистических исследований

Всех, кого интересует «блеск и нищета» индексов цитирования, особенно применительно к гуманитариям, прежде всего отошлю к вышедшей еще в 2009 году в серии препринтов ВШЭ статье Ирины Савельевой и Андрея Полетаева «Публикации российских авторов в зарубежных журналах по общественным и гуманитарным дисциплинам в 1993–2008 гг.: количественные показатели и качественные характеристики». Конечно, за шесть лет кое-что изменилось, и прежде всего существенно выросло число российских авторов, отмеченных в базах данных Web of Science и Scopus, но суть дела осталась примерно прежней.

Библиометромания, охватившая Россию, как и ряд других стран, гуманитариев отнюдь не радует. Репрезентативность количественных показателей в роли инструмента оценки как состояния дисциплины в целом, так и персонального вклада того или иного ученого падает при движении от математики и физики через экономику и социологию к философии, истории и искусствоведению. Тем не менее списки публикаций в Scopus не совсем бесполезны: они позволяют отличить ученых, более или менее известных в международном сообществе, от тех, чья интеллектуальная продукция ориентирована всецело на внутренний интеллектуальный рынок.

Только из такого различия еще не вытекает автоматически, что первые ученые – хорошие, а вторые – плохие. Однако сами знаменитые базы данных, на взгляд гуманитария, удивительно дырявые: в них отсутствуют даже весьма уважаемые в научном мире журналы, не говоря уже о подавляющем большинстве ежегодно выходящих сотнями и тысячами серьезных монографий и сборников статей, значащих для развития гуманитарных дисциплин никак не меньше журналов. Я всегда спрашиваю у поклонников библиометрии, в каком квартиле, по их мнению, окажется самый что ни на есть ведущий в мире журнал, например, по шумерологии, да и заметят ли его вообще в какой бы то ни было базе данных (особенно если он выходит не на английском языке).

С точки зрения гуманитариев, сами замеряющие приборы настроены пока слишком грубо, а некоторые не настроены вообще. К «слишком грубо настроенным» я отношу те, с помощью которых пытаются инвентаризировать качественные публикации. В прошлом году коллега напечатал солиднейшую работу примерно на полторы сотни страниц во французском академическом журнале, издающемся с 1926 года. Однако журнал не попал до сих пор в поле зрения Web of Science и Scopus, отчего коллега по шкале общественной ценности безнадежно отстал даже от тех, кто тиснул всего-то легкий обзорчик на полдюжины страничек, но в «правильном» месте.

К «совсем ненастроенным» приборам я отношу оценку цитируемости. Оставим в стороне весьма частые в гуманитарной сфере случаи, когда на какую-нибудь книгу или статью начинают массово ссылаться лишь через годы, а то и десятилетия после ее выхода (бедняга автор рискует только после кончины заслужить, наконец, благоволение библиометрического начальства). Однако, ограничиваясь даже днем сегодняшним, очевидно, что пока ни один из библиометрических ресурсов, включая Google Scholar, просто не в состоянии систематически отслеживать цитаты, разбросанные по морю вполне качественной гуманитарной литературы. Впрочем, верно и противоположное: все эти ресурсы замечают порой сущую чушь, не имеющую к развитию науки никакого отношения.

Если же мы всерьез озаботимся поиском цитирования наших историков в зарубежной литературе и проведем его на порядок тщательнее, чем это делают вышеупомянутые ресурсы, то наверняка придем к следующим результатам. Выявится ряд ссылок на российскую историческую и культурологическую классику (М.М. Бахтин, А.Я. Гуревич), хотя и он окажется не настолько длинным, как нам бы хотелось. Из примерно десяти тысяч историков, живущих и работающих в России, всех специальностей (кроме одной, о которой ниже) найдется вряд ли более сотни, заслуживших одну западную ссылку и более. И только специалисты по советской (а возможно, уже и постсоветской) истории будут радовать нас относительно высокими и стабильными показателями цитирования. Должны ли мы из этого делать вывод, что всех остальных следует немедленно уволить, отправить на пенсию или посадить на хлеб и воду? Не думаю. Сначала стоило бы разобраться, что именно замеряет частота цитирования при нынешнем состоянии этого инструмента.

В итоге мой ответ на поставленный вопрос звучит так: при сегодняшних условиях индексы цитирования дают материал для размышления по поводу как качества публикаций отдельного исследователя, так и состояния науки в целом. Любые серьезные выводы должны делаться с учетом и других факторов.

Имеет ли смысл развивать отечественную науку только путем повышения библиометрических показателей?

 

Сергей Ландо

Само по себе повышение показателей публикуемости и цитируемости не может привести к развитию науки. Задача фундаментальной науки – прояснение нашего понимания природы, и развитие науки может и должно быть направлено на решение именно этой задачи. Низкие значения библиометрических показателей – признак болезни, причем далеко не единственный и не главный, но никак не сама болезнь. Повышение библиометрических показателей, рассматриваемое как основной инструмент развития науки, напоминает попытку сбить температуру. Подобное действие может загнать болезнь внутрь и сделать ее неизлечимой.

 

Елена Пенская

Развивать науку путем повышения библиометрических показателей, конечно, невозможно. Плохи не сами показатели как таковые, а то, что они стали доминирующим инструментом при оценке вуза/института и каждого сотрудника в отдельности. Словом, эти показатели могли бы быть косвенным свидетельством, но никак не основным.

Филологи любят заглядывать к любимым соседям-негуманитариям. Любопытно, что математики успешно сопротивляются экспансии наукометрии, формализационные претензии которой заметно выросли за полвека. Неслучайно в 2009 году Международный математический союз обнародовал результаты исследований, согласно которым практика использования библиометрических показателей для оценки научной деятельности в области математики негативно сказывается на последней, и вынес рекомендацию отказаться от применения библиометрии для анализа продуктивности труда ученых-математиков. Коллеги поделились со мной описанием способа, каким сегодня строят оценку научной работы в Великобритании. Система называется Research Excellence Framework и создана для оценки достижений всех научных организаций, университетов, департаментов, лабораторий Великобритании за 2008–2013 годы. Филологи, как и другие гуманитарии, рассматриваются отдельной комиссией, которая совсем не учитывает библиометрические данные при анализе. При оценке гуманитарных наук обращаться к наукометрии строго запрещено. Важно отметить, что при составлении рейтингов отсутствует импакт-фактор журналов в качестве одного из параметров измерения. Почему сегодня от этого отказались? Потому что проверяющим комиссиям на необходимость исключить этот показатель из рассмотрения указал Комитет по науке и технологиям палаты общин парламента Великобритании. Решение комитета было мотивировано широким общественным обсуждением и сформировавшимся в итоге негативным мнением по вопросу использования импакт-фактора в качестве одного из критериев оценки. Такое неприятие было обусловлено очень простой мыслью: не важно, где опубликовано, важно, что опубликовано.

Несколько лет назад у нас тоже объявили конкурс на разработку системы научного мониторинга под названием «Карта российской науки». Тестовая версия, предъявленная Министерством образования и науки, вызвала негативную реакцию. Каждый из нас уже столкнулся с необходимостью заполнять анкеты, в которых надо указывать значения большого количества библиометрических показателей. И при этом выясняется, что в различных базах данных значения могут отличаться в несколько раз! Как быть ученому в такой ситуации?

Думаю, что для нас продуктивно развивать честное и независимое рецензирование трудов. Если журналы и другие научные издания будут принимать статьи на основе предварительного независимого рецензирования, это действительно поднимет качество науки.

 

Михаил Бойцов

Вопрос сформулирован таким образом, что предопределяет естественный однозначный ответ: разумеется, нет. Наука не является функцией от библиометрических показателей. Это библиометрические показатели – при условии, что они хорошо настроены, – могут, возможно, отражать те или иные особенности текущего состояния и динамики науки. Тем не менее вовсе отворачиваться от них было бы сегодня, разумеется, глупостью. Просто такие инструменты требуют осторожного и вдумчивого применения, к тому же при обязательном сопоставлении с результатами экспертной оценки. Что касается «ведущей и направляющей» функции библиометрических показателей сегодня, то пока я заметил только один вектор их влияния. Нас настойчиво побуждают печататься в журналах из определенного списка. В нем встречается откровенно слабенькая периодика, но в целом уровень списка достаточно высок, чтобы не сопротивляться насмерть появлению в нем. Другое дело, что хватает и других, не менее достойных в глазах научного сообщества мест для публикации, и то, что они пока сведены до уровня третьего сорта, несправедливо и вызывает естественную досаду.

Этот выпуск «Academic forum» целиком, а также все предыдущие выпуски, читайте по этой ссылке в формате PDF

10 сентября, 2015 г.