Наукометрический центр НИУ ВШЭ

В Высшей школе экономики появилось новое подразделение – Наукометрический центр. Директор центра Иван Стерлигов рассказал «Измерениям науки» о его целях и задачах на ближайший год.

 

Стерлигов Иван Андреевич

Наукометрический центр: Директор центра

 

О наукометрии

Наукометрией в широком смысле слова называют измерение любых параметров и характеристик научной деятельности, прежде всего научной коммуникации. Наукометрия как наука зародилась во второй половине XX века, хотя первые работы по количественному анализу научной литературы и даже цитирований вышли еще в 1920-е годы. Основателями ее принято считать Дерека де Солла Прайса и Василия Налимова, который и ввел этот термин в своей монографии, выпущенной в соавторстве с Зинаидой Мульченко в 1969 году, и, кстати, удивительно актуальной по сей день. Прорывные достижения в этой области стали возможны благодаря Юджину Гарфилду, основателю Web of Science. Именно его базой пользовались Налимов с Мульченко. Поражает, что в их книге есть почти все, чем занята современная наукометрия: графики числа публикаций по странам, соотнесение расходов на науку как доли ВВП и числа публикаций, попытки оценить читаемость публикаций, т.е. в современном понимании «альтметрики», визуализация сетей соавторства через графы, анализ преемственности методик исследований через анализ ключевых слов и многое другое. И все это сделано в докомпьютерную эпоху!

Сейчас в наукометрии никаких титанов, сопоставимых с Прайсом и Налимовым, нет и в помине. Зато есть огромный интерес к этой области как со стороны тех, кто управляет наукой, так и со стороны самих ученых. Развитие информационных технологий и баз данных привело к тому, что наукометрия, а вернее, ее подраздел – библиометрия (изучение публикаций) стала доступной всем желающим. Кажущаяся простота инструментов оценки породила т.н. Metric Tide: цунами непроработанных индикаторов и «целевых показателей» захлестнуло всю сферу управления наукой и научной коммуникации в большинстве стран. Наш центр как раз и создан для того, чтобы минимизировать ущерб от этого цунами для Вышки и, надеемся, России в целом. Мы концентрируемся на прикладной наукометрии. 

 

О нас

Научной политикой в разных ипостасях я занимаюсьдесять лет. До Вышки работал директором центра в одном из министерских подведомственных НИИ, где занимался аналитическим сопровождением ряда проектов, из которых стоит упомянуть мегагранты и создание Совета по науке. Пару лет назад я перешел в НИУ ВШЭ, став начальником аналитического отдела Управления академической экспертизы.

Функционал нашего отдела был связан с экспертизой заявок по академическим надбавкам, а также со всем, что касается различных формализованных схем оценки научной деятельности сотрудников Вышки с использованием наукометрии. В сферу наших компетенций вошли и черные списки журналов, и белые списки конференций, издательств, которые так или иначе учитываются при оценке заявок или при назначении надбавок, а также расчет показателей общей результативности университета для мониторингов, внутренней и внешней отчетности.

В конце 2015 года отдел (помимо меня это сейчас Альфия Еникеева, Виктор Трофимов и Татьяна Савина) был преобразован в Наукометрический центр. Это связано как с расширением круга задач внутри университета, так и с явным ростом спроса на аналитику и образовательные программы в области наукометрии со стороны внешних заказчиков. Бэкграунд у членов нашей команды разный: Альфия имеет богатый опыт работы журналистом, много лет освещала российскую научную политику, Виктор до Вышки трудился аналитиком в коммерческих структурах, Татьяна – математик, защитила кандидатскую диссертацию по теории игр.

 

 

Что мы делаем

 

Наш центр занимается прикладной наукометрией в широком смысле слова. Помимо изучения характеристик публикаций, то есть библиометрии, мы также анализируем множество прочих объектов (от CV и личных страничек ученых до академических соцсетей, грантовых заявок и ресурсов типа The Mathematics Genealogy Project). Хотя на практике, конечно, большая часть нашей работы связана с библиометрией по публикациям, проиндексированным в базах Web of Science и Scopus, и подготовкой соответствующей аналитики для руководства, мы активно занимаемся и качественными исследованиями, для чего привлекаем ведущих отечественных и иностранных ученых. Это уже выходит за рамки наукометрии, но хорошо согласуется с современным пониманием research evaluation как сочетания peer review и наукометрических индикаторов.

 

В частности, в прошлом году мы завершили работу над большим проектом по ранжированию российских научных журналов. В проекте участвовали порядка 700 экспертов, которые заполнили более 10 000 анкет по журналам, распределенным по 14 областям науки. На этот проект мы потратили около двух лет. Последний этап выполнили по направлению «Образование», его результаты и финальный отчет будут опубликованы на нашем сайте в ближайшее время. Списки по остальным направлениям уже вывешены и предсказуемо вызвали массу разнообразных отзывов, которым мы всегда рады. Кстати, не следует путать наш проект с Russian Science Citation Index (RSCI). Наш проект сконцентрирован на приоритетных для Вышки областях, и наши списки хороших журналов вышли гораздо короче из-за разницы в уровне планок. Результаты нашего проекта используются кадровыми комиссиями, на основе наших результатов и RSCI будет создан обновленный белый список журналов для надбавок первого уровня.

 

Список изданий, за публикации в которых не назначаются надбавки, в просторечии именуемый черным списком ВШЭ, составляем тоже мы, привлекая при необходимости внешних экспертов, но окончательное решение по всем изданиям остается за Советом Научного фонда нашего университета. Мы разработали детальную процедуру экспертизы и десятки библиометрических и иных критериев, которые опубликованы на сайте Вышки. Сами списки, конечно, открыты только для сотрудников Вышки по юридическим соображениям. Отмечу, подобной системы оценки нет ни в одном российском вузе, а наш набор критериев высоко оценили внешние эксперты, например президент Ассоциации научных редакторов и издателей Ольга Кириллова. За конец 2015 года проведено около 200 экспертиз. В оценке иностранных журналов открытого доступа мы в основном полагаемся на всем известного Джеффри Билла, с которым находимся в постоянном контакте.

 

Увы, многие недобросовестные издания проникли в международные базы данных. Наша свежая и крайне удручающая статистика по такого рода публикациям по странам и по вузам 5-100 будет опубликована в ближайшем номере HERB (herb.hse.ru). В этом журнале, кстати, вышел ряд наших публикаций на разные интересные темы – от сравнения процессов интернационализации науки в странах бывшего Варшавского договора https://herb.hse.ru/data/2015/09/24/1075563638/HERB_05_view.pdf#page=6 до библиометрического изучения оттока российских математиков с помощью набора часто встречающихся русских фамилий (последняя работа написана совместно с деканом матфака Вышки Владленом Тимориным). https://herb.hse.ru/data/2015/12/14/1134503138/HERB_06_view.pdf#page=10

 

Помимо формирования различных списков журналов, конференций и издательств для целей выдачи надбавок и оценки публикационной активности, мы ведем реестры всех публикаций ВШЭ в Web of Science и Scopus, вышедших с 2015 года, вручную расписывая их по мегафакультетам и кампусам. В нашем анализе мы используем как обычный, так и долевой подсчет (fractional counting). Последний помогает избежать перекосов, возникающих при стандартном подсчете, и точнее оценить вклад, например, того или иного факультета в создание статьи. Так, если из пяти соавторов четверо работают на факультете экономических наук, а один – на факультете математики, то относительный вклад этих подразделений в создание статьи при обычном подсчете одинаковый, а при долевом – совершенно разный. Долевой подсчет применяется как для самих публикаций, так и для полученных ими цитирований, где расхождения с обычным подсчетом могут быть еще более драматическими.

 

Кроме того, вместе с коллегами из Информационно-рейтингового центра Вышки мы участвуем в прогнозах по рейтингам, пытаясь вскрыть эти «черные ящики» в условиях дефицита информации о деталях методологии их подсчетов.

 

Важная часть нашей работы заключается в консультировании сотрудников Вышки по вопросам выбора журналов для публикации. Конечно, мы оцениваем журналы не с точки зрения их содержания, а с точки зрения авторитетности издателя, цитируемости, распределения публикаций по организациям и странам, качества индексации. Нередко случается, что журнал присутствует в базах Scopus и Web of Science, но его номера вносятся туда с опозданием, иногда в два года, или часть статей не доходит до баз вовсе или доходит в обрезанном виде, без аффилиаций и списков литературы, т.е. исходящих цитирований.

 

Задача привлечения внешних заказчиков и зарабатывания денег поставлена перед нами только сейчас, но мы уже находимся в стадии подписания договора с одним из ведущих российских вузов и ведем переговоры с иностранными заказчиками. У меня есть существенный опыт подготовки аналитики для проектного офиса 5-100. Например, я изучал среднюю нормализованную ожидаемую цитируемость публикаций, вклад «братских могил» в цитируемость, изменение числа аффилиаций на автора и т.д. Вероятно, эта работа будет продолжена. Кроме того, мы организуем двухдневные интенсивные курсы продвинутой прикладной наукометрии, которые пройдут весной.

 

 

 

Ориентиры и партнеры

 

В своей работе мы ориентируемся на ведущие международные наукометрические центры. В частности, на один из самых авторитетных в мире – CWTS (Centre for Science and Technology Studies), который существует при Лейденском университете. Он известен прежде всего Лейденским рейтингом и своими разработками в области наукометрических индикаторов. Например, журнальная метрика SNIP (Source-Normalized Impact per Paper), показывающая уровень авторитетности журнала и используемая при анализе публикаций в Scopus, была разработана этим центром.

 

Кстати, мы активно используем этот индикатор при анализе публикаций авторов Вышки в Scopus. Он позволяет учитывать уровень цитирований в каждой научной области, поэтому может быть использован для сравнения публикаций в разных научных направлениях. Средневзвешенный SNIP публикаций в сочетании с долевым подсчетом позволяет оценить уровень свежих публикаций, по которым еще не успела накопиться цитируемость. Это особенно актуально для Вышки, которая бурно наращивает свою публикационную активность. Любопытно, что по этому показателю экономфак наконец обогнал матфак, который все последние годы был у нас наукометрическим лидером. Правда, по базе Web of Science, где есть аналогичные нормализованные индикаторы, факультет математики по-прежнему впереди.

 

Помимо CWTS есть еще Science-Metrix в Канаде, OST во Франции, AG Bibliometrie в Германии. Но всего таких центров в мире не больше полутора десятков, и в России каких-то прямых аналогов того, что существует в этих странах, мы не видим.

 

Но у нас в стране все же есть свое профессиональное сообщество по наукометрии, пусть и очень небольшое. Это, например, коллеги из отдела по оценке результативности научной деятельности Института статистических исследований и экономики знаний ВШЭ, из специализированных подразделений Уральского федерального университета и СПбГУ, ВИНИТИ. В академической, фундаментальной наукометрии широко известны работы замдиректора библиотеки Вышки Владимира Пислякова, опубликованные в ведущих международных журналах. Конечно, мы надеемся работать в контакте с ними.. Наукометрия сейчас очень востребована. Нравится это кому-то или нет (в основном не нравится), но интерес к ней дальше будет только расти как в мире в целом, так и в Вышке. Мы открыты для любых предложений! Пишите мне на isterligov@hse.ru.

Этот выпуск «Измерений науки» целиком, а также все предыдущие выпуски, читайте по этой ссылке в формате PDF

11 февраля, 2016 г.