- A
- A
- A
- АБB
- АБB
- АБB
- А
- А
- А
- А
- А
Эффект ранжирования: кому поможет белый список журналов
.png){kind=spacer}
В рамках XVI Апрельской конференции состоялся круглый стол, посвященный экспертному ранжированию, на котором первый проректор Вадим Радаев и проректор Мария Юдкевич дали свои комментарии по поводу проекта, а начальник аналитического отдела Управления академического развития Иван Стерлигов рассказал о методике и результатах ранжирования. В этом выпуске «Окон роста» рассмотрены подробности методики формирования списка, а также истоки и смысл всего проекта.
Истоки «журнального проекта»
Ранжированные списки журналов важны, в том числе, для оценки публикационной активности сотрудников и решения задач стратегического планирования Высшей школы экономики. Существующих баз и списков (WoS, Scopus, ВАК, РИНЦ) для этого недостаточно: в иностранные базы входит лишь малая часть российской научной периодики, а в списке ВАК и РИНЦ, наоборот, присутствуют тысячи журналов совершенно разного качества. Поэтому и было решено сформировать списки по приоритетным для ВШЭ направлениям. Так в 2014 году и появился «журнальный проект» Высшей школы экономики. Белый список журналов будет служить одним из инструментов оценки в ходе конкурсного отбора в профессорско-преподавательский состав, кроме того, продемонстрирует коллегам, где стоит публиковаться, а изданиям – к каким журналам нужно стремиться.
На круглом столе Вадим Радаев подчеркнул актуальность проекта, над которым в течение года велась работа: «Не секрет, что мы живем в период тотального увлечения библиометрией и рейтингами. И мы прекрасно понимаем несовершенство любых подсистем формальных количественных измерений. Главная проблема заключается в необходимости измерять неизмеряемое, а именно в измерении академической деятельности, когда она производится в промышленных масштабах, и в сопоставлении результатов этой деятельности не только внутри небольших групп профессионалов, но и кросс-дисциплинарно и кросс-организационно».
«Одно из ограничений «журнального проекта» заключается в том, что его результаты очень быстро устареют, – отметила Мария Юдкевич. – По каким-то направлениям результаты будут актуальными дольше, по каким-то они, видимо, устарели уже сейчас. Вопрос жизнеспособности результатов проекта прежде всего состоит в том, насколько регулярно мы сможем обновлять информацию. Одна из идей проекта – создать и закрепить ориентиры, которые помогут коллегам из разных университетов и научных организаций направить публикационную активность в правильное русло».
Как и кем составлялись списки
Работа над проектом велась Управлением академической экспертизы НИУ ВШЭ с февраля 2014 года по январь 2015-го. К участию в проекте привлечено более 600 экспертов, заполнивших 10 500 анкет по 13 направлениям науки.
Научные отрасли, по изданиям которым проводилось исследование, были выбраны исходя из актуальности для ВШЭ. В итоге сформировалось 13 ключевых направлений: информатика (Computer Science), история, лингвистика, фундаментальная математика, менеджмент, политология, право, прикладная математика, психология, социология, филология, философия и экономика.
Конечных экспертов, оценивающих журналы, номинировали эксперты верхнего уровня (не менее 7 на одно направление). Эксперты верхнего уровня отбирались командой проекта. При их отборе были охвачены основные научные школы и ключевые подразделы внутри направлений. Каждый эксперт верхнего уровня представил список из 25 кандидатов в конечные эксперты. Конечные эксперты (не менее 40 на направление) подбирались так, чтобы от каждого эксперта верхнего уровня их было примерно поровну. Никаких формальных требований к экспертам помимо знания русского языка не предъявлялось. Работа экспертов верхнего уровня и конечных экспертов оплачивалась. Имена экспертов пока не раскрываются.
Стартовые списки журналов были сформированы на основе данных РИНЦ. Из списков были исключены издания, выходящие с периодичностью менее двух раз в год (ежегодники и сборники). В исследование включались только журналы, редакции которых находятся на территории Российской Федерации.
Анкетирование конечных экспертов проводилось в онлайн-системе Управления академической экспертизы ВШЭ в три шага. Эксперт заполнял стандартную анкету эксперта УАЭ ВШЭ, просматривал и при желании дополнял стартовый список журналов, а затем отмечал в нем издания, удовлетворяющие двум условиям: журнал должен быть знаком эксперту и быть научным. Затем эксперт по каждому отмеченному журналу заполнял анкету с набором закрытых вопросов. На основе ответов журналы включались в группы А1, А2, B и С.
Тонкости ранжирования
По итогам проекта журналы разбиты на три категории в соответствии с распределением ответов респондентов на вопросы анкеты:
· А1 – высокий уровень, «широкий профиль»;
· А2 – высокий уровень, «узкий профиль»;
· B – средний уровень.
При этом применялась «мягкая» фильтрация аффилированных экспертов: не учитывались анкеты сотрудников журнала и членов редколлегии, но учитывались анкеты любых других сотрудников организации, издающей журнал.
А1 – высокий уровень, «широкий профиль»
В эту категорию вошли ведущие журналы, известные большинству экспертов в рамках каждого из направлений. Попадали журналы в категорию А по следующим критериям:
• не менее 80% респондентов отметили издание как известное им и научное;
• не менее 80% из них читали статьи из этого журнала в последние 3 года;
• не менее 50% отметивших журнал респондентов оценили актуальность прочитанных статей как высокую;
• не менее 70% отметивших журнал респондентов оценили научный уровень прочитанных статей как высокий;
• не менее 70% отметивших журнал респондентов считают журнал лидирующим в России или лидирующим в мире и в России.
А2 – высокий уровень, «узкий профиль»
В эту категорию вошли журналы с узкой тематической специализацией, которые высоко оценила группа респондентов в рамках направления. При этом:
· журнал не попал в категорию A1;
· журнал отметили не менее 5 экспертов, которые просматривают каждый номер журнала или прочли более 3 статей из него за последние три года («активные читатели»);
· не менее 70% респондентов оценили актуальность прочитанных статей как высокую;
· не менее 70% респондентов оценили научный уровень прочитанных статей как высокий;
· не менее 70% респондентов посчитали журнал лидирующим в России или лидирующим в мире и в России.
B – средний уровень
К категории B отнесены журналы, оцененные достаточно высоко, но не попавшие в A1 или А2. Для их выделения предложены варианты фильтрации, соответствующие A1 и A2 с существенно сниженными порогами:
• журнал отметили не менее 20% респондентов;
• не менее 50% из них читали статьи из этого журнала за последние 3 года;
• не менее 50% из отметивших журнал респондентов оценивают актуальность прочитанных статей как высокую или среднюю;
• не менее 50% из отметивших журнал респондентов оценивают научный уровень прочитанных статей как высокий или средний;
• журнал отметили не менее 3 экспертов, которые просматривают каждый номер журнала или прочли более 3 статей из него за последние три года; из них не менее 70% респондентов оценивают актуальность прочитанных статей как высокую или среднюю, не менее 70% респондентов оценивают научный уровень прочитанных статей как высокий или средний.
Особенности и ограничения методики: что дальше?
По словам Ивана Стерлигова, примененной методике присущ ряд ограничений. Так, при оценке журналов не учитывалось мнение многочисленных опрошенных экспертов, считающих все российские научные журналы плохими и на основании этого отказавшихся от анкетирования, поэтому выборка респондентов оказалась смещена в сторону почитателей российских журналов. В рамках проведения ранжирования могли наблюдаться тематические перекосы из-за неравномерного отклика респондентов: некоторые подразделы и организации представлены чрезмерно, некоторые – наоборот. Численность респондентов (40+ на направление) может быть недостаточной для адекватного охвата больших и разнообразных областей науки. В процессе ранжирования намеренно не учитывался технический уровень работы журналов, упор делался исключительно на их научный авторитет.
По итогам ранжирования в категорию B попали очень разные по своему уровню журналы. В итоговом отчете, который планируется опубликовать в ближайшее время, для всех этих журналов будут опубликованы количество оценивавших их экспертов, в том числе «активных читателей», и доля респондентов, высоко оценивших данный журнал. «Применять полученные списки уместнее не в качестве механического фильтра, а как аналитический инструмент для обоснованного принятия решений. Дополнительная информация о различиях журналов внутри категории B для этого очень важна», – отметил Иван Стерлигов в комментарии нашему изданию.
В завершение круглого стола Мария Юдкевич попросила поделиться своим мнением всех заинтересованных коллег, которые видят в методике отбора лучших журналов ошибки или, наоборот, сильные места, на которые стоит обратить внимание, и добавила, что существует заинтересованность в обновлении списка в рамках экспертных обсуждений по актуальным направлениям и в различных форматах. В соответствии с традициями Высшей школы экономики следующим шагом станет сбор предложений от факультетов и от внешних экспертов, на основе которых будут корректироваться решения руководства.
Итоговый список журналов доступен по этой ссылке:http://www.hse.ru/academexpert/journals, з десь же в ближайшие недели будет размещен текст полного отчета по проекту.
Мнения, вопросы и предложения по «журнальному проекту» можно присылать начальнику аналитического отдела Управления академического развития Ивану Стерлигову по адресу: isterligov@hse.ru.