Отражение и преображение, или гуманитарии под воздействием наукометрии

В очередном выпуске «Измерений науки» речь идет о проблемах и последствиях наукометрической оценки гуманитарного знания. Рассматриваются коллизии между методиками и принципами оценки, разработанными для «статейных» естественных наук, и гуманитарной традицией научной коммуникации с ее многообразием источников и форматов. Актуальность темы не должна вызывать сомнений у российских гуманитариев, которые в последние годы – и с некоторым опозданием по сравнению с прочими областями – обнаружили себя под мощнейшим прессингом чужеродных формальных систем «оценки результативности». Почему это происходит, как воспринимается, какие последствия несет – в кратком обзоре Ивана Стерлигова.

По мере распространения прикладной наукометрии гуманитарии стали чуть ли не главной ее жертвой. Произошло это постепенно, ведь гуманитарные дисциплины, особенно вне США и прочих развитых англоязычных стран, максимально далеки от той модели научной коммуникации, которая сделала наукометрию осмысленной, и поэтому до поры до времени этой «игрой в цифирь» не интересовались. Когда Юджин Гарфильд творил Web of Science, он исходил из простой эмпирической закономерности: в рамках каждой научной области львиную долю наиболее значимых публикаций выпускает небольшое число научных журналов, т.н. ядро, а попытка охватить все остальные ценные публикации приводит к необходимости перелопачивать экспоненциально растущую по мере отдаления от ядра гору литературы. Поэтому не нужно никакое полное покрытие, нужно выделить журналы ядра и индексировать их.

Более того, если взять всю науку – в англоязычном понимании, т.е. science, – достаточно всего тысячи журналов, чтобы туда вошли практически все журнальные ядра всех дисциплин, и они будут публиковать большинство значимых результатов ‒ во всяком случае, так Гарфильд сформулировал «закон концентрации» имени самого себя в 1971 году[1]. Так как ученые из смежных областей найдут для себя что-то интересное, скорее всего, в ядре данной области, то выходит, что и общее метаядро плотно стянуто ссылочными нитями в один гомогенный science-комок. Хорошие журналы одинакового формата цитируют другие такие же журналы: это и есть ткань науки, тот платочек, на котором весело отплясывает вся классическая наукометрия.

Далековато от мира «Фаланстера» или приснопамятных «Эйдоса» и «Графомана»[2]. Провинциальные сборники чтений имени малоизвестных писателей, аннотированные издания якутских сказок, журналы ‒ но закрывающиеся после первого номера, и т.д. Как правило, наукометристы, говоря о гуманитарной науке и слабой применимости к ней формальных количественных методов оценки, подразумевают две вещи, прямо связанные с характеристиками имеющихся в их распоряжении инстументов (баз цитирования). Во-первых, это ключевая роль монографий и прочих нежурнальных источников, во-вторых, фрагментарность дискурса, значимость локальных тематик и локального видения мира (огрубляя, не все подражают американцам из гарвардов)[3]. Кроме того, часто речь идет о более субъективном, некумулятивном характере гуманитарной мысли, о своеобразии рецензирования, значимости разовых архивных или археологических открытий вместо воспроизводимых экспериментов и многом другом.

Конечно, базовый объект изучения наукометрии – ссылка – в гуманитарных науках тоже присутствует, хотя и имеет свои особенности. В 1979 году Гарфильд, основав Arts&Humanities Citation Index, провел первое в своем роде широкомасштабное исследование цитируемости авторов-гуманитариев начиная с Гомера. На первом месте оказался Ленин, которого вывели в лидеры всего два советских исторических журнала, взятые Гарфильдом в свою базу на почве искренней симпатии к СССР. За Лениным ожидаемо оказались Маркс и Энгельс.

С практической точки зрения, однако, важен не факт накрутки Хирша мертвому вождю, а то, что исследование отца-основателя прикладной наукометрии парадоксальным образом крайне далеко от нынешнего прикладного наукометрического мейнстрима, используемого в т.ч. рейтингами вузов. Все в этом мейнстриме строится на простом учете цитирований на публикации, проиндексированные в базах, а у Ленина в WoS только пара случайных послевоенных перепечаток с нулевой цитируемостью. Ссылки на произведения в базе есть, но самих произведений нет ‒ вот это типичная ситуация для гуманитарных наук, приводящая к катастрофически низкой «стандартной» цитируемости по WoS/Scopus в сравнении с естественными науками. Замечу, инструменты для реального анализа всех цитирований в обеих упомянутых базах имеются, что позволяет получать интересные результаты (рис. 1), но дело это слишком трудоемкое для широкомасштабного применения в пресловутой «оценке результативности», так как требует долгой ручной очистки данных.

Рисунок 1. Карта цитирований авторов из списков литературы публикаций 2006‒2015 гг индексируемых в WoS иностранных гуманитарных и общественно-научных журналов, посвященных России. Размер шарика – число цитирований автора, близость шариков определяется тем, насколько часто они цитируются вместе, в одних и тех же работах. Показанная цветом кластеризация проведена автоматически алгоритмом VosViewer и хорошо отражает различные дисциплины – литературоведение, историю культуры и повседневности, экономическую историю, социологию, политологию.

 

По неопубликованным данным ведущего наукометрического центра CWTS (Leiden University), внутреннее покрытие Web of Science, т.е. процент позиций из списков литературы проиндексированных публикаций, которые сами проиндексированы в WoS, кардинально отличается для разных групп наук. Исследовав этот показатель в динамике, в CWTS пришли к следующим результатам: в науках о жизни и медицине с 1984 по 2014 год он вырос с 62 до 84%, в естественных науках – с 55 до 78%, в инженерных – с 31 до 66%, в юриспруденции и гуманитарных науках – с 10% всего до 23%. Это отчасти объясняет, почему при сопоставимой средней длине списков литературы авторы и журналы в гуманитарных науках при упрощенном анализе имеют в базах гораздо меньше цитирований.

Ясно, что одна из причин в том, что и в WoS, и в Scopus гуманитарные науки представлены прежде всего журналами, а немногие книги в основном выпущены издательствами «первого англо-международного» (университетские издательства топовых американских и английских вузов) и «второго англо-международного» (Routlege и Palgrave) уровней. Российские книжные издательства в WoS и Scopus пока вовсе отсутствуют.

С журналами все тоже очень криво. Картинка выше сделана по данным иностранных журналов о России. По российским журналам про Запад или Восток такую же не построить – они почти не индексируются. Канадские авторы в 2016 году опубликовали исследование, в котором сравнивали покрытие WoS и Scopus с наиболее полным мировым каталогом журналов Ulrich’s (рис. 2). Смещение для целого ряда стран предсказуемо оказалось крайне серьезным – и это без учета того, что Ulrich’s в нашей стране не популярен и охватывает далеко не все издания. От себя добавлю, что неанглоязычные журналы, таки попавшие в WoS/Scopus, очень часто индексируются неполно: списки литературы не переведены и/или недооформлены, в итоге заветные ссылки, эта валюта современного научного символического капитала, просто теряются.

Рисунок 2. Относительное по отношению к данным Ulrich’s распределение гуманитарных журналов в WoS и Scopus по странам, а также абсолютное число изданий. Источник: MongeonandPaul-Hus 2016

Иногда доходит до смешного: в рамках VII рамочной программы ЕС международной группой специалистов по гуманитарным и общественным наукам при поддержке наукометристов был освоен грант на обзор исследований по практикам и проблемам оценки этих самых наук. В отчете авторы признались: поиск литературы, который коллективный европейский разум додумался делать по WoS и Scopus [5], нашел, в общем, только англоязычные журнальные издания. Их и обозрели, найдя и перепечатав массу ламентаций про недостаток покрытия неанглоязычных и нежурнальных литератур.

В целом никто не будет спорить с тем, что чем дальше та или иная дисциплина от естественно-научного журнального формата, тем хуже для нее работает стандартная наукометрия. Но времена меняются, и под воздействием множества факторов (административное давление – лишь один из них) научная коммуникация неуклонно смещается в сторону того самого журнального англоязычного формата.

В марте этого года большой коллектив авторов опубликовал сравнительное исследование публикационных практик в общественных и гуманитарных науках в восьми европейских неанглоязычных странах, включая целый ряд государств бывшего советского блока [6]. Вывод однозначен: «во всех странах доля [журнальных] статей и доля публикаций на английском растет», причем во Фландрии, где формализованная оценка публикаций введена давно и изначально учитывала только публикации в Web of Science, на английском выходит уже почти 80% рецензируемых текстов, а в скандинавских странах, где действует схожая модель формальной оценки науки, этот показатель превышает 60%.

В том же месяце опубликованы весьма интересные результаты сравнительного опроса 420 шведских и австралийских университетских гуманитариев на тему использования ими библиометрии и их отношения к ней [7]. Треть респондентов сообщили, что применяли метрики в своих грантовых заявках, CV и т.д., причем в Австралии этот показатель составил 62%, а в Швеции 14% (в общественных науках, статья про которые у авторов еще не вышла, это 68 и 31%). Чаще всего использовались общее число цитирований и индекс Хирша, а в качестве источников данных приводились обычно Google Scholar, WoS, Academia.edu и ResearchGate. Кроме того, очень многие использовали национальные рейтинги журналов, в которых издания разбиты на два-три уровня, а некоторые упомянули до боли знакомые ученым Вышки квартили SciMago. В целом гуманитариям больше всего нравится коммерческая платформа Academia.edu с ее популярными альтметриками вроде числа просмотров и неоднозначным отношением к копирайту, воспринимаемая как нечто для самих ученых, а не результат department policies. Важно также, что в ответах просвечивает некоторый конфликт поколений:

“Fortunately, I am old and consequently I do not have to bother. Had I been young, I would have left academia rather than adjust to the moronic ‘publishing strategies’ forced upon us” (Swedish, assistant professor, History and Archaeology)

 “Shift to publishing in English and emphasis on publishing in peer review journals (thank god). Hopefully this decreases the degree of laziness among researchers in my field” (Swedish, postdoc, History and Archaeology).

Я не раз слышал, как вторую позицию озвучивали российские ученые молодого и среднего поколения. Первое слышал гораздо чаще [8], но, конечно, with a Russian twist – у нас практически нет постоянных позиций с высоким доходом, аналогичных западному tenure. Да и вообще доход скромнее, а наукометрия применяется гораздо шире, жестче и часто без должной квалификации. В такой ситуации подстройка гуманитариев под новые методы оценки идет гораздо быстрее. В ведущих вузах, где надбавки могут определять очень существенную часть зарплаты, порой доходит до крайностей – гуманитарии отказываются от определенных типов публикаций, не учитываемых в системе надбавок.

Еще более интересный поворот связан с дихотомией журналов и монографий. За книгу, выпущенную ведущим международным издательством, в нашем университете полагается максимальная надбавка, но ее же можно получить за статью в высокоцитируемом, по данным WoS, журнале, что гораздо проще сделать представителям множащихся в НИУ ВШЭ естественных наук. Соответственно, со стороны части гуманитариев начинают звучать достаточно нетрадиционные призывы учитывать определенные журнальные публикации наравне с монографиями, так как их научная значимость не меньше. В пример приводится ни много ни мало Роман Якобсон, который «не писал монографий, только статьи».

Сдвиг коммуникационных практик гуманитарных наук в сторону англоязычных журналов, индексируемых в WoS и Scopus, таким образом, происходит в России гораздо быстрее, чем во многих других странах (рис. 3). Конечно, тому виной не только администраторы, но и глобализация с Интернетом, распространение западной культуры, падение железного занавеса. Считать это исключительно негативным процессом, наверное, будут немногие: до сих пор наша гуманитарная наука недостаточно известна за пределами России во-многом из-за языкового фактора. Кроме того, не все будут спорить с тем, что в хороших иностранных журналах лучше рецензирование.

Не всегда, кстати, речь идет о сдвиге в сторону англоязычности: из-за стремления Elsevier и Clarivate захватить лакомые развивающиеся рынки обе эти базы сейчас лихорадочно набирают местные журналы, подчас напрочь забывая о контроле качества. Манной небесной для этих компаний стал российский национальный наукометрический рывок имени 2,44%, который в частности привел к тому, что в упоминавшимся SciMago (использует данные Elsevier) уже пара десятков отечественных изданий 1‒2-го квартилей, включая и такие известные, как «Новое литературное обозрение» и «Вопросы языкознания», и откровенно недобросовестные издания [9]. Не меньше хорошего и совсем дурного проникло от России в Emerging Sciences Citation Index в составе WoS.

Проблема симуляции стоит в полный рост, хоть ситуация и не такая ужасная, как в общественных науках. Так как в базах индексируются вовсе не только хорошие журналы, многих ученых пирамида Маслоу или просто недостаток квалификации и плохое знание английского двигают в сторону малоизвестных региональных или даже «мусорных» изданий. Провал в 2016 году на графике числа российских статей в Scopus по гуманитарным наукам (рис. 3) отражает как раз исключение части одиозных журналов из этой базы.

Рисунок 3. Число articles и reviews с российской (сиреневая линия) и китайской (коричневая линия) аффилиацией в Scopus, гуманитарные науки.

Давать какие-то прогнозы в такой ситуации сложно, особенно с учетом геополитической неопределенности. В идеальной перспективе мы придем к скандинавской модели, где процент журнальных статей высок, но и книг по-прежнему много, а почти все ученые двуязычные [10]. Принципиально, однако, что проблема оценки гуманитарных журналов и издателей, которую очень сложно удовлетворительно решить с помощью Web of Science / Scopus, в этой модели решается с помощью составления национальных списков хороших и очень хороших журналов и издательств, которые номинируются учеными и оцениваются другими учеными [11]. В них ныне входят десятки тысяч журналов и издательств по всем наукам всех стран, включая российские. Составить и постоянно актуализировать что-то подобное силами одной организации или даже одной страны очень сложно, поэтому сейчас страны Скандинавии объединились для создания общего Nordic List [12]. России стоило бы присоединиться к такому проекту, благо мы не менее северные. Если же этого не произойдет, каждой организации придется уповать на себя, по мере сил подкручивая и дополняя кривые квартили, причем такие подкрутки будут вести к расхождениям с более примитивными системами оценки, применяемыми министерствами и грантовыми фондами на федеральном уровне.

 

[1] http://garfield.library.upenn.edu/essays/V1p222y1962-73.pdf

[2] Знаменитые в недавнем прошлом московские точки распространения гуманитарных знаний. Жители других крупных российских городов наверняка тоже знакомы с форматом такого «магазина интеллектуальной книги».

[3] Недавно, изучая страновое распределение статей в топовых экономических журналах, я был поражен тем, насколько велика в этой науке роль США. По большому счету остальные государства ныне суть просто пигмеи экономического духа – если, конечно, согласиться с критериями оценки, проповедуемыми «западниками». Наиболее настойчиво и убедительно такая оптика применяется Константином Сониным (включен Минюстом в список физлиц, выполняющих функции иностранного агента), см. в частности его ЖЖ: https://ksonin.livejournal.com/.

[4] Для многих гуманитариев сидеть в архиве – своего рода призвание, а ничтожные темпы оцифровки, неудобные сайты и крайняя сложность скачивания чего-либо (от РГАДА и до Архива РАН – кстати, не вздумайте заходить на его сайт, он сейчас взломан) порой вызывают у представителей естественных наук подозрения в том, что такая эксклюзивность и эзотеричность вызваны не только дефицитом финансирования и дремучестью управления архивами, но и тем, что позволяют совершать открытия и создавать имя в науке не только за счет осмысления, но и за счет доступа, усидчивости и удачи. В этой связи особенно интересно нынешнее развитие Digital Humanities.

[5] Google Scholar значительно превосходит обе эти системы по удобству и полноте охвата и незаменим для такого рода обзоров, но плохо применим для упрощенной прикладной наукометрической оценки из-за отсутствующего контроля качества. Зато многие тысячи ссылок на Ленина там находятся без лишних фокусов.

[6] Kulczycki, E., Engels, T.C.E., Pölönen, J. et al. Scientometrics (2018). https://doi.org/10.1007/s11192-018-2711-0

[7] Hammarfelt, B. and Haddow, G., Journal of the Association for Information Science and Technology (2018). https://doi.org/10.1002/asi.24043

[8] Характерное определение прикладной наукометрии дает замдиректора Института славяноведения РАН, в.н.с. НИУ ВШЭ Ф.Б. Успенский: «Это абсолютно пустая блажь общепаразитического характера, призванная кормить аппарат». http://socratonline.ru/page/gorkie-paradoksy-naukometrii

[9] Столь быстрый прогресс вызван двумя факторами: крайне низким общим уровнем учитываемого цитирования, о чем говорилось выше (для попадания во 2-й квартиль иногда достаточно трех-четырех ссылок), и повальным стремлением отечественных журналов (а вернее, издающих их вузов и НИИ) проникнуть в Scopus и WoS, приводящим к тому, что их общее число в этих базах увеличивается, значит, улучшать показатели можно за счет цитирований не только из иностранных, но и из российских журналов. Работают, конечно, и самоцитирования, но за их избыток журналы могут лишиться места в заветных списках.

[10] Sivertsen, G. Scientometrics (2016) 107: 357. https://doi.org/10.1007/s11192-016-1845-1

[11] Норвежский список https://dbh.nsd.uib.no/publiseringskanaler, финский список http://www.julkaisufoorumi.fi/.

[12] Общеевропейский проект такого рода – European Reference Index for Humanities (ERIH) – был признан провалившимся и заменен на ERIH PLUS – простой каталог, составляемый в заявительном порядке, который никак не проверяет качество журналов и не ранжирует их экспертно и куда уже пролезли десятки одиозных отечественных «мусорных» журналов.

Автор текста: Стерлигов Иван Андреевич, 28 июня, 2018 г.