Внимание и влияние: альтметрики как способ их измерить

Альфия Еникеева, эксперт Наукометрического центра НИУ ВШЭ

Альтметрики – это новые методы наукометрии, которые оценивают результаты исследовательской деятельности не на основе числа цитирований публикаций в научных журналах (академический вес, scholarlyimpact), а по их присутствию, упоминанию и использованию в интернете и традиционных СМИ (общественный вес, socialimpact). 

Буквально на наших глазах за счет развития технологий возникают новые каналы научной коммуникации. Меняются форматы публикации научных результатов. Теперь это не только статьи в академических журналах, но и наборы данных, алгоритмы, препринты, учебные материалы, видеоролики, записи в блогах, фотографии и пр. Их обсуждение выходит за границы узкого академического сообщества. Традиционные наукометрические методы оценки не умеют работать с таким разнообразием форм и путей передачи информации. Альтметрики, изначально заточенные именно под интернет-активность исследователей, способны оценить результаты научного труда по их реальному использованию и/или по уровню интереса к ним.

Альтметрики измеряют уровень внимания к результатам научного труда (скачивания, просмотры публикаций), их распространение (обсуждения в блогах и на форумах, упоминание в новостях, репосты в социальных сетях) и влияние, которое они оказывают на общество (например, ссылка на научную публикацию в экспертных заключениях и правительственных документах). 

Термин «альтметрики» был введен группой науковедов в т.н. Манифесте альтметрики в 2010 году. Прочитать этот программный документ можно здесь: http://altmetrics.org/manifesto/. Основная идея манифеста сводится к тому, что в мире интернет-технологий альтметрики – незаменимый инструмент оценки результатов научных исследований и что их ждет большое будущее. Если судить по тому, как быстро растет число индексируемых статей по альтметрике в основных библиометрических базах, то это будущее уже не за горами.

Динамика числа статей, в названии, аннотации или ключевых словах которых упоминается термин «альтметрика»

Авторы Манифеста альтметрики не были первопроходцами: альтернативные наукометрические индикаторы существовали и до этого. Назывались они webometrics (вебометрики) или суbermetrics (киберметрики) и включали в себя оценку не только интернет-импакта научных публикаций, но и вообще всей хранимой в интернете информации. Кроме того, задолго до 2010 года были отдельные попытки учитывать упоминание научных публикаций в патентах, новостях, учебных курсах и других источниках.

Какие они бывают?

Альтметрики – это большая группа метрик, которые условно можно разделить на четыре больших блока: 

- на основе числа загрузок и просмотров публикаций;
- на основе числа цитирований публикаций (за исключением традиционных библиометрических баз);
- на основе числа закладок;
- на основе числа обсуждений, комментариев, рекомендаций и пр. 

Основные показатели

Пожалуй, первыми появились альтметрики на основе числа просмотров и скачиваний научных работ. Они использовались тогда, когда самого термина «альтметрики» еще не существовало. Например, уже в 2004 году британский медицинский журнал The BMJ отображал на своем сайте число просмотров опубликованных в нем статей. Даже было проведено исследование, автор которого попытался найти корреляцию между числом просмотров и числом цитирований статей, опубликованных в The BMJ. Он пришел к выводу, что статьи, чаще других просматриваемые в первую неделю после публикации, в будущем набирают большее число цитирований.

Посмотреть данные по числу скачиваний и просмотров можно, например, на сайтах журналов издательства PLoS   , в сетях  ResearchGate и  Academia.edu  . 

Другой важный показатель альтметрик – число цитирований. Однако это не те привычные ссылки на научные статьи, значения которых можно найти в базах данных Scopus и Web of Science. Альтметрические цитирования – это ссылки на публикации, сформированные с помощью менеджеров цитирования и специализированных интернет-сервисов (CiteULike, Zotero, EndNote и пр.). Как правило, такие ссылки выглядят как библиография в конце научной статьи или мини-библиотека, ведь практически все менеджеры цитирования позволяют пользователям хранить pdf-версии статей. Кроме того, при формировании подборки в таких программах статьям можно присваивать теги, что впоследствии позволяет искать похожие статьи и следить за новинками.

Некоторые из менеджеров цитирования встроены сразу в интерфейс библиометрических баз. Так, например, EndNote доступен из интерфейса Web of Science, а Mendeley – из Scopus.

Кроме того, к альтметрическим цитированиям иногда относят и число упоминаний в «Википедии». Так, например, поступает ресурс ImpactStory, указывающий, сколько раз каждая публикация была процитирована главной интернет-энциклопедией.

Число цитирований считается наиболее информативным показателем, на котором чаще всего строятся все остальные индикаторы. Однако не меньше о социальном весе статьи и интересе к ней может рассказать и такой индикатор, как число закладок. В основе этого показателя лежит идея, что, если научная статья никак не связана с работой исследователя или оказала на нее незначительное влияние, вряд ли он поместит ее в закладки. Данные о том, сколько раз научная статья была отправлена в закладки, есть на сайтах многих журналов. Например, такая информация отображается для статей журналов PLoS. Чаще всего такие данные извлекаются из специальных сервисов (менеджеров цитирования) вроде CiteULike или Mendeley.

Потенциальный импакт только что опубликованной статьи позволяют измерить альтметрики последнего типа, которые строятся на основе числа обсуждений, комментариев, рекомендаций. Основные источники для вычисления этих показателей – Facebook, Google+ , Twitter, научные блоги и форумы (например, ResearchBlogging или Chemicalblogspace). В одном из исследований взаимосвязи числа твиттов, в которых упоминалась научная статья, с числом цитирований этой статьи даже было введено понятие Twimpactfactor. Чем он выше, тем больше у публикации шансов стать в будущем высокоцитируемой.

Интересный факт: публикации НИУ ВШЭ, вышедшие в 2015 году, примерно в 16 раз чаще упоминаются в   Twitter  , чем публикации этого же года Новосибирского государственного университета, и почти в 25 раз чаще, чем статьи МГУ (среди всех публикаций с 10 и более цитированиями, по данным Scopus). 

Чем они так хороши?

Во-первых, альтметрики быстрые. Рассчитать первые показатели можно уже через несколько дней после публикации научной работы. Согласно исследованию Jason Priem и Kaitlin Light Costello, первые 15% твиттов статья получает в день своего выхода, 39% – в течение первой недели после публикации и 56% – в течение первого месяца. Для сравнения: при вычислении традиционных библиометрических показателей используют число цитирований, полученных статьей как минимум в течение последних двух лет, в противном случае не стоит рассчитывать на корректные результаты. Например, недавняя статья в Economics&Human Biologyс аффилиацией НИУ ВШЭ уже вошла в 5% публикаций с самыми высокими показателями альтметрик за всю историю, но в Web of Science и Scopus она не получила еще ни одного цитирования. 

Высокая скорость предоставления данных альтметрик позволяет ученым оперативно получать информацию о рекомендованных другими исследователями статьях, самим делиться прочитанными публикациями, настраивать оповещения о новых поступлениях.

Во-вторых, альтметрики всеядные. В отличие от традиционных библиометрических показателей, ориентированных на оценку научных публикаций, альтметрики работают со всеми способами размещения информации о научном результате: это научные публикации, монографии, труды конференций, презентации, видеоматериалы, сырые данные (то, что по-английски называется rawdata).

В-третьих, альтметрики могут использовать более дробный объект для анализа («нанопубликация», где цитируемая часть – это аргумент или отрывок, а не целая научная статья). 

Почему их не используют для публикационных KPI и распределения ресурсов?

На самом деле используют (существует даже специальный платный сервис для организаций AltmetricsforInstitutions), но только в сочетании с другими, более традиционными способами оценки, такими как число цитирований, импакт-фактор, peer-review и пр. Дело в том, что показатели альметрик, как и традиционные наукометрические индикаторы, имеют свои недостатки.

Первое: они уязвимы для манипуляций (число лайков можно увеличить как лично (аналог самоцитирования), так и за определенную плату (аналог перекрестного цитирования). Некоторые недобросовестные конторы даже зарабатывают на этом (ссылку давать не будем из этических соображений). Кроме того, есть еще проблема разграничения сообщений в соцсетях, оставленных реальными пользователями и созданными автоматически (например, автоматическая рассылка через соцсети всех заглавий нового выпуска).

Второе: показатели альтметрики не различают контекст, и отрицательные отзывы учитываются наравне с положительными. Например, в закладки можно отправить и действительно важную, интересную публикацию, и какой-нибудь условный «Корчеватель» – пример недобросовестной работы. Однако ради справедливости стоит отметить, что проблема неразличения контекста относится и к обычным метрикам. Но наукометристы давно с ней разобрались. Согласно исследованиям, таких ссылок 1% и меньше. По аналогии можно предположить, что это относится и к альтметрикам.

Третье: несмотря на наличие манифеста, в настоящее время не выработан единый подход к набору элементов, на которых строятся показатели. Поэтому сопоставить данные различных альтметрик (например, Academia.edu и Altmetric.com) довольно трудно.

Четвертое: альметрики оценивают скорее социальную/прикладную/образовательную значимость публикаций, а не фундаментальную, так как используются в том числе и непубликующимися социальными группами, например студентами, журналистами, чиновниками. Кроме того, при использовании соцсетей учеными их поведение и мотивации иные, чем при цитировании других статей и книг в своих работах.

Где их найти?  

Показатели альтметрик есть на многих ресурсах. Но основными провайдерами альтметрической информации являются Almetric.com и PlumAnalytics, на которых агрегируются данные, получаемые из различных интернет-источников. При этом надо иметь в виду, что на этих ресурсах одна и та же публикация может быть оценена по-разному, то есть так называемый almetricsscore (взвешенное общее число упоминаний, полученных публикацией из различных интернет-источников) будет разный. Основная причина заключается в многообразии первичных источников получения данных, которые обрабатываются и обобщаются на базе платформ. выбор этих источников зависит от потребностей целевой аудитории (институты, отдельные исследователи, научные библиотеки, научные фонды и пр.).

Altmetric.com – это коммерческий сервис, собирающий данные обо всех упоминаниях научных публикаций в блогах, социальных сетях (Twitter, Facebook, Google+), основных агрегаторах новостей, официальных документах и пр. Собранная информация находится в открытом доступе, но только наполовину. Так, посмотреть альтметрики для произвольной научной статьи любой человек может совершенно бесплатно через Altmetric It!. Пользователи этой программы получают доступ не только к значению той или иной альтметрики, но и к информации о том, кто, что и о каком именно фрагменте статьи сказал.

Вся информация отображается в интерфейсе Altmetric.com в виде разноцветного колечка (т.н. altmetricdonut). Цвета означают источник получения данных (например, голубой – это данные из Twitter, желтый – из научных блогов и т.д.), а цифра в центре кольца – взвешенное общее число упоминаний, полученных публикацией из различных интернет-источников (almetricsscore). То есть данные, прежде чем превратиться в almetricsscore, анализируются в зависимости от качества и количества упоминаний. Цифры же, расположенные под колечком, напротив названий источников, – количество уникальных авторов, лайкнувших, просмотревших, загрузившись научную работу.

В то же время значения альтметрик для организаций можно получить только по подписке, через специальный ресурс Almetrics for Institutions. В ближайшее время на этой платформе также будут доступны и показатели для организаций из Web of Science, так как совсем недавно компании Claritive Analytics, которой теперь принадлежит Web of Science, и Altmetric.com подписали соглашение об интеграции своих ресурсов. Вероятно, что в скором времени альтметрики будут доступны и в интерфейсе WoS. Но в настоящее время такая опция есть только в Scopus.

Однако это ненадолго, так как в недалеком будущем данные Altmetric.com заменят показатели, рассчитываемые главным конкурентом этой платформы PlumAnalytics. Несколько недель назад компания Elsevier, которой принадлежит Scopus, купила этого ведущего провайдера альтметрической информации (в нем содержатся данные примерно о 52 миллионах различных научных работ).

Все метрики PlumAnalytics делятся на пять видов: Usage/Использование (клики, загрузки, просмотры статей, видео пр.), Captures/Фиксация (помещение в избранное, закладки, добавление статьи в читальное устройство, сохранение), Mentions/Упоминания (посты в блогах, комментарии, обзоры, упоминания в Facebook, ссылки в «Википедии»), Socialmedia/Социальные сети (лайки, репосты, твитты, рейтинги) и Citations/Цитирования (PubmedCentral, Scopus, патенты).Эти метрикирассчитываются для 67 видов научно-исследовательских работ – от статей, книг и книжных глав до видеороликов и презентаций. Кроме того, PlumAnalytics разработала PlumPrint – специальный инструмент наглядной визуализации метрик, который может быть интегрирован в институциональные репозитории, издательские платформы, системы поиска данных и онлайн-резюме ученых.

Однако, в отличие от Altmetric.com, данные PlumAnalytics можно получить только по подписке. Через некоторое время, как обещает Elsevier, они появятся и в Scopus. Кроме того, после интеграции метрик PlumAnalytics c Mendeley профили индивидуальных ученых в этой сети также будут усилены дополнительными данными из PlumAnalytics.

В WebofScience, Scopus и РИНЦ указываются показатели альтметрики?

Указываются.

Как уже упоминалось выше, альтметрикивстроены в интерфейс Scopus. В РИНЦ и Web of Science отображаются свои собственные альтметрики, основанные на внутренних данных этих сетей. В Web of Science это показатель использования. Он позволяет оценить уровень интереса к любой статье, проиндексированной в базе, со стороны пользователей Web of Science. Этот индикатор отражает число переходов по ссылке на полный текст статьи на сайте издателя (с использованием прямой ссылки или открытия URL-адреса) или сохранение статьи для использования в инструменте управления библиографией (путем прямого экспорта или в формате для последующего импорта). Этот показатель можно посмотреть на странице с данными статьи. Он расположен с правой стороны экрана и отображается сразу в двух вариантах – за последние 180 дней и с 2013 года.

В РИНЦ альтметрики также расположены на странице с данными статьи. Они находятся в нижней части страницы, сразу за библиометрическими показателями. РИНЦ показывает число загрузок, просмотров, отзывов, а также количество подборок, в которые была включена публикация. Кроме того, любой пользователь может обсудить статью с остальными, воспользовавшись опцией «Обсудить эту публикацию с другими читателями» (расположена в правой части страницы).

В Scopus посмотреть значения альтметрик можно практически для любой проиндексированной в этой базе публикации. Они отражают информацию из социальных сетей (Twitter, Facebook, Pinterest, Google+), научных блогов, менеджеров цитирования научных публикаций и авторитетных интернет-изданий (включая the New York Times и The Guardian, неанглоязычные издания, такие как Die Zeit и Le Monde, и специализированные СМИ вроде Scientific American и  New Scientist).

Индикаторы альтметрик встроены в панель инструментов, которая находится в Scopus на странице с данными научной публикации. Чтобы попасть на эту страницу, необходимо: 

1.    Вбить в поисковой строке название публикации, имена авторов, название журнала или DOI.

2.    Найти в результатах поиска интересующую вас публикацию и кликнуть на нее левой кнопкой мыши.

3.    В открывшемся окне будет страница с основными данными публикации. На этой странице в правом нижнем углу экрана будут показатели альтметрик. Это показатели именно той публикации, которую вы сейчас просматриваете.

4.    Чтобы перейти на страницу с показателями альтметрик, нажмите на надпись Viewallmetrics.

5.    В появившемся окне будут представлены показатели альтметрик из тех интернет-источников, где так или иначе была упомянута интересующая вас работа.

Можно ли повлиять на значения альтметрических показателей для своей публикации?

Да. И это не будет считаться нарушением академической этики, если, конечно, при этом не покупать лайки (вот это уже чистой воды академический криминал).

Возникновение новых каналов научной коммуникации наделяет ученого новой важной функцией – возможностью самостоятельного продвижения результатов своей исследовательской деятельности.

Вот несколько способов рассказать миру о своих работах.
- Не бойтесь публиковаться в качественных журналах открытого доступа (например, PLOS ONE, ScientificReports и PeerJ).
- Размещайте свои работы в специализированных архивах, куда принято выкладывать все новинки в вашей предметной области (ArXiv, SSRN, BioRxiv), или в университетских хранилищах (например, на портале Вышки).
- Работайте с такими ресурсами, как ResearchGate, Academia.edu, Figshare или Zenodo, которые позволяют ученым загружать данные в виде вычислений, таблиц, слайдов презентаций, постеров, видеороликов и др., хранить их и делиться этой информацией с коллегами по всему миру.
- Участвуйте в рецензировании препринтов и научных публикаций (peer-review и post-review) на открытых интернет-площадках, таких как Publons, PubPeer и ScienceOpen.
- Как можно больше рассказывайте о своих работах и публикациях в Facebook и Twitter.

И помните, что в исследованиях, посвященных изучению возможностей применения альтметрик, наиболее подходящими информационными ресурсами для этих целей были признаны Mendeley, Twitter и CiteULike. Их преимущество в однородности публикуемого и, соответственно, оцениваемого альтметриками материала – статьи или краткие сообщения. В то время как, например, в Facebook такой материал более разнообразен (видеозаписи, аудиозаписи, заметки и т.п.).

Автор текста: Еникеева Альфия Асгатовна, 17 марта, 2017 г.