НИУ ВШЭ в рейтингах 2014 года
О том, как изменились за последний год позиции Вышки в международных рейтингах, и об изменениях в методологии самих рейтингов рассказывают эксперты Иван Стерлигов и Лариса Тарадина.
Иван Стерлигов, начальник аналитического отдела Управления
академической экспертизы НИУ ВШЭ
Какие изменения произошли в университетских рейтингах по сравнению с прошлым годом?
Каких-то тектонических сдвигов не произошло, всё достаточно стабильно. Репутация лидеров копится десятилетиями. Кроме того, при формировании рейтингов как Times Higher Education (THE), так и QS используется длинное окно публикационной активности ― пять лет, поэтому резких изменений быть не может.
Можно отметить успешное продвижение относительно молодых университетов из Юго-Восточной Азии, которым меньше пятидесяти лет и которые тем не менее смогли за 15–20 лет сделать заметный рывок в рейтингах. Т.е. задачу, которая стоит перед нашими вузами, выполнить в принципе реально.
Почему Вышка выбрала в качестве ориентира именно рейтинг QS?
Если мы посмотрим на другие рейтинги, например Шанхайский (где, кстати говоря, российские вузы сегодня ближе всего к пьедесталу), то увидим индикаторы, которые могли отпугнуть: наличие среди сотрудников университета нобелевских лауреатов и высокоцитируемых исследователей по версии Web of Science, публикации в Nature и Science, с которыми у Вышки пока не очень, и т.п. Шанхайский рейтинг опирается на открытые общедоступные данные, а в THE и QS многие показатели рассчитываются с учётом данных, предоставляемых самим вузом, и здесь возникает некоторое пространство для манёвра. Кроме того, в QS несколько меньший вес имеют наукометрические показатели и несколько больший ― экспертные заключения. При этом в QS есть предметные рейтинги по математике и экономике, где у Вышки больше всего шансов продвинуться. В THE очень крупное деление, и математика просто попала бы в область естественных наук, а QS дал возможность сконцентрироваться на узких отраслях, которые у нас действительно сильнейшие. Думаю, что в рейтинге QS по математике у Вышки хорошие перспективы.
На сегодняшний день международную цитируемость Вышке обеспечивает в первую очередь математический факультет: именно там больше всего людей, публикующихся в лучших журналах мира. Но в математике есть свои особенности: среднее время активной жизни статьи там весьма велико. В молекулярной биологии, например, значительная статья, как правило, начинает цитироваться уже в год своего появления, а ещё через 2–3 года уходит далеко в прошлое, а в математике, если учёный сделал крупное открытие, ссылки на него будут приходить ещё десять лет и больше. А нам рейтинг нужно покорить уже к 2020 году. И такая ситуация не только у математиков, но и в ряде других предметных областей.
Как бы вы прокомментировали изменение позиции Вышки в рейтинге QS по сравнению с прошлым годом?
В QS все показатели в значительной степени основаны на результатах экспертных опросов, которые, с одной стороны, могут давать сильные колебания, а с другой, недостаточно прозрачны. Есть сильные диспропорции в распределении экспертов по странам, очень неравномерно представлены разные научные дисциплины. Кроме того, QS даёт вузу возможность самому рекомендовать внешних экспертов, которые будут его оценивать, а в российских условиях это неоднозначная практика, наши учёные прекрасно наловчились организовывать неформальные лобби. Некоторые из российских университетов, попавших в QS–2014 и обогнавших в нём Вышку (занимающую в рейтинге 58-е место среди университетов стран БРИКС), надо полагать, добились этого именно за счёт репутационного опроса, потому что количество публикаций и ссылок на них у этих вузов гораздо меньше, чем у Вышки.
Есть и другие хитрости, которые позволяют вузам улучшать свой рейтинг, не претерпевая существенных изменений. Так, например, если у статьи большой коллектив соавторов и университет представлен там хотя бы одним человеком, в QS или THE он получит столько же очков за публикации и цитирование, сколько и университет, поставивший наибольшее число соавторов. Причём аффилиация с данным университетом может даже не быть для этого автора основной, но, если его статьи публикуются в топовых журналах по профильной области университета, университет получает за них очки.
К сожалению, методика оказывает сильное влияние на академическую политику, и её недостатки толкают университеты на симуляцию. А сами рейтинги при такой методике хуже отражают реальное развитие университета.
Меняются ли сами методики формирования рейтингов?
Буквально на днях рейтинг THE объявил о том, что прекращает сотрудничество с компанией Thomson Reuters и переходит к партнёрству с издательским домом Elsevier. Если раньше сведения для THE и QS собирались на основе разных баз данных ― Web of Science (WoS) и Scopus соответственно, то теперь наукометрия обоих рейтингов будет строиться на данных Scopus. Это крайне серьёзное изменение. Дело в том, что THE считает количество цитат на одну публикацию, а не на одного сотрудника, как QS. В Scopus у целого ряда российских вузов ― участников проекта «5/100» много публикаций в слабых и откровенно недобросовестных журналах, имеющих нулевую цитируемость. В WoS таких журналов в разы меньше, поэтому переход с WoS на Scopus приведёт к заметному падению ключевого индикатора. Вышке повезло, что у неё в Программе развития заложен ориентир на рейтинг QS. С другой стороны, из-за того, что Elsevier cделал ставку на THE, судьба самого рейтинга QS уже не выглядит столь безоблачной.
Что можно рекомендовать Вышке на ближайшее время для улучшения своих позиций в предметном рейтинге QS?
Надо продолжать наращивать публикационную активность. Причём, на мой взгляд, нужно больше стимулировать публикации в лучших журналах и меньше ― в журналах похуже. Во всех рейтингах количество публикаций не так важно, как цитируемость. Гораздо выгоднее стимулировать публикационную активность там, где мы с большой степенью уверенности можем ожидать цитирования, т.е. в ведущих международных журналах. Это теснейшим образом связано и с академической репутацией: репутация ведь и складывается из того, что люди читают результаты качественных исследований, проводимых Вышкой.
Лариса Тарадина, руководитель направления «Международные программы университетского лидерства», Федеральное государственное научное учреждение «Центр социологических исследований»
Как вы прокомментируете позиции, которые Вышка заняла в рейтингах 2014 года?
В 2014 году в отраслевом рейтинге QS по социальным наукам, который для Вышки является основным, Университет занял 232-е место. Это хороший результат. По нескольким другим предметным областям Вышка занимает позицию 401+. Это значит, что она не входит в 400 лучших университетов, но при этом подошла близко к четвёртой сотне, поэтому её уже принимают во внимание. А в общемировом рейтинге Вышка удерживает позицию 500–550, что в условиях общемировой гонки за рейтингом является очень неплохим показателем.
В рейтинге THE Вышка пока находится за пределами топ-400. При этом Вышка представляла только данные по Университету в целом ― со сбором данных по отдельным предметным областям возникли сложности. Оказалось, что на сегодняшний день нельзя корректно подсчитать количество преподавателей и исследователей по предметным областям и соотнести его с годовым бюджетом этих областей. Нередко одно подразделение выполняет работы в нескольких областях сразу. Кроме того, невозможно пересчитать всех НПР в эквиваленте полной ставки, т.к. среди них много внештатных сотрудников, а в ГПД не записано, сколько времени человек потратил на выполнение своей работы.
Согласно THE, самый высокий из вышкинских показателей ― уровень дохода (industry income), а самые низкие ― объём цитирования и доля иностранных преподавателей и студентов.
Вообще, у разных индикаторов различный вес в рейтинге: одни показатели считаются более значимыми, чем другие. Сама по себе доля иностранных студентов и иностранных сотрудников мало важна, но все показатели влияют друг на друга. Понятно, что чем больше в университете побывает иностранных исследователей и чем больше добрых слов они о нём скажут, тем выше окажется академическая репутация университета.
Как изменились позиции Вышки в международных рейтингах университетов по сравнению с прошлым годом? С чем связаны эти изменения?
В THE Вышка впервые в этом году представила данные в полном объёме, поэтому здесь динамики пока нет. QS оценивает научную деятельность университета по количеству публикаций и ссылок на них (цитат), а этот показатель у Вышки стабильно растёт и каждый год по сравнению с предыдущим практически удваивается. Если в 2010 году было учтено только 53 публикации, то в 2013 году их было уже 468 ― почти в 10 раз больше. Тем не менее, по сравнению с другими университетами это всё ещё очень низкий уровень. Понятно также, что при небольшом количестве публикаций удвоить их число было несложно. Сохранить взятый темп в будущем будет труднее
Прорыв Вышки в предметном рейтинге QS во многом связан с изменением его методологии. Начиная с этого года QS стал учитывать репутацию университета среди работодателей, которая у Вышки очень высока.
Вообще же, существующие методологии рейтингов очень инерционны. От момента постановки задачи продвинуться в рейтингах и определения приоритетных научных направлений до момента, когда результаты этих действий отразятся на цитируемости, проходит лет восемь или больше. В организацию конференций и международное партнёрство университет вкладывает деньги сейчас, а на его репутации это скажется минимум через пару-тройку лет. Таким образом, рейтинг не позволяет оценить то, что происходит в университете в настоящий момент.
Тем не менее, несмотря на то что Вышка укрепляет свои позиции в рейтингах не так быстро, как хотелось бы, сама тенденция сохранения положительной динамики крайне важна. Сейчас, когда целый ряд стран пытается решить задачу вхождения в топ-100 университетов мира, ситуация похожа на ту, что описана в известной сказке «Алиса в стране чудес»: для того чтобы оставаться на месте, нужно бежать изо всех сил, а если хочешь ещё куда-то продвинуться, нужно бежать в два раза быстрее. А рейтинг Вышки в QS медленно, но растёт. И это свидетельствует о том, что вектор происходящих в Университете изменений соответствует требованиям этого рейтинга.
По каким индикаторам у Вышки уже сегодня неплохие показатели? Как вы оцениваете объективность рейтингов в целом?
В рейтинге QS есть индикатор качества обучения, который складывается из нескольких показателей, один из которых ― соотношение численности академического персонала и студентов. Этот показатель у российских университетов традиционно высок, и Вышка в QS пока вырывается вперёд именно по этому пункту. Но если при оценке качества обучения показатель faculty/students находится в числителе, то при оценке исследовательской деятельности (отношение количества статей к количеству сотрудников) он уходит в знаменатель, и тогда чем больше сотрудников, тем этот показатель ниже. Т.е. университет может выбирать разные стратегии роста.
Вообще же, статистика рейтингов ― очень обманчивая штука. Рассказывают, что один азиатский университет, совершивший недавно прорыв в рейтингах, пересчитывал численность своих сотрудников двенадцатью разными способами, пока не нашёл наиболее выгодный для себя вариант. Поэтому крайне важно, чтобы университет имел собственные информационные системы, позволяющие собирать как можно больше данных, а не только те, которые в данный момент запрашивает министерство.
Во время стажировки в США по программе Фулбрайта я посетила офисы подразделений, занимающихся институциональными исследованиями, минимум в десяти университетах. Везде мне говорили о том, что система учёта данных должна быть устроена таким образом, чтобы быть в состоянии ответить на любой вопрос о жизни университета, даже тот, о котором на момент разработки системы никто и не догадывался. Про поступившего на первый курс студента в базе американского университета содержится порядка 2 тыс. единиц информации. Только многолетний учёт однотипных и максимально мелко разбитых данных позволяет анализировать процессы, происходящие в университете.
В западных университетах институциональные исследователи делают две вещи. Во-первых, они создают единую платформу, на которую все подразделения вносят свои данные, и все подразделения работают с информацией, размещённой на одной платформе; различия только в уровне доступа. Во-вторых, они изучают процессы, происходящие в университете, причём не только на основе специальных опросов, но и путём обработки уже имеющихся у них данных. Например, им поступает запрос на оценку эффективности работы какого-то подразделения, и их задача ― понять, какие из имеющихся у них цифр позволяют ответить на этот запрос.
Конечно, создание такой системы стоит больших денег. Кроме того, оно должно быть общеуниверситетским приоритетом. В Вышке такой системы пока нет, поэтому каждый раз задача сбора даже простейших данных оказывается настоящим вызовом для всех, кто связан с её реализацией.
На какие российские рейтинги имеет смысл ориентироваться?
Видите ли, рейтинг имеет смысл только тогда, когда из года в год происходит сбор одних и тех же данных по одинаковой методологии. А большинство российских составителей рейтингов постоянно меняют свою методологию либо просто выпускают разовый рейтинг, а на следующий год изобретают новый. Кроме того, сама их методология представлена так мутно, что никто толком не понимает, как эти рейтинги устроены и каким образом были получены их результаты.
Хороший рейтинг выпускает Благотворительный фонд Владимира Потанина ― чисто инструментальный. В него попадают университеты, участвующие в программе фонда. Рейтинг оценивает не университет в целом, а активность его участия в конкурсах программы фонда, качество заявок, подаваемых студентами и преподавателями, и т.п. Т.е. это рабочий инструмент, и в этом смысле он идеально работает.
Вообще, в моём понимании, рейтинги не должны быть универсальными, потому что универсальный рейтинг мало что может рассказать конкретному пользователю. Гораздо нужнее рейтинги, оценивающие отдельные направления деятельности вуза, а не университет в целом. Те же QS и THE ничего не говорят о качестве университетской среды, о том, какой у университета кампус, где он находится, насколько комфортно там учиться, заботятся там о студенте или нет. Т.е. для студентов они, в общем, бесполезны. Поэтому надо, с одной стороны, стремиться к продвижению в рейтингах, а с другой ― повышать грамотность их пользователей, чтобы они понимали, что первое место в рейтинге может ещё ни о чём не говорить.
30 октября, 2014 г.