Как работают университетские рейтинги? - PAST

Как работают университетские
рейтинги? Российский и мировой
опыт
Анастасия Кинчарова,
Михаил Соколов,
НОЦ “PAST”
27 марта 2013
Проект «Политическая экономия
высшего образования»







«Физиология рейтингов»
Экономика рынка образовательных услуг
Академическая миросистема
Научный истэблишмент: происхождение
дисциплинарных элит
Политика университета
Исследования цитатного поведения
….
«Физиология рейтингов»:критика
ранжирующего разума




Кто и почему обращается к ним?
Почему они так выглядят – шкалы и
способы агрегации?
Почему кто-то выглядит в них лучше, чем
другие?
Каковы последствия их применения?
Кто участвует в рождении рейтинга?



Объекты ранжирования;
Потребители – (а) домохозяйства и/или
студенты; (б) государственные органы; (в)
университетские администрации и/или
преподаватели;
Производители – «эксперты».
Чего хотят потребители?

Домохозяйства


Государственные чиновники (частные доноры)



Информация – качество образования, престиж или
социальные шансы
Эффективность расходования средств - ex ante или ex
post – и политическая поддержка
Множественность идеологий высшего образования –
технократическая или социально-гуманитарная
Университетские администраторы и
преподаватели


Рациональная оценка положения (?)
Субсидии и плата за обучение
Доверие, легитимность и
прагматическое принятие



Возможность каждой из сторон использовать рейтинг
определяется доверием к нему со стороны других сторон;
Доверие рождается из
 Соответствия традиционным представлениям об иерархии
университетов ;
 Соответствия процедуры традиционным образцам
(миметический изоморфизм – DiMaggio & Powell, 1983);
 Привлечение иных процедурных легитимационных мифов
(Meyer and Rowan, 1977);
 Отсутствие видимых манипуляционных намерений;
 Авторитет производителя.
Прагматическое принятие (Mann, 1977) рождается из

Представление о доверии других;
 Невозможности легитимно оспорить рейтинг
О чем думают «эксперты»?




Легитимность решения – прозрачность и
давление «мировой культуры» (Meyer and
Schofer, 2005).
Техническая исполнимость и
экономическая целесообразность.
Соответствие познавательным целям
политического принципала.
Лоббизм (принципал или группа
экспертов) – подмена показателей или
позиция в рейтинге.
Исследования рейтингов
университетов: основные направления




Методологические исследования: как устроены и/или
могут быть устроены рейтинги (методики измерения
характеристик университетов) (Liu & Cheng, 2005;
Huang, 2012).
Сравнение рейтингов: результатов, методик (BuelaCasal G. et al., 2007; Huang, 2011)
Критика: методологическая (Van Raan, 2005, Dill &
Soo, 2005) и идеологическая (Marginson, 2006, 2007;
Amsler & Bolsmann, 2012).
Эффекты рейтингов (Hazelkorn, 2008, van Vught &
Ziegele, 2012).
Виды показателей (мировой опыт)
Выбор показателей – зависит от нормативных
представлений разработчиков о том, что такое
«качество» применительно к университету.
Основные группы (по источнику):
 Библиометрические: количество публикаций,
цитирование, соавторство.
 Peer review: опрос представителей академии.
 Другие: в основном с использованием данных
статистики, как правило, университетской.
Критика библиометрических показателей
Проблемы:

Технические - связанные с трудностями сбора «чистых» данных:
корректная идентификация авторов и университетов (перевод имен и
названий, отнесение лабораторий и клиник, решение проблемы
«зонтичных» университетов и «разведение» разных университетов из
одного города).

Методологические - связанные с трудностями построения релевантных
индикаторов;

Некорректное использование (подход «если данные уже куплены,
построить рейтинг просто и быстро»).
Необходимо учитывать:

Практики публикации в определенных областях;

Характер источника данных, присущие ему проблемы;

Временной интервал (различия в периодах актуальности для
цитирования в разных дисциплинах);

Разная плотность цитирования в разных дисциплинах.
Критика peer review
Проблемы:
 Что на самом деле показывает репутация? Показывает ли
она «лучшие университеты»?
 Проблемы организации сбора данных:
 Неясная и несистематическая схема отбора экспертов,
географический «перекос»;
 Невысокое качество вопросника (представители
академии могут судить об исследовательской работе
других университетах по ее результатам, но о процессе
преподавания им, скорее всего, известно очень мало);
 Низкий процент возврата;
 Недостаточная компетентность экспертов
(представители академии могут компетентно судить
преимущественно о факультетах своей дисциплины,
которые находятся в том же регионе или стране).
Критика статистических показателей
Критика конкретных показателей:
 Неясны цели использования конкретных индикаторов (например,
индикатора интернационализации, которая может быть следствием
или причиной целого ряда разных явлений).
 Низкое качество данных, предоставляемых университетами (данные
могут быть предметом манипуляций, либо неумышленных искажений)
 Зависимость от размера – для абсолютных показателей.
Критика комбинаций показателей:
 Охват разных периодов для разных показателей.
 Асимметрия выбора при учете выдающихся успехов: используются
показатели, отражающие максимально возможные достижения в науке,
но не негативные характеристики.
 Отсутствие среди показателей характеристик процесса обучения:
качество преподавания, успеваемости студентов, «выходных»
характеристик студентов.
 Разнородность индикаторов, объединяемых в единый индекс без
достаточных обоснований.
Индикаторы и веса ARWU (2012 г.)
Критерий
Качество образования
(Quality of Education)
Качество
преподавателей
(Quality of Faculty)
Продуктивность
исследований
(Research Output)
Успешность на одного
человека (Per Capita
Performance)
Индикатор
Выпускники университета, получившие
Нобелевскую премию или медаль Филдса
Сотрудники университета, получившие
Нобелевскую премию или медаль Филдса
Высоко цитируемые исследователи в 21 широкой
дисциплинарной области
Статьи, опубликованные в журналах Nature и
Science*
Вес
10%
20%
20%
20%
Работы, проиндексированные в Science Citation
Index-expanded и Social Science Citation Index
20%
Академическая успешность университета на
одного человека
10%
* Для университетов, специализирующихся на гуманитарных и социальных науках, таких
как London School of Economics, N&S не рассчитывается, его вес переносится на другие
индикаторы.
Индикаторы и веса QS (2012 г.)
Индикатор
Вес
Академическая репутация (Academic reputation)
40%
Репутация среди работодателей (Employer reputation)
10%
Соотношение преподавателей и студентов (Faculty/student
ratio)
20%
Цитаты на преподавателя (Citations per faculty)
20%
Доля иностранных преподавателей (International faculty ratio)
5%
Доля иностранных студентов (International student ratio)
5%
Индикаторы и веса THE (2012 г.)
Критерий
Международная
перспектива:
люди,
исследования
Исследования:
объем, доход,
репутации
Цитаты:
влиятельность
исследований
Индикатор
Отношение доли иностранных студентов к доле студентов из
страны, где находится университет
Отношение доли иностранных сотрудников к доле сотрудников
из страны, где находится университет
Доля публикаций с иностранными соавторами
Репутация университета с точки зрения качества исследования
– опрос представителей академического сообщества
Доход от исследований
Вес
критерия
2.5%
2.5%
7.5%
2.5%
18%
6%
30%
Продуктивность исследований – публикации
6%
Уровень цитирования
30%
30%
2.5%
2.5%
Доход от индуОбъем финансирования исследований со стороны индустрии
стрии: инновации
Репутация университета с точки зрения качества преподавания
– опрос представителей академического сообщества
Преподавание:
среда обучения
Вес
индикатора
15%
4.5%
Соотношение студентов и преподавателей
Соотношение количества присвоенных степеней доктора и
бакалавра
Количество присвоенных университетом степеней доктора
2.25%
Доход университета с учетом численности сотрудников
2.25%
6%
30%
Индикаторы рейтинга Минобрнауки
для вузов и филиалов
1. Образовательная деятельность: средний балл ЕГЭ студентов, принятых
по результатам ЕГЭ на очное обучение по программам бакалавров и
специалистов за счет бюджета или с оплатой физическими и
юридическими лицами (средневзвеш.);
2. Научно-исследовательская деятельность: объем НИОКР в расчёте на
одного НПР;
3. Международная деятельность: удельный вес численности иностранных
студентов, в общем выпуске студентов;
4. Финансово-экономическая деятельность: доходы вуза из всех
источников в расчете на одного НПР;
5. Инфраструктура: общая площадь учебно-лабораторных зданий в
расчете на одного студента (приведенного контингента), имеющихся у
вуза на праве собственности и закрепленных за вузом на праве
оперативного управления.
Индикаторы рейтинга Минобрнауки
для филиалов
6. Приведенный контингент;
7. Доля кандидатов и докторов наук в численности работников
ППС (без совместителей и работающих по договорам
гражданско-правового характера);
8. Доля работников ППС (без совместителей и работающих по
договорам гражданско-правового характера) в общей
численности ППС.
Индикаторы «Национального рейтинга
университетов» (Интерфакс и Эхо Москвы) (1)


Образовательная деятельность вуза (вес 0,2): Оценка числа
студентов первого уровня подготовки (бакалавриат,
специалитет). Оценка спектра образовательных программ.
Оценка числа ППС, работающих на полной ставке. Оценка
уровня квалификации ППС. Оценка качества
абитуриентов. Оценка затрат на подготовку студента. Оценка
ресурсного обеспечения образовательного процесса.
Научно-исследовательская деятельность вуза (вес 0,2)
Результативность работы аспирантуры и докторантуры. Оценка
образовательных программ подготовки научноисследовательских кадров (магистратура, аспирантура,
докторантура). Оценка ресурсного обеспечения
исследовательского процесса. Оценка достижений ППС в
области науки и исследований.
Индикаторы «Национального рейтинга
университетов» (Интерфакс и Эхо Москвы) (2)


Социализаторская деятельность вуза (вес 0,15) Оценка
образовательных программ дополнительного образования.
Пространственный масштаб деятельности вуза. Оценка
динамики активности выпускников на региональных рынках
труда. Оценка зарплатных ожиданий и карьерных притязаний
выпускников.
Международная деятельность вуза (вес 0,15) Оценка
академической мобильности студентов, преподавателей,
учёных. Оценка уровня международного сотрудничества в
разработке и реализации образовательных программ. Оценка
влияния на зарубежные рынки образования,
исследований. Оценка ресурсного обеспечения международной
деятельности вуза. Показатели сотрудничества с зарубежными
вузами и исследовательскими организациями в научноисследовательской деятельности.
Индикаторы «Национального рейтинга
университетов» (Интерфакс и Эхо Москвы) (3)


Бренд вуза (вес 0,15) Репутация вуза. Миссия вуза, программы
развития, управление. Успешность выпускников вуза,
достижения вуза в процессе селекции элит национального и
международного уровней. Показатели публичной и экспертной
деятельности представителей вуза. Известность вуза среди
зарубежного академического сообщества.
Инновации и коммерциализация разработок (вес 0,15)
Оценка результатов интеллект. деят-ти вуза: российские патенты
на изобретения и полезные модели, другие виды интеллект.
собственности (программы, ноу-хау), регистрируемые Роспатентом. Создание и развитие вузом малых инновац. предприятий (МИП), стимулирование предпринимательства. Оценка
развитости инновац. инфраструктуры вуза. Участие вуза в
развитии технол. платформ, госпрограммах развития
технологий. Доходы вуза от коммерциализации разработок.
Индикаторы различных российских
рейтингов




«Национальный рейтинг университетов» - элиты: первое в/о
представителей элит; второе и последующие в/о представителей
элит;
Рейтинг «Коммерсанта»: число компаний, готовых принять
выпускников данного вуза; число компаний, трудоустроивших
выпускников данного вуза в 2006 г. ; число принятых
выпускников.
Рейтинг Фонда Потанина: тестирование, игровой тур, конкурсы
преподавателей, волонтерские проекты.
Рейтинг «Эксперта»: рейтинговый функционал, качество
образования, востребованность работодателями, научноисследовательская активность.
Индикаторы рейтингов НИУ ВШЭ


НИУ ВШЭ, рейтинг качества приема: средний балл
зачисленных по результатам ЕГЭ (в расчете на один предмет);
средний балл ЕГЭ зачисленных по конкурсу в расчете на один
предмет) – показатели представлены отдельно, без
формирования индекса.
НИУ ВШЭ, рейтинг научной и публикационной активности:
среднегодовое число грантов РГНФ в расчете на 100 штатных
преподавателей вуза; среднегодовое число грантов РФФИ в
расчете на 100 штатных преподавателей; число статей в базе
"Российского индекса научного цитирования" в расчете на 1
штатного преподавателя; индекс цитирования статей научнопедагогических работников вуза в базе "Российского индекса
научного цитирования"; число наименований журналов ВАК,
издаваемых вузом.
Эффекты рейтингов

Выбор абитуриентов
Управление организацией: «выбивание» финансирования,
перераспределение ресурсов
Государственная политика (государственное финансирование)
Изменение понимания качества
«Эффект Матфея»
Манипулирование результатами
Повышение качества собираемой университетом информации
Моральное состояние сотрудников
Слияния университетов
Установки руководителей университетов на продвижение в
рейтинге
Продвижение университета
Академическое сотрудничество

В России не исследовались











Препринт

НОЦ “PAST”
http://www.tsu.ru/content/science/noc/nots_sots
ialno_politicheskie_issledovaniya_tekhnologi
y.php