Плохие служащие или..атели 14.04 НУГ УПР2.0

Неправильные служащие или
неправильные показатели:
оценка качества системы показателей
эффективности деятельности ОМСУ
специалистами местных администраций
Владимир Елисеенко
ИГМУ НИУ ВШЭ, Кафедра ТиПГУ НИУ ВШЭ
(в рамках серии научных семинаров НУГ «УПР 2.0»)
Постановка исследовательской задачи (1)
Почему системы типа performance benchmarking используются
неэффективно или недоиспользуются - исследователи выделяют два
главных препятствия:
1.
Люди (оцениваемые, в т.ч. их руководители)
 не готовы, не владеют навыками УПР
 предпочитают ситуационное поведение /
ручное управление”
 Нет достаточной политической поддержки
Внедрения системы УПР
 склонны к манипуляции отчетными данными
2.
Показатели
 никогда полностью не соответствуют требованиям
по качеству (SMART и т.д.)
 имеются проблемы со сбором отчётных данных и,
следовательно, с их объективным качеством
 сложная композиция (набор) показателей разных
типов – невозможно использовать в управлении
Но эти причины всегда переплетены – как же оптимизировать систему?
Российская система мониторинга и оценки
эффективности деятельности ОМСУ (1)
Президент РФ, Правительство РФ
Устанавливает перечень показателей эффективности
обязательных с точки зрения ежегодного сбора и
публикации отчётных данных (40 показателей с 2013-го
года, ранее было до 200 показателей, разных типов, без
какой-либо структуризации)
Устанавливает обязательство субъектов РФ оценивать
эффективность и публиковать сводный доклад,
рекомендует выдавать гранты победителям
Собирает некоторое количестве отчётных значений
(через Росстат)
Более чем 3000 ОМСУ – администрации
городских округов и муниципальных районов
Предоставляют отчётные данные по некоторым
показателям
Публикуют на официальном сайте «Доклады о
достигнутых значениях показателей для оценки
эффективности деятельности ОМСУ)
(отчетные/плановые значения за период с t-2 до t+3 и
текстовые пояснения)
83 Губернатора
/Правительства субъектов РФ
Устанавливают правила проведения
оценки, в т.ч. Определяют, какие из 40
показателей войдёт в расчёт рейтинга
эффективности.
Предоставляют отчётные данные по
некоторым показателям
Анализируют доклады ОМСУ,
рассчитывают рейтинги, дают гранты
лучшим
Структура показателей оценки эффективности органов МСУ
Структура
I
Экономическое развитие
Источники
информации
Количество
8
2
1 1 1
12
2
II
Дошкольное образование
3
3
III
Общее и дополнительное образование
8
4
VI
Культура
3
V
Физическая культура и спорт
1
VI
Жилищное строительство и обеспечение
граждан жильем
3
VII
Жилищно-коммунальное хозяйство
4
VII
Организация муниципального управления
8
IX
Энергосбережение и повышение
энергетической эффективности
Министерство
регионального развития
Российской Федерации
2
5
12
Росстат
Росстат (ф №1-МО)*
Минобрнауки
Минкультуры России
Рособрнадзор
Минспорт России
Госстрой
Минздрав России
Минсельхоз России
ОИВ субъектов
* данные собираются от органов МСУ.
Число показателей более 40, т.к. по одному
показателю данные предоставляют 3 ФОИВ.
Постановка исследовательской задачи (2)
Перед нами централизованная система бенчмаркинга эффективности, в
которой основные проблемы связаны с имплементацией (ключевая
проблема – ЛЮДИ в ОМСУ, а система показателей сформулирована на
верхнем уровне специалистами с нужной квалификацией)
Что хотели проверить исследованием:
Могут ли оцениваемые (в данном случае муниципальные служащие с
достаточно низким уровнем подготовки к внедрению УПР)
формулировать рациональные предложения по замене и уточнению
показателей, используемых в оценке?
Сработала ли централизация при запуске системы оценки в плане
обеспечения качества используемых показателей?
Какие из параметров качества показателей являются важными для
оцениваемых, повышают их доверие к системе? Какие типы показателей
они предпочитают? Зависит ли это от возраста, опыта работы и должности
респондента?
Конструкция исследования – техника
проведения
• Детальный опрос (в формате сплошной экспертизы
системы показателей) сотрудников ОМСУ, ответственных за
сбор, консолидацию данных и их предоставление в
правительство субъекта РФ (главным образом, замглавы
и/или руководитель отдела экономики)
• Опрос проведён в онлайн-режиме с использованием
инструмента SurveyMonkey
• Среднее время заполнения (если отвечать на все вопросы)
- 70 минут
• Использовался метод “мимикрии исследователя”
(маскировка под запрос правительств субъектов РФ с
целью получения предложений по корректировке перечня
показателей /обратной связи по их качеству) – но
анонимность была обеспечена
Конструкция исследования - Вопросы (1)
Какие из 40 базовых показателей (с Вашей точки
зрения) должны быть использованы
правительством субъекта РФ для расчёта
рейтинга и определения перечня
грантополучателей?
– Выбрать 10 из 40
– Дать бинарный ответ по каждому показателю
(Да|Нет)
Конструкция исследования - Вопросы (2)
Каждый из сорока действующих показателей (а также все показатели,
исключенные из системы с 2013-го года) было предложено оценить с точки
зрения соответствия следующим параметрам качества:
1. Оцените степень влияния
органов местного самоуправления
на изменения значений
показателя.
Динамика полностью определяется
ОИВ других уровней |
75/25 | 50/50 | 25/75 |
| Динамика полностью
определяется ОМСУ
2. Если ОИВ/ОМСУ не будут
принимать никаких усилий …,
какую динамику будет
демонстрировать показатель в
течение следующих трёх-пяти
лет?
быстро расти | медленно расти |
быстро снижаться | медленно
снижаться | будет колебаться вокруг
среднего
3. Если в распоряжении ОМСУ
имеются очень значительные
свободные ресурсы …, насколько
трудно в такой ситуации добиться
улучшения значения показателя
на 5% за год?
невозможно | крайне сложно |
50/50 | не составляет труда
Конструкция исследования - Вопросы (3)
Каждый из сорока действующих показателей (а также все показатели, исключенные из
системы с 2013-го года) было предложено оценить с точки зрения соответствия
следующим параметрам качества:
4. Для оценки значения этого
показателя ОМСУ может собрать
(получить от других ОИВ) достоверную,
полученную из надёжных источников
информацию?
Точно да| Скорее да | Скорее нет|
Точно нет
5. Данные о значениях этого показателя,
предоставляемые в Докладах глав
других муниципальных образований,
расположенных на территории моего
субъекта РФ, достоверны?
Вполне достоверны| Скорее достоверны |
не всегда достоверны| Полностью
недостоверны
6. Качество формулировки этого
показателя?
Сформулирован чётко | не достаточно
отражает влияние именно ОМСУ|
недостаточно отражает предмет оценки
(узко, неточно) | Обладает двумя
недостатками, сформулирован плохо
7. Включён ли этот показатель в
какую-либо муниципальную целевую
программу Вашего ОМСУ?
ДА |НЕТ
Конструкция исследования –
самоидентификация респондентов
• Возраст
• Должность (из списка)
• Опыт работы в ОМСУ (полных лет)
Конструкция исследования - география
Курск
Камчатка
Тамбов
Красноярск
Кемерово
3 субъекта РФ помогли с организацией сплошного исследования, 2 субъекта РФ
помогли только с ограниченным тестированием опросника. Все 5 субъектов РФ
ведут активную политику оценки и рейтингования.
Общее число респондентов - 174 (почти 100% всех ОМСУ трёх охваченных
субъектов РФ)
Некоторые
результаты / выводы
Портреты показателей системы (1)
Quality parameter
В1 (Local
government
influence)
В6 (Specificity and
relevance)
ALL
SUPP
ALL
SUPP
Description
controlled by
50% controlled
75%
different level of 25% controlled
by local
controlled by
government
by local gov-t
government
local gov-t
10%
14,01%
17,66%
16,98%
100%
controlled by
local gov-t
41,34%
6%
11,57%
17,30%
17,37%
not precise in
not precise in
measuring local
measuring
Not specific at
Specific enough gov-t impact
target group)
all
80,92%
5,00%
11,95%
2,13%
84,37%
7,10%
7,64%
47,15%
0,87%
• Централизованная,
координируемая сверху
система почти не имеет
проблем с корректностью
формулировок показателей
• В централизованной системе
госуправления ОМСУ
приемлют даже такие
показатели, которые
находятся под существенным
косвенным влиянием органов
власти верхнего уровня
60.00%
50.00%
40.00%
30.00%
20.00%
10.00%
Measure is included in top 10 (% of respondents)
70.00%
0.00%
0.00% 10.00% 20.00% 30.00% 40.00% 50.00% 60.00% 70.00% 80.00% 90.00% 100.00%
Influence of local government (average for all respondents)
Портреты показателей системы (2)
Quality
parameter
Description
В2 (Objective
behavior)
ALL
SUPP
В3 (Comparative
difficulty of
optimization)
ALL
SUPP
will grow
rapidly
26,20%
will grow
slowly
7,05%
26,04%
6,69%
5% growth
guaranteed if 5% growth is
managed
quite possible
25,53%
60,70%
28,17%
61,56%
will decrease
rapidly
26,87%
will
will significa
slightly
ntly
will
fluctuate fluctuate
decrease arnd
arnd
slowly
avrg
avrg
8,52% 27,40% 3,96%
27,84%
10,35% 24,60% 4,48%
very hard to
achieve 5% 5% growth
growth
impossible
10,76%
3,00%
8,27%
2,00%
• Система оценки выстраивается вокруг приоритетных зон с различимым
эффектом влияния, а также вокруг приоритетов с ясным целевым
значением, но крайне неуправляемых (зоны медленных улучшений
обойдены вниманием)
• Муниципалы не хотят иметь дело (быть оцениваемыми) по показателем,
которые трудно оптимизировать
Портреты показателей системы (3)
Quality
parameter
В4 (Trustworthy
data - own)
В5 (Trustworthy
data - other
municipalities )
ALL
SUPP
Totally reliable
71,74%
75,09%
Description
Generally
Big doubts | not
reliable
precise
23,78%
3,65%
Totally unreliable
8,34%
ALL
Totally reliable
59,26%
21,20%
Generally
reliable
37,18%
2,90%
Big doubts | not
precise
3,01%
0,82%
Totally unreliable
0,54%
SUPP
61,76%
35,19%
2,41%
0,65%
• В централизованной, запущенной сверху
системе оценки эффективности не менее
актуальны консультации с оцениваемыми
• В частности, только оцениваемые без особых
издержек могут определить пробелы в качестве
собираемых отчётных данных
Динамика развития системы оценки
Изменение состава показателей сверху не приводит каким-либо
качественным улучшениям используемых показателей
Average description of measure quality
3.347
Measures remained in 2013
Measures dropped in 2013
3.089
1.921 1.903
1.328 1.331
1.457 1.446
1.344
1.439
66.26% 69.90%
В1
В2
В3
В4
В5
В6
Идеальный показатель результативности
для ОМСУ. Какой он?
(совпадение соответствующего параметра
качества показателя с ответом “этот
показатель ДОЛЖЕН использоваться при
оценке и расчёте грантов”)
 Чёткость формулировки показателя (66,1%)
 Качество и достоверность собственных отчётных
данных (65,3%)
 Качество и достоверность отчётных данных
других ОМСУ региона(55,1%)
 Высокая вероятность 5%-ной оптимизации
(54,2%)
Влияние возраста и стажа (1)
А. “Ветераны” (55+) часто имеют принципиально другую
позицию относительно целесообразности использования
того или иного показателя для сопоставительной оценки
(требуется более детальное исследование причин)
Connection between age of public officials and their priorities
Share of officials who
60
indicated
this measure as
reasonable for comparative
performance evaluation
50
40
30
20
10
0
6
7
11
15
21
22
24
24.1.
26
25.1. 26.1.
26.2.
Measure
27
28
29
30
33
39
40
Влияние возраста и стажа (2)
В. Молодые/новые сотрудники ОМСУ (характерно и для
возраста “до 30” и для стажа“менее пяти лет”) в целом:
 Менее уверены в достоверности данных конкурентов
 Более уверены в возможности существенной оптимизации
показателей за короткий период (при наличии ресурсов)
 Считают более сильным влияние на показатель других
органов власти
Набор требований к качеству показателей,
используемых в системе сравнительной оценки
эффективности и результативности деятельности
S
M
Specific
Measurable
(Конкретный) (Измеримый)
1) Четко
1)
отражает
Возможность
предмет
получить
оценки (И)
достоверные
исходные
отчётные
данные (И)
A
R
T
Time-bound
Achievable
Relevant
(Ограниченный
(Достижимый) (Актуальный) во времени)
1) Степень
1) Включение 1)Трудность
1)
влияния других в собственные оптимизации Объективная
уровней власти стратегически показателя (К) (неуправляе
(И?)
е документы
мая)
динамика (К)
2) Доверие к
данным
других ОМСУ
(И)
3) ???
What it all was about?
One: Comparative performance assessment system launched
and operated by the higher-level government has certain
advantages but owner of such system should pay much
attention to the local feedback about the general quality of
performance data
e.g.: e.g. “hard” measures should be assigned to young public managers with less
experience – they do not afraid to work with them, pay much attention to the quality
of rivals’ data, therefore they can better find the ways of small but real improvement
Two: Attitude to the measures reflects the people – their age,
abilities and relationship inside local authority. Such
analytics itself is a tool for managing the performance
e.g.: Drop off “good titles” if good data on them can hardly be collected or improve
the system of recording and collection