Общественная оценка государственных программ

Профессиональная и
общественная оценка и
мониторинг государственных
программ
Балакирев В. Компания «Процесс Консалтинг
Смысл и содержание выступления
Сравнение опыта проведения профессиональной и
общественной оценки программ и проектов. Особенности
общественной оценки. Возможность или условия участия
(для себя).
• Определения общественной оценки программ и
проектов
• Анализ опыта участия в общественной оценке
государственной программы. Трудности, достижения,
переживания
• Особенности проведения общественной оценки.
Особенности использования ее результатов
• Возможность проведения общественной оценки.
Рекомендации по проведению и участию в
2
общественной оценке.
Что такое общественная оценка
программ?
Общественная оценка проектов и программ
малоиспользуемое понятие и практические
неиспользуемый вид оценивания в России.
В самом общем виде: Оценка государственных проектов и
программ представителями заинтересованных
общественных групп.
Пермская гражданская палата
http://pgpalata.ru/index/050511 Центр "Грани" И. В.
Аверкиев http://www.granycenter.org/catalog/biblioteka/rule/details_290.html
3
Другие виды общественного
оценивания
А. Гордеева, Е. Махонина Общественная экспертиза. Технология
независимого анализа социальных проблем. ЦРНО 2004 г.
• Общественная экспертиза – это комплексное исследование
проблемы, процесса или явления, требующее специальных знаний
и умений и завершающееся предоставлением обоснованного
заключения в том числе с элементами рекомендаций.
Общественная экспертиза инициируется общественностью,
проводится профессионалами, в интересах общества в целом или в
интересах отдельных общественных групп, завершается
предоставлением обоснованного заключения и рекомендаций для
лиц, принимающих решение.
4
Другие виды общественного
оценивания
Пермская гражданская палата http://pgpalata.ru/index/050511 Центр
"Грани" И. В. Аверкиев http://www.granycenter.org/catalog/biblioteka/rule/details_290.html
• Гражданская экспертиза - независимый от органов
государственной власти анализ социально значимых практик с
точки зрения их соответствия общественному интересу, который
отстаивает гражданский актор, являющийся заказчиком
(исполнителем) экспертизы.
• Гражданский мониторинг - постоянный, систематический сбор
гражданским актором информации о соблюдении прав и законных
интересов граждан органами государственной власти, местного
самоуправления, хозяйствующими субъектами.
5
Другие виды общественного
оценивания
Пермская гражданская палата http://pgpalata.ru/index/050511 Центр
"Грани" И. В. Аверкиев http://www.granycenter.org/catalog/biblioteka/rule/details_290.html
• Гражданский контроль - непосредственное наблюдение
представителями гражданского актора за соблюдением прав и
законных интересов граждан в учреждениях и органах
государственной власти и местного самоуправления, на
предприятиях различной формы собственности с целью
прекращения и/или недопущения нарушения прав и законных
интересов граждан.
• Гражданское расследование - сбор и анализ информации о
фактах грубого или массового нарушения прав и законных
интересов граждан.
6
Другие виды общественного
оценивания
С.Г. Маковецкая Центр гражданского анализа и независимых
исследований (Центр ГРАНИ, Пермь)
Гражданская экспертиза и гражданский мониторинг
(потребительский контроль) качества предоставления
государственных услуг – анализ административных регламентов на
стадии их разработки и анализ практики предоставления
государственных услуг:
• на предмет соблюдения прав получателей услуги, прав человека,
национального и международного законодательства;
• соответствие практики реализации государственной услуги
административному регламенту (государственному стандарту)
данной услуги;
• на соответствие условий предоставления государственной услуги
интересам различных групп получателей услуги (целевых групп), а
также интересам иных категорий граждан и организаций,
общественным интересам.
7
Другие виды общественного
оценивания
Попов А.Н., Хананашвили Н.Л. Общественная экспертиза:
принципы организации и условия эффективности: Научнопрактическое пособие. – М.: Общественный совет города Москвы,
2010.
Общественная экспертиза - деятельность институтов гражданского
общества, направленная на исследование, анализ и оценку:
• проектов и действующих правовых актов государственных и
местных органов власти;
• проектов и реализуемых социально-экономических программ;
• правоприменительной практики;
• решений и действий органов власти и должностных лиц для
выявления возможных или наступивших последствий принимаемых
правовых актов и управленческих решений, а также определения их
соответствия правам и законным интересам граждан и различных
социальных групп.
8
Другие виды общественного
оценивания
Проект ФЗ Об общественном контроле в Российской Федерации
Общественный контроль – деятельность субъектов общественного
контроля по наблюдению, проверке и оценке соответствия
общественным интересам деятельности органов государственной
власти, органов местного самоуправления, иных объектов
общественного контроля.
• Общественный контроль в Российской Федерации
осуществляется в следующих формах:
1) общественный мониторинг;
2) общественная экспертиза;
3) общественное слушание;
4) общественное обсуждение;
5) общественная проверка;
6) общественное расследование;
9
Другие виды общественного
оценивания
В. Куприй и Л. Паливода. "Громадська експертиза та
громадський моніторинг діяльності органів влади". Творческий
центр ТЦК. Киев 2011.
Разделяются разные виды оценивания:
• оценка программ и проектов
• оценка последствий, принятых и реализуемых политик/решений,
• описание и анализ общественно-значимых проблем.
Определения каждого вида оценивания практически ничем не
отличаются от определений, используемых профессионалами.
Общественная экспертиза и общественный мониторинг – это общие
понятия, главное – оценка деятельности власти.
10
Общее в определениях
• Общественное оценивание – это всегда оценивание каких-либо
действий или решений представителей, органов власти.
• Необходимость юридической возможности для оценивания:
закрепленные в конституции права граждан на получение
информации, участие в государственном управлении, а также
специальное законодательство.
• Наличие общественного интереса в предмете оценивания и в его
содержании. Значимость этого предмета для общественности.
• Добровольность участия граждан в оценивании.
• Определения общественного оценивания близки к определению
Оценка регулирующего воздействия.
• Только отдельные авторы рассматривают возможность
общественной оценки государственных программ и проектов.
Программы и проекты редко рассматриваются как предмет
общественного оценивания
11
Общее в определениях
• Большинство определений закрепляют или настроены на
необходимость поиска нарушений в процессе оценивания, особенно
в проекте закона об общественном контроле (за исключением
Куприй и Паливода, Гордеева и Махонина).
• В большинстве определений указывается на необходимость
профессиональных знаний в области оцениваемого тех, кто
проводит оценку, но не на специфические навыки оценивания
• При определении общественной оценки указывается на
необходимость преодоления возможного конфликта интересов тех,
кто проводит общественную оценку
• Нет внятного и однозначного указания на источник ресурсов,
необходимых для оценки, часто этот вопрос игнорируется.
12
Практика применения
•
•
•
Украина. Постановления Правительства Украины. Возможность
получения необходимой для оценочной деятельности информации от
органов власти и обязательность публичного обсуждения результатов.
Отчеты доступны в интернете. Больше 100 случаев.
Казахстан. В Казахстане Есть политическая воля, запрос на проведение
оценки государственных программ силами НКО. Опыт проведения
общественной оценки во взаимодействии с местными органами власти.
Есть проблемы с финансированием этой деятельности.
Россия. Опыт различных видов общественного оценивания, в основном
ОРВ, опыта оценки программ нет. Один региональный закон – Пермский
край.
Важно:
Украина: законодательство ориентировано на регламентацию
поведения органов власти, действия которых намерены
оценивать представители гражданского общества.
Россия: законодательство ориентируется на регламентацию
поведения тех, кто проводит общественную оценку
13
Наш случай 2010 г.
Выделение Федеральным правительство средств на проведение
профилактических программ, направленных на снижение
распространения ВИЧ-инфекции, реализуемых НКО. 2010, 2011, 2012 гг.
Ответственный – Министерство здравоохранения и социального
развития РФ.
• 2010 г. Исполнитель Мероприятий – РКК, спид-сервисная
организация, два объединения людей живущих с ВИЧ.
• Создание системы мониторинга и проведение оценки «продавлено»
НКО, включено в программу. Разработано и проведено
профессиональной организацией.
• Индикаторы для мониторинга установлены одним из органов власти.
• Минздравсоцразвитие проигнорировало предложение стать
заказчиком оценки.
• РКК использовал данные системы мониторинга для управления
программой, результаты оценки для своей отчетности перед
донором.
• Минздравсоцразвитие не запрашивало отчет об оценке, данные
мониторинга использовались при проведении инспекционных
14
поездок.
Гипотезы о причинах
незаинтересованности в оценке 2010 г.
• Не столько неиспользование, а незаинтересованность
представителей государственного заказчика в оценке в принципе
• Причины лежат за пределами отношения к оценке программ в
принципе.
• Цели исполнителей были вполне адекватны задачам и
возможностям оценки: тиражировать технологию, понять и
скорректировать функционирование школ пациентов, оказать
реальную помощь клиентам программы, оказать влияние на ход
эпидемии, продемонстрировать возможности НКО
• Цели тех, кто принимал решение лежали скорее в политической
области, связанной с взаимодействием властей и НКО.
• Отсутствие стратегии профилактической работы, разделяемой и
органами власти и представителями гражданского общества
15
Гипотезы о причинах
незаинтересованности в оценке 2010 г.
Не столько неиспользование оценки, а незаинтересованность
представителей государственного заказчика в оценке в принципе
Возможно:
• Отсутствие конкретных лиц, ответственных за достижение
содержательных результатов программы.
• Несовпадение целей исполнителей программы и целей тех, кто
принимал решение о выделении средств на реализацию программы.
• Скрытая задача: продемонстрировать, что государство готово
заменить иностранных доноров, финансирующих профилактические
программы и, в конечном итоге, отказаться от сотрудничества с ними.
• Решение о выделении средств было главной целью этих
мероприятий, и она была достигнута уже в момент принятия этого
решения.
• Оценка результатов программы государственному заказчику была не
нужна в принципе.
16
Случай 2011 г.
Результаты оценки 2010 г. Были полностью проигнорированы
государственным заказчиком при разработке замысла программы 2011г.
Июнь - август. Обсуждение замысла мероприятий 2011г.
Минздравсоцразвитие и НКО. Ни одно из предложений, основанное и на
результатах оценки 2010 г. и на опыте НКО не было учтено и
использовано: замысел мероприятий – теория программы, сроки
проведения, используемые технологии профилактики, имеющийся опыт
НКО в реализации подобных проектов, форма финансирования, роль
НКО в профилактике ВИЧ.
Ощущение участников обсуждения:
• Понимание значимости профилактики распространения ВИЧинфекции, на основе глубокого погружения в проблему
• Обоснованное конструктивное стремление улучшить качество
разработки и реализации государственных программ.
• Эмоциональный шок от предложенного госзаказчиком замысла.
17
Случай 2011 г.
• Минздравсоцразвитие в августе публикует объявлении о
проведение конкурса.
• Проведение предварительной оценки замысла
профилактических мероприятий 2011 года. Группа НКО –
участников дискуссии.
• Направляется жалоба в Федеральную антимонопольную
службу и в Прокуратуру.
• Жалоба признается необоснованной. Все законные
процедуры соблюдены. Содержание госзаказа не
рассматривается.
• Группа НКО принимает решение о проведении оценки
мероприятий.
• Приглашение специалиста по оценке проектов и программ
• Соблюдение технологии проведения оценки
18
Проект задания на проведение общественной
оценки мероприятий по профилактике
распространения ВИЧ-инфекции 2011 г.
1.
2.
3.
4.
5.
Какие результаты были достигнуты в ходе выполнения
госзаказа? В какой мере они соответствуют запланированным
результатам (содержание, объем, качество)? Если не
соответствуют, то почему?
Какие подходы, технологии, методы использовались
исполнителем при выполнении заказа? Каковы их
преимущества и каковы ограничения?
Как осуществлялось управление выполнением услуг? Что
помогало и что мешало оказанию услуг?
Какова устойчивость предложенного подхода к оказанию
данных услуг? Могут ли тиражироваться подходы, технологии и
методы, использованные исполнителем заказа? Если да, то
каким образом, если нет – почему?
Какие можно сделать рекомендации относительно продолжения
19
данных мероприятий?
Как будет использована полученная
информация?
1.
2.
3.
4.
Проверка обоснованности критических замечаний, высказанных
рядом НКО на этапе обсуждения содержания мероприятий (до
объявления конкурса) и после утверждения заказчиком
содержания мероприятий (после объявления конкурса).
Рекомендации относительно содержания будущих
профилактических мероприятий и программ, а также методов
управления ими
Уточнение роли НКО в разработке и реализации
профилактических программ, уточнение форм и методов
взаимодействия НКО с Минздравсоцразвития в отношении
профилактики ВИЧ-инфекции.
Отработка системы общественного мониторинга за
реализацией мероприятий по профилактике ВИЧ-инфекции.
20
Методология проведения
1.
2.
3.
4.
5.
6.
Финальная оценка
Использование количественных и качественных данных
Углублённое изучение отдельных случаев (регион)
Организация потока разнообразной информации с мест
Привлечение экспертов
Элементы оценки с участием
Отчет об общественной оценке http://positivenet.ru/files/020.pdf
Предварительная экспертиза замысла мероприятий
http://zakupki.gov.ru/pgz/public/action/complaint/info?complaintId=422624
21
Случай 2011 г. Трудности
1. Нежелание представителей государственного заказчика и
исполнителей заказа предоставлять информацию о реализации
мероприятий. Мотивировка: «Законодательство не обязывает нас
предоставлять какую-либо информацию»
2. Ограничения в построении методологии
3. Публичное предоставление результатов оценки – это изначальное
условие проведения оценки.
4. Необходимость публичного продвижения результатов оценки
5. Стремление представителей НКО усиливать критическую
направленность отчета, выводов и рекомендаций.
6. Уязвимость в отношении обвинений в наличии конфликта интересов
7. Эмоциональный фон проведения оценки
8. Неоднозначное отношение специалистов, представителей НКО в
отношении самого факта проведения оценки. «Выделили средства и
это хорошо»
9. Нежелание представителей государственного заказчика даже просто
ознакомиться с результатами оценки. Основная реакция игнорирование
22
Профессиональная Vs/ Общественная
оценка государственных программ
Профессиональная
Общественная
Определенный заказчик
Не всегда определенный круг
заинтересованных лиц
Роли заказчика и исполнителя чаще
всего разведены
Заказчик – это одновременно и
исполнитель причем внешней оценки
У исполнителя не должно быть
У исполнителя всегда есть предвзятость
предвзятости по отношению к программе к программе
Управленческое действие
В первую очередь, по смыслу
политическое действие, форма участия
граждан в управлении государством
(гражданский контроль - Лестница
Арнштайн)
Услуга. Обеспечивается
законодательством, регулирующим
деловые отношения. Не требует
специального законодательства
Реализация конституционных прав
граждан, требует специального
законодательного обеспечения,
принуждающего донора и исполнителя
принять участие в оценке
23
Профессиональная Vs/ Общественная
оценка государственных программ
Профессиональная
Использование результатов оценки –
проблема отношений заказчика и
исполнителя. Ответственность
заказчика.
Общественная
Использование результатов зависит от
силы политического влияния
исполнителя. Ответственность
исполнителя.
Навыки оценки приоритетнее экспертизы Экспертиза в предметной области
в предметной области
приоритетнее навыков оценивания
(пока).
Отчет зачастую непубличен
Отчет всегда публичен
Ресурсы предоставляет заказчик
Ресурсы не должны предоставляться из
государственных источников
Требует строгого следования технологии
проведения
Технологию надо стремиться соблюдать,
возможны компромиссы
24
Случай 2011 г. Рекомендации
1. Стоит попробовать, сохраняя насколько это возможно позицию
профессионального оценщика
2. Законодательство должно обеспечивать возможность получения
информации от государственных заказчиков и исполнителей
программы. Обязательность рассмотрения результатов оценки и
официального ответа на эти результаты.
3. Законодательство должно быть направлено на регуляцию
действий государственных заказчиков и исполнителей программы
в ответ на намерение провести общественную оценку.
4. Законодательство должно ставить барьеры для каких-либо
наказаний кого-либо по результатам оценки.
5. Максимально использовать профессиональные технологии.
6. Принять наличие предвзятости как специфической составляющей
общественной оценки программ
7. Финансирование общественной оценки из государственных
источников для меня вопрос дискуссионный
25