Приложение 4. Использование подхода, основанного на оценке

Приложение 4. Использование подхода, основанного на оценке деятельности по количественным показателям.
В оценке программ в России часто применяется термин «мониторинг». Данное понятие
используется русскоязычными специалистами значительно чаще, чем «оценка программ», и
употребляется в разных значениях. Существует несколько точек зрения на то, что такое мониторинг
в оценивании программ, кратко их можно сформулировать следующим образом:
а) мониторинг – то же, что и «оценка программ»;
б) мониторинг – один из видов оценки программ, основанный исключительно на измерении
значений заранее определенных индикаторов.
в) мониторинг – система контроля за реализацией программы;
г) мониторинг – синоним внутренней оценки программы.
Общим во всех 4-х вариантах употребления данного термина является применение его для
оценивания хода и результатов программы, выраженных в цифровых значениях. В связи с этим имеет
смысл рассмотреть особенности использования определенных индикаторов для оценки программ, не
вдаваясь в споры относительно того, какая из 4-х точек зрения "правильнее".
Cледующие характеристики можно считать основными для оценивания программ на основе
количественных индикаторов :
1. Оценка программы проводится преимущественно на основе сравнения реально
достигаемых значений индикаторов с запланированными. То есть в качестве данных для оценивания
используются текущие и плановые значения индикаторов.
2. Эти индикаторы, включая их целевые значения и систему сбора информации о них, могут
быть разработаны и определены только ДО начала реализации программы.
3. Интерпретации полученных данных и выводы делаются ТОЛЬКО на основании сравнения
плановых и реально достигнутых показателей.
Ключевая задача при использовании индикаторов – это разработка их определений.
Индикатор – это показатель, который служит простым и надежным средством измерения
достижений, отражает изменения, вызванные программой, или помогает оценить деятельность
структуры, осуществляющей программу. В разработке индикаторов обязательно должны
участвовать эксперты в данной предметной области. Только глубокое и всестороннее владение
предметом в сочетании с хорошим знанием техники измерений и общей ситуации, в которой
разрабатывается и реализуется программа, может обеспечить выбор адекватных показателей.
Индикаторы, значение которых надо будет измерять в ходе программы, должны быть
разработаны и утверждены до начала реализации программы. При определении индикаторов должны
быть установлены начальные (базовые) и целевые значения. Базовые значения – это значения
индикаторов на старте программы, целевые – это значения, которых надо достичь в результате
реализации программы. Индикаторы могут отражать разные аспекты реализации программы и
разные уровни ее результатов: использование ресурсов, достижение непосредственных результатов,
достижение цели программы. Индикаторы всегда специфичны для каждой программы, они связаны с
ее тематикой и должны соответствовать логике программы. Именно поэтому в разработке
индикаторов должны принимать участие специалисты в тематике данной программы.
Оценивание программы на основе индикаторов осуществляется как регулярное наблюдение
за ходом реализации программы: должна быть создана система отслеживания изменений значений
индикаторов, работающая на регулярной основе В этом случае, подобная система становится частью
системы управления программой. Это особенно важно, когда основное внимание в программе
уделяется интересам детей – максимизации получаемых в ходе ее реализации благ и минимизации
негативных последствий. Данные, полученные в процессе измерения значений индикаторов, могут
стать одним из источников информации для проведения оценки с использованием и других методов.
Следует подчеркнуть, что авторы данного документа придерживаются точки зрения о том,
что понятие "оценка программ" шире, чем "мониторинг программы". В чем же сходства и различия
между ними? И мониторинг, и оценка программы базируются на сборе и анализе данных программы,
представляя собой подсистемы, обеспечивающие «обратную связь» о ходе ее реализации и
результатах1. Мониторинг позволяет отслеживать текущие ключевые характеристики процесса
реализации программы. В оценке же собранные массивы данных используются для
целенаправленного анализа, вынесения суждений о деятельности программы и принятия
управленческих решений. Принципиальное отличие оценки программ состоит в том, что ее
методология разрабатывается под конкретную задачу и не может быть универсальной и одинаковой
для любых задач, а также большая, чем при мониторинге, глубина анализа 2.
Использование индикаторов является важнейшим инструментом оценки социальных
программ и сбора информации о деятельности программы, тем не менее, при применении
количественных показателей всегда необходимо учитывать ряд ограничений:
1.
Индикаторы нельзя использовать вне контекста программы. Для того чтобы показатели
адекватно отражали достижение результатов, они должны соответствовать логике ее
реализации. Мы должны быть полностью уверены, что значения используемых количественных
показателей действительно связаны с запланированным в программе воздействием. Только в
этом случае можно говорить о том, что именно программа повлияла на изменение этих значений.
2.
Существует риск смещения фокуса программ с достижения содержательных целей на достижение
плановых показателей3. Зачастую переоценивается значение финансовых показателей и
недооценивается значение программных компонентов. Индикаторы не должны подменять собой
цель и задачи проектов и программ. Запланированные значения индикаторов лишь указывают на
то, что цель достигнута, и только в том случае, когда соблюдено ограничение.
3.
Существует проблема манипуляции показателями и подмены целей в использовании тех или
иных показателей с принятия управленческих решений на поощрение и наказание в
соответствии с достижением или недостижением плановых показателей. При использовании
количественных показателей для измерения успеха или неуспеха той или иной программы у ее
исполнителей может появиться соблазн манипулировать цифрами. Этот соблазн особенно велик,
если, например, от этого зависит вознаграждение исполнителей.
4.
Индикаторы отражают интересы финансирующих или контролирующих сторон. Оценка,
основанная на показателях, может иметь политический и весьма спорный характер в тех случаях,
когда существуют заинтересованные в тех или иных результатах стороны: в таких случаях
показатели напрямую отражают интересы заинтересованной стороны, необязательно учитывая
интересы участников программ.
5.
Сбор информации о значениях показателей для оценки результатов программ требует
привлечения значительных ресурсов. Организации, реализующие социальные программы, и
доноры средств подчас не осознают необходимости этой работы и, как следствие, не всегда
оказываются готовы к подобным вложениям. Нужно точно определять, как вырабатывается
значение показателя, поскольку это значение зависит не только от того, ЧТО измеряется, но и от
того, КАК проводились вычисления.
6.
Количественные индикаторы могут измерять только то, о чем заранее договорились.
Следовательно, индикаторы не могут продемонстрировать незапланированные, неожиданные
результаты, какими бы положительными они ни были.
7.
При ориентации исключительно на количественные показатели есть риск
проигнорировать мнение рядовых исполнителей программы и ее благополучателей.
8.
Количественные индикаторы всегда редуцируют реальность. Они дают компактную, точную, но
ограниченную картину реальности и не могут охватить все детали.
1
Методология оценки проектов и программ
2
Там же
3
потерять,
Например, ориентированность на показатели произведённых действий, затраченных усилий, созданных
организационных структур и израсходованных, «освоенных» ресурсов, а не на показатели изменений первоначальной
ситуации или негативной тенденции к лучшему, результативности влияния на ситуацию или целевую группу.