Ориентация работ по мониторингу и оценке на

ОРИЕНТАЦИЯ РАБОТ ПО МОНИТОРИНГУ И ОЦЕНКЕ
НА ПОТРЕБНОСТИ ЛИЦ, ПРИНИМАЮЩИХ РЕШЕНИЯ
Ассесмент, мониторинг и оценку проектируют таким образом, чтобы их результаты удовлетворяли потребности
лиц, принимающих решения. Поэтому то, какие данные будут собирать, должно хотя бы частично зависеть от
того, какие решения нужно принимать, то есть от конкретного конечного использования. Чем в большей степени
его учитывают при сборе данных, тем более сфокусированным, эффективным и результативным будет данный
процесс. Если же забыть о конечном использовании, есть вероятность, что значительная часть собранной
информации останется невостребованной.
ИЕРАРХИЯ ВОПРОСОВ – АССЕСМЕНТ
В приводимой ниже таблице показан переход от небольшого числа общих вопросов, ответы на которые нужны
для принятия решений, к более конкретным, которые используют при сборе данных. При проектировании
ассесмента и структурировании информационных потребностей следует пройти все описываемые уровни, чтобы
обеспечить логическую связь между вопросами для сбора данных и вопросами лиц, принимающих решения. То
же самое нужно сделать и при проектировании мониторинга ситуации и исполнения работ и экстренного
быстрого ассесмента.
Назначение


Ассесмент по сути своей имеет достаточно узкое
назначение.
Определить, нужно ли принимать меры.
Определить, какие меры можно принять.
Конкретные решения, которые нужно принять
Эти решения часто будут зависеть от мандата пользователя
и (в разной степени для каждой организации) от приоритетов
основных заинтересованных сторон.
В ЮНИСЕФ то, какие решения нужно принимать, должно
зависеть от КПР, средснесрочного плана и основных
корпоративных обязательств, а также национальных
приоритетов и соглашений и приоритетов основных
заинтересованных сторон.
Например:

Является ли проблема детского труда
приоритетной, нужно ли участвовать в ее
решении, и если да, то как?

В условиях гуманитарного кризиса нужно ли
национальному офису ЮНИСЕФ участвовать
в поисках детей?
Учтите, часто задача ассесмента состоит именно в
определении приоритетов основных заинтересованных
сторон, поэтому сложно учесть эти приоритеты при
проектировании самого ассемента.
Вопросы лиц, принимающих решения
На эти вопросы нужно ответить, чтобы принять
вышеупомянутые решения.
Например, если взять второе решение из
приведенных выше – относительно мер
реагирования на гуманитарный кризис, нужно
ответить на следующие вопросы:

Каковы масштабы проблемы?
 Какие ресурсы мы можем использовать?
Конкретные виды данных, которые нужно собрать
Эти виды данных позволят ответить на определенные выше
вопросы.
Например:

Сколько беспризорников в зоне кризиса?

Где они находятся?

Кто еще занимается этой проблемой?

Какие меры они принимают?

Что нужно, чтобы усилить эту работу?
При проектировании мониторинга программы связи между управленческими решениями относительно
исполнения работ и собираемыми данными выстраивают таким же образом. Обратите внимание, что чем
меньше времени есть для сбора данных, тем более узкими и конкретными будут вопросы для ассесмента. В
крайнем случае, когда проводится быстрый ассесмент внезапной чрезвычайной ситуации, решения, которые
нужно принять, и соответствующие вопросы, будут очень конкретными.
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
Ориентация на потребности лиц, принимающих решения 1/4
ИЕРАРХИЯ ВОПРОСОВ — ОЦЕНКА
В приводимой ниже таблице показан переход от небольшого числа общих вопросов, ответы на которые нужны
для принятия решений, к более конкретным, которые используют при сборе данных. При проектировании оценки
и структурировании информационных потребностей следует пройти все описываемые уровни, чтобы обеспечить
логическую связь между вопросами для сбора данных и вопросами лиц, принимающих решения.
Назначение/общие решения
Более общие вопросы первого уровня вытекают из
конкретного назначения и общих решений, принять
которые должна помочь оценка. У оценки может быть
несколько назначений, но необходимо определить
приоритеты.
Например:

Можно ли и нужно ли расширить программу?

Следует ли продолжать программу?

Какие уроки, полученные в ходе программы,
можно использовать в других условиях?

Как можно улучшить программу?
Критерии оценки
Вопросы оценки второго уровня определяют на
основании критериев оценки. Общепризнанными
являются такие критерии, как результативность,
эффективность, соответствие ситуации, влияние и
устойчивость. Для оценки гуманитарной помощи,
особенно если оценивают программы и проекты,
реализуемые несколькими агентствами, OECD-DAC
предложил четыре дополнительных критерия: охват,
согласованность, координация и защита (OECD-DAC,
1999). Возможно, в рамках каждой отдельной оценки и
не удастся всесторонне изучить все эти вопросы, но
учитывать их необходимо.
Вопросы, вытекающие из критериев оценки:

Какова ценность программы или проекта на фоне
других потребностей основных
заинтересованных сторон, национальных
приоритетов, политики партнеров по программе
(национальных и международных) и глобальных
стандартов, таких как права человека?

Являются ли результаты программы
удовлетворительными с точки зрения
заявленных целей?

В данных условиях используются ли ресурсы
программы для достижения ее целей
максимально экономично?

Каковы результаты программы, включая краткои долгосрочные социальные, экономические и
экологические последствия для людей,
сообществ и институтов?

Продолжится ли работа и ее влияние после
прекращения внешней помощи, будет ли
подобная деятельность повторяться или
адаптироваться в других местах?
Вопросы оценки
Эти вопросы определяют масштабы и фокус работ.
Чаще всего их формулируют, конкретизируя общие
критерии. Вопросы также могут вытекать из конкретной
ориентации программы.
Например, для определения соответствия ситуации
программы реагирования на крупное стихийное
бедствие, нужно ответить на вопросы:

Был ли в рамках программы соблюден баланс
между удовлетворением неотложных
потребностей и решением приоритетных
проблем местных сообществ и поиском и
использованием возможностей для укрепления
местного потенциала?

В какой степени программная деятельность
учитывала потребности и приоритеты различных
групп внутри местного сообщества, особенно
детей и женщин?
Аналитические структуры для сбора и анализа данных
Чтобы преобразовать вопросы оценки в конкретные
вопросы для сбора данных, нужна аналитическая
структура. То есть нам нужна теория относительно
проблем, которые необходимо изучить. Такую структуру
можно выбрать на основании предпочтений
пользователей или менеджеров оценки или
предложений оценщиков. Затем на ее основе можно
определить вопросы.
Например, если нужно изучить уязвимые места и
потенциал, имеющиеся аналитические структуры
подсказывают следующие вопросы:
 Как программа повлияла:
 на физические и материальные ресурсы
сообщества;
 на его организационные ресурсы;
 на отношение и мотивацию его членов?
Конкретные вопросы для сбора данных
Наконец, на основании всех вышеперечисленных
вопросов формулируют конкретные вопросы, которые
задают в процессе сбора данных, например, в ходе
интервью.

ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
Ориентация на потребности лиц, принимающих решения 2/4



Какие организации сообщества существовали на
момент кризиса?
Продолжили ли они работать? Что делали?
Как их работу ограничили последствия кризиса?
Как на них повлияла гуманитарная помощь?
ОРИЕНТАЦИЯ АССЕСМЕНТА, МОНИТОРИНГА И ОЦЕНКИ – ОБЩИЕ
ВОПРОСЫ
Независимо от конкретного назначения или потребностей лиц, принимающих решения, любой
ассесмент, мониторинговый отчет или оценка должны отвечать на следующие вопросы:



Результаты: что произошло, и как это соотносится с тем, что ожидалось?
Выводы: почему и как что-либо произошло или не произошло?
Рекомендации: что с этим нужно делать?
В зависимости от того, что проводится: ассесмент, мониторинг или оценка, – основное внимание
будет уделяться разным вопросам.
При проведении ассесмента концентрируются на результатах и рекомендациях относительно
проектирования программы.
Различные работы по мониторингу могут давать разные результаты, выводы и рекомендации. Отчет
об опросе может содержать рекомендации относительно того, решением каких проблем нужно
заняться. В отчете об обзоре программы рекомендации могут ограничиться тем, какие данные нужно
собирать в будущем. В целом, рекомендации будут менее объемными, чем в случае оценки.
В результате оценки получают детально проработанные результаты, выводы и рекомендации,
которые следует использовать в рамках либо текущей, либо будущих программ.
ОПРЕДЕЛЕНИЕ И ВЫБОР ВОПРОСОВ
В ходе мониторинга и оценки важно всегда возвращаться к более общим вопросам ассесмента,
мониторинга и оценки. Помните:

Философия и взгляды членов систем и команд ассесмента, мониторинга и оценки будут влиять на
задаваемые вопросы. Обязательно спрашивайте себя и членов команды, почему вы задаете
именно эти вопросы, и что вы, возможно, упускаете.

У различных заинтересованных сторон есть разные вопросы. При определении вопросов не
полагайтесь на одного или двух человек. Прежде чем окончательно сформулировать вопросы,
постарайтесь узнать как можно больше точек зрения, чтобы иметь полную картину.

Необходимо понять, какие ценности заложены в задаваемые вопросы. Чьи это ценности? Что
думают об этих ценностях другие заинтересованные стороны, особенно участники программы или
проекта, и как они к ним относятся? Есть ли другие вопросы, которые устраивали бы членов
команды и другие заинтересованные стороны?

Важных вопросов может быть много. Не отвлекайтесь от основного назначения проводимого вами
ассесмента, мониторинга или оценки, и определите приоритетность принципиально важных
вопросов.
(По материалам: Kellogg, 1998.)
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
Ориентация на потребности лиц, принимающих решения 3/4
ТЕСТИРОВАНИЕ ВОПРОСОВ ОЦЕНКИ ПО МЕТОДУ SMART
Чтобы убедиться в возможности получить ответы на приоритетные вопросы оценки, примените к
каждому из них принципы SMART.
Specific Конкретные
Measurable Измеряемые
Actionable –
Выполнимые
Relevant –
Нужные
Timely –
Своевременные
Является ли вопрос конкретным? Понятный ли он?
Сможете ли вы ответить на этот вопрос?
Дадут ли ответы на вопросы оценки информацию,
которая необходима, чтобы принять решения
относительно вашей программы?
Есть ли вопросы, ответы на которые «было бы
хорошо получить», а не «необходимо знать»? По
каждому вопросу вы должны знать, кому нужна
данная информация, и четко понимать, зачем она
им нужна, или что они смогут с ней сделать.
Важно ли задать этот вопрос именно сейчас?
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
Если хотя бы на один из
этих вопросов вы ответили
«нет», пересмотрите
тестируемый вопрос оценки
так, чтобы он прошел
SMART-тестирование.
В случае затруднения
проконсультируйтесь со
специалистом по оценке.
Если пересмотренный
вопрос оценки все равно не
проходит SMART-тест,
исключите его.
Ориентация на потребности лиц, принимающих решения 4/4