Managing M&amp

УПРАВЛЕНИЕ РАБОТАМИ
ПО МОНИТОРИНГУ И ОЦЕНКЕ:
КАК МОЖНО ОБЕСПЕЧИТЬ КАЧЕСТВО
Именно от менеджера работ по мониторингу и оценке зависит качество работы экспертов и команды
и, соответственно, качество процесса и продуктов. Чтобы обеспечить это качество, менеджеру нужно
сосредоточить свое внимание на определенных видах действий, которые описаны ниже.
Читая этот материал, помните об этапах процесса проведения работ по мониторингу и оценке,
описанных в материале для чтения Carrying out M&E activities — Key steps. Описываемые ниже
действия не обязательно должны осуществляться последовательно.
В случае быстрого ассесмента при чрезвычайных ситуациях многие действия остаются актуальными,
хотя и имеют более узкое назначение и объем и проводятся в более короткие сроки. В тексте они
выделены желтым цветом. Многие действия, которые выполняются на первых шести этапах, лучше
проводить в рамках работ по повышению готовности к реагированию. Более подробно быстрый
ассесмент рассмотрен в Managing rapid assessments.
Договоритесь о проведении
работ по мониторингу и
оценке
Еще до разработки
Технического задания (ТЗ)
группа единомышленников из
числа заинтересованных
сторон обсуждает основные
элементы. Это помогает
определить политические и
практические параметры
проекта. Для выполнения этой
работы, возможно, придется
провести несколько встреч.
 Определите назначение работ по мониторингу и оценке. Кто
является конечным пользователем? Как будут использовать
результаты? Каковы должны быть сроки проведения работ?
 Еще раз обсудите, кого нужно привлечь, определите ключевые
заинтересованные стороны.
 Определите приоритеты программы и ее руководства, изучите
или оцените вопросы, на которые должны ответить мониторинг
и оценка.
 Определите приемлемые контрольные показатели или
стандарты для оцениваемой ситуации или процесса
исполнения.
 Определите приемлемые стандарты качества для работ по
мониторингу и оценке.
 Определите приемлемые меры и механизмы, которые
обеспечат этичность сбора данных, особенно защиту
участников работ по мониторингу и оценке, например,
респондентов и источников информации. Определите, кто будет
отвечать за обзор ТЗ, методов и инструментов с точки зрения
соблюдения правил этики и защиты участников.
 Определите, от чего зависит достоверность результатов работ:
какие данные нужны, и с какой точностью, каким должен быть
состав команды исполнителей для проведения мониторинга и
оценки?
 Определите, какие имеющиеся материалы нужно использовать
при проведении мониторинга и оценки. В случае быстрого
ассесмента менеджеры часто сразу переключаются на
определение принципиальных пробелов в информации,
которые нужно заполнить за счет сбора данных на местах.
 Определите, какие ресурсы нужны, и какие есть.
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
Мониторинг и оценка: как можно обеспечить качество 1/5
Подготовьте ТЗ
Здесь идет речь не об узком ТЗ,
которое является частью
договора, а о более широком
описании объема работ (см.
What goes into a Terms of
Reference). ТЗ обычно
разрабатывают в два этапа,
потому что эксперты или
команда, которые будут
проводить мониторинг и оценку,
обычно помогают
разрабатывать проект работ.
 Более точно определите назначение, объем и фокус, процесс и
методологию, участие заинтересованных сторон,
ответственность, состав команды, процедуры и вопросы
логистики, необходимые ресурсы (бюджет и человеческие
ресурсы) и подготовьте черновой проект ТЗ. В условиях кризиса
и нестабильности методология и организация работ должны
учитывать вопросы безопасности и возможности доступа.
 Убедитесь, что ключевые заинтересованные стороны,
внутренние и внешние, понимают ТЗ и согласны с ним.
 Подготовьте ТЗ к договору с экспертами или исполнителями
работ по мониторингу и оценке.
 Пересмотрите и скорректируйте ТЗ вместе с нанятыми
экспертами или исполнителями работ по мониторингу и оценке,
по мере необходимости привлекая также заинтересованные
стороны (здесь имеются в виду и договорные обязательства, и
общий объем работ по мониторингу и оценке).
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
Мониторинг и оценка: как можно обеспечить качество 2/5
Выступите в роли
посредника-фасилитатора
между основными
заинтересованными
сторонами
Выберите или наймите
исполнителей работ по
мониторингу и оценке
Чаще всего это делается, когда
готово ТЗ.
Для экстренного быстрого
ассесмента все действия этого
этапа должны, в идеале, быть
выполнены на этапе
обеспечения готовности к его
проведению, в той или иной
форме должно быть
составлено штатное
расписание.
 Исполните роль посредника в процессе обсуждения и
пересмотра назначения и проекта. В случае экстренного
быстрого ассесмента это нужно делать на этапе обеспечения
готовности. Убедитесь, что в процессе рассмотрения
технических аспектов предлагаемых инструментов сбора
данных участвуют соответствующие заинтересованные
стороны.
 Определите процедуры предоставления отчетности обо всех
случаях негативного опыта при взаимодействии с
заинтересованными сторонами, местными сообществами и
властями, связанными как с вопросами безопасности
исполнителей, так и с соблюдением правил этики и защитой
участников, например, респондентов и источников.
 Отслеживайте, насколько реальная степень участия
заинтересованных сторон соответствует плановой.
 На этапе ориентации помогите команде, выполняющей
мониторинг и оценку, связаться с нужными людьми:
сотрудниками программы или проекта из разных организаций,
лицами, принимающими решения, и другими ключевыми
заинтересованными сторонами, чтобы члены команды
наладили с ними доверительные отношения.
 Тщательно информируйте заинтересованные стороны о
работах по мониторингу и оценке, чтобы гарантировать их
интерес, понимание и готовность участвовать. Это особенно
важно при оценке, когда внутренние заинтересованные стороны
могут бояться ее. Это также важно в случае быстрого
ассесмента при чрезвычайной ситуации, когда принципиально
важна открытость местного населения, лидеров и властей.
 Убедитесь, что объем консультаций с ключевыми
заинтересованными сторонами гарантирует их доверие к
выводам и позволит получить нужные и выполнимые
рекомендации. Проследите за «тоном» и тем, насколько
«взрывоопасными» будут первичные результаты, и при
необходимости скорректируйте процесс, чтобы повысить
доверие к результатам. В случае экстренного быстрого
ассесмента нужно убедить всех, кому предназначены
результаты (доноров, принимающих решения о
финансировании, организации-партнеры и т.д.), а реакции на
политически «взрывоопасную» информацию могут быть более
резкими и полярными.
 Возможно, менеджеру придется заниматься координированием
и консолидацией предложений и замечаний ключевых
заинтересованных сторон при рассмотрении финального
продукта, выступая в качестве посредника между
заинтересованными сторонами и исполнителями работ по
мониторингу и оценке.
 Определите желательную квалификацию и соответствующие
критерии (см. материал для чтения «Команда исполнителей
работ по мониторингу и оценке»).
 Определите процедуры и процесс оценки кандидатов по
критериям (особенно если в процессе принимает участие
несколько организаций).
 Определите, где искать кандидатов (внутри организации, в
резерве, в организациях-партнерах, сетях).
 Определите потенциальных кандидатов (составьте список
потенциальных кандидатов из числа сотрудников, список
кандидатов и дублеров, короткий список)
 Заключите договора с исполнителями (убедитесь, что
ответственность и стандарты исполнения четко прописаны в
соответствии с ТЗ).
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
Мониторинг и оценка: как можно обеспечить качество 3/5
Проведите ориентацию и
тренинг для команды
исполнителей работ по
мониторингу и оценке
Определите план работы
Помогите решить вопросы
логистики
Проводите мониторинг
прогресса и ассесмент
результатов работ по
мониторингу и оценке
 Обеспечьте доступ к известным имеющимся источникам
информации для обзора документов. Команда может начинать
изучать ключевую документацию еще до проведения
ориентации. Даже команда, выполняющая быстрый ассесмент,
быстро познакомится со всей нужной информацией, прежде чем
собирать данные на местах.
 Проведите для членов команды ориентацию и брифинг, на
которых определите условия, в которых проводятся работы по
мониторингу и оценке, чтобы заполнить имеющиеся пробелы в
знаниях о стране и регионе, программе, заинтересованных
сторонах и предстоящих работах по мониторингу и оценке.
 Обеспечьте необходимый тренинг, в том числе и по вопросам
безопасности. Это принципиально важно при чрезвычайных
ситуациях, поэтому лучше проводить тренинг на этапе
обеспечения готовности.
Уточните план работы вместе с командой, в том числе отведите
время на тренинг и проверку инструментов. Если члены
команды будут разделяться, отведите время на то, чтобы они
собрались вместе для обмена информацией и анализа (время,
необходимое на анализ, часто недооценивают). Определите
сроки ключевых встреч или интервью с заинтересованными
сторонами; составьте график важных консультаций или
семинаров; определите сроки предоставления промежуточных
продуктов. В случае экстренного быстрого ассесмента план
работы, скорее всего, будет определен в ТЗ.
 Помогите организовать посещения. Убедитесь, что
действующие лица на местах (власти, лидеры) готовы принять
команду исполнителей мониторинга и оценки.
 Помогите с логистикой в соответствии с ТЗ. В условиях кризиса
и нестабильности, скорее всего, потребуется больше усилий,
чтобы обеспечить безопасность, разрешения на поездки,
запасы продовольствия и воды. (См. короткий список моментов,
которые нужно учесть при проведении быстрого ассесмента в
What goes into a ToR)
 Отслеживайте соответствие выполнения работ плану. Если
ситуации очень нестабильна, возможно, потребуется часто
корректировать план с учетом вопросов безопасности и
возможности доступа.
 Изучите основные инструменты сбора данных.
 Изучите черновые проекты промежуточных продуктов и отчетов,
чтобы убедиться в их качестве, перед тем, как распространить
их более широкому кругу заинтересованных сторон; при
необходимости сделайте замечания.
 Присутствуйте на всех ключевых консультациях с
заинтересованными сторонами (для сбора данных и
обсуждения результатов), чтобы проследить процесс и реакцию
заинтересованных сторон.
 Встретьтесь с командой, чтобы провести ассесмент процесса и
внести необходимые коррективы.
 Изучите проект финального отчета и координируйте его выпуск.
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
Мониторинг и оценка: как можно обеспечить качество 4/5
Разработайте стратегию
распространения и
проконтролируйте ее
реализацию
Способствуйте
использованию результатов
оценки и отслеживайте его
 Определите и уточните стратегию распространения, целевых
получателей и содержание материалов, предназначенных для
различных пользователей. В случае быстрого ассесмента в
чрезвычайной ситуации стратегия распространения может быть
достаточно простой, но логика остается той же.
 Организуйте встречи с ключевыми заинтересованными
сторонами, чтобы узнать их мнение о результатах оценки.
Выступите на них в роли модератора.
 Обеспечьте, чтобы основные потенциальные пользователи
получили отчеты и другие продукты своевременно.
 Внесите результаты оценки в базу данных по
институциональной оценке, чтобы они были доступны (в
ЮНИСЕФ – отправьте в службу оценки).
 Добейтесь, чтобы менеджеры программ и проектов и другие
группы заинтересованных сторон встретились и обсудили, как
реализовать рекомендации ассесмента или оценки, и
запланировали соответствующие работы. В случае оценки, чем
больше ключевые заинтересованные стороны вовлечены на
этапе разработки рекомендаций, тем легче обеспечить
использование этих рекомендации.
 Встретьтесь с другими заинтересованными сторонами, чтобы
обсудить выполнение рекомендаций ассесмента или оценки.
 По мере возможности проконтролируйте выполнение
рекомендаций оценки.
Сводка мер готовности
При проведении мониторинга и оценки в условиях кризиса и нестабильности, особенного быстрого
ассесмента и мониторинга влияния, ряд мероприятий, упоминавшихся выше, нужно провести на
этапе обеспечения готовности:








Обеспечить способность провести быстрый ассесмент совместно с партнерами
Договориться о стандартах
Разработать или скорректировать инструменты и методы. Стандартные инструменты, которые
часто увязаны с мандатом организации или рассматриваемыми проблемами, нужно адаптировать
к национальным условиям или возможным сценариям природных катастроф или конфликтов.
Договориться о компонентах ТЗ: процедурах, договорных моментах (например, дублерах или
консультантах), логистике, предоставляемых ресурсах – финансовых и физических.
Распределить управленческую ответственность (например, между организациями и ключевыми
сотрудниками внутри организации).
Определить состав команды, которая будет проводить быстрый ассесмент.
Провести тренинг по использованию методов и инструментов, процедур безопасности,
оборудования.
Подготовить необходимое снаряжение и оборудование (например, ноутбуки и портативные
средства связи, средства передвижения, оборудованные средствами связи).
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
Мониторинг и оценка: как можно обеспечить качество 5/5