При переходе на программный формат бюджета немаловажными являются вопросы контроля за исполнением программ, а также вопросы оценки эффективности и результативности их реализации. В этой связи в статье рассмотрен подход управления, ориентированный на результат и его наиболее содержательные аспекты – процессы мониторинга и оценки эффективности реализации проектов и программ. В статье также указаны основные критерии оценки реализации программ, по казана цепочка результатов проекта, взаимосвязь критериев оценки и целей развития программы, раскрыты содержания этапов цикла мониторинга и оценки по результатам.
На сегодняшний день государство активно использует программный подход к решению социально-экономических задач, включая в нормативно-правовые акты и программные документы требование проведения оценки эффективности программ, финансируемых за счет бюджетных средств. Программный подход подразумевает управление и бюджетирование, ориентированное на результат, а основным показателем успешной реализации программы или проекта является не «освоение» выделенных средств, а достижение поставленных целей и задач. В этой связи оценка проектов и программ как управленческий инструмент начинает все шире использоваться как государственными, так и некоммерческими и бизнес организациями.
Управление, ориентированное на результат, – это подход к управлению программой или проектом, основанный на четком определении желаемых результатов и использовании методов и инструментов, необходимых для их оценки и достижения. Управление, ориентированное на результат, делает возможным обеспечение высокой эффективности работы и четкую систему ответственности за счет применения ясной, логически выстроенной системы планирования, контроля и оценки реализации проектных решений, направленной на достижение желаемых результатов.
Этот подход фокусирует внимание больше на достижении результатов и обеспечении воздействия, чем на реализуемых действиях и затрачиваемых ресурсах. То есть управление по результатам предполагает смещение фокуса внимания с ресурсов (Inputs), действий (Activities) и процедур на продукты (Outputs), результаты (Outcomes ), влияние (Impact ) и потребность в устойчивых выгодах, результатах деятельности компании. Результаты (Results) – это изменения, происходящие в результате действий проекта, предполагающие изменение поведения физических лиц, групп людей, организаций, государственных органов или общества (сообществ).
Стратегия программы или проекта должна стремиться к достижению положительных результатов через реализацию действий, которые создадут конкретные продукты (Outputs) или услуги для конкретных стейкхолдеров (заинтересованных сторон). Если эти стейкхолдеры будут пользоваться продуктам проекта, то в результате они изменят определенный процесс и получат пользу (результат). Вместе с результатами других проектов, эти результаты смогут внести вклад в достижение более высоких целей развития (влияние).
Для планирования логического процесса и управления реализацией подход Управление по результатам использует цепочку результатов. Цепочка результатов – это повторяющийся процесс. Планирование начинается с формулирования ясного видения проектной цели и результатов, вплоть до ресурсов, после чего идет реализация проекта от ресурсов (Inputs) до результатов (Outcomes ). При мониторинге и оценке в фокусе находится весь проект или программа, а детали реализации существуют в контексте цепочки (рис. 1).
Управление по результатам предлагает надежную методологию для: 1) разработки проектов, которые будут фокусироваться на конкретном решении проблем; 2) формулирования промежуточных показателей для измерения; а также 3) определения индикаторов, которые выдержат критический анализ и будут отражать реальную ситуацию.
Рисунок 1 – Цепочка результатов
Мониторинг и оценка – это важнейшая составляющая процесса Управления по результатам. Мониторинг и оценка лежат в основе построения системы надежной и достоверной отчетности о результатах, достигнутых в ходе проведения проектных/программных мероприятий.
Мониторинг представляет собой непрерывный процесс, направленный на отслеживание соответствия хода реализации проекта с его планом. В процессе мониторинга может быть выявлена необходимость корректировки плана. Мониторинг отслеживает достижения проекта с упором на «мероприятия» (activities), «результаты» (outcomes) и «цель проекта» (project purpose) и вносит коррективы или изменения в «мероприятия» или другие аспекты по мере необходимости, принимая во внимание «вклады» (inputs) и «внешние условия» (external conditions).
Оценка представляет собой процесс, который определяет результаты завершенного или реализуемого проекта с точки зрения пяти критериев и дает рекомендации о дальнейшем ходе проекта, а также полезный опыт для применения в других проектах.
Пять критериев оценки это:
- эффективность (efficiency);
- результативность (effectiveness);
- воздействие (impact);
- значимость (relevance).
В проектном цикле Мониторинг осуществляется на протяжении всего периода реализации проекта, в то время как Оценка в основном осуществляется до или после завершения проекта.
Мониторинг – это регулярный процесс сбора и анализа информации для отслеживания хода выполнения намеченных планов и проверки соответствия установленным стандартам. Он помогает выявлять общие направления и типовые варианты развития событий, корректировать стратегии и принимать информированные решения по управлению проектом или программой. Система мониторинга разрабатывается на стадии разработки программы и является ее частью. Осуществление мониторинга производится специалистами программы, иногда – с привлечением внешних специалистов.
Основой проведения мониторинга является система индикаторов. Эти индикаторы должны разрабатываться экспертами в той предметной области, в которой реализуется программа. Разработка системы индикаторов – это сложная профессиональная задача, решить которую могут лишь специалисты в узкой предметной области. Важно, чтобы совокупность индикаторов адекватно отражала все важнейшие рабочие процессы и результаты программ.
Если система мониторинга программы несовершенна, работает неэффективно или вообще отсутствует, то восполнить отсутствующую информацию будет крайне сложно либо вовсе невозможно.
Оценка включает в себя выявление и осмысление результатов проведенной работы и анализ их ценности. Сделанные выводы позволяют руководителям, бенефициарам, партнерам и финансовым донорам и другим заинтересованным сторонам проекта/программы извлечь уроки из полученного опыта и повысить качество будущей работы.
Рисунок 2 – Критерии оценки в целях развития
Оценка программы – это систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и разработать планы на будущее.
В зависимости от цели оценка может быть формирующей (ее результаты можно использовать, чтобы усовершенствовать программу, повлиять на ход ее реализации) или итоговой, суммирующей (по ее результатам можно извлечь уроки на будущее, но изменить что-либо в программе уже нельзя).
В отличие от мониторинга, оценка не базируется на измерении определенных заранее показателей (индикаторов). Хотя в оценке, конечно же, могут использоваться данные мониторинга. Однако принципиальное отличие оценки программ состоит в том, что ее методология разрабатывается под конкретную задачу и не может быть универсальной и одинаковой для любых задач. Важным отличием оценки является также большая, чем в аудите и мониторинге, глубина анализа.
Можно выделить следующие виды оценки: оценка соответствия программы существующей ситуации (логике программы, удовлетворенности заинтересованных сторон, направлений развития в будущем, финансирования); оценка влияния программы (ожидаемые и непредвиденные результаты); оценка операционной результативности (институциональной результативности, результативности процессов, оптимальности использования ресурсов).
Цель мониторинга и оценки заключается в улучшении работы по управлению проектами и извлечении полезного опыта для других проектов, а не в нахождении ошибок и упущений для осуждения тех, кто разрабатывал и реализовывал проект. Поэтому очень важно проследить, чтобы результаты мониторинга и оценки должным образом использовались в следующих или аналогичных проектах.
Мониторинг и оценка являются двумя наиболее эффективными инструментами управления и контроля. Соответствующий мониторинг позволяет следить за ходом проекта и определять проблемы, препятствующие его прогрессу. Это позволяет при необходимости быстро принимать корректирующие меры. Оценка, с другой стороны, обеспечивает важную информацию, которая является основой для принятия решения о дальнейшей судьбе проекта или его прекращении.
Понятие мониторинга и оценки в рамках управления по результатам предполагает: четкое определение бенефициаров программ или проекта (получателей пользы), других стейкхолдеров, а также определение проблем и возможностей; определение четких и согласованных целей, целевых и промежуточных показателей для мониторинга; обеспечение соответствующих ресурсов для достижения целей; мониторинг прогресса по достижению результатов и использованию ресурсов, с использованием соответствующих показателей; определение и управление рисками, с учетом ожидаемых результатов и необходимых ресурсов; использование количественных индикаторов и качественных описаний для измерения прогресса; расширение базы знаний через извлечение уроков и их интеграцию в процесс принятия решений; изменение целей в свете извлеченных уроков; отчетность по достигнутым результатам и использованным ресурсам
На каждом этапе проектного цикла есть задачи по планированию и реализации проекта, а также по отслеживанию и его оценке. Соответственно для успешности мониторинга и оценки, нужно понимать весь цикл и подходить к нему как к целостной системе.
Этап 1. Программа – Определение контекста для мониторинга и оценки. Успешность проекта зависит от наличия четкой стратегии, в рамках которой можно разработать критерии для содействия процессу разработки, оценки и измерения. Программный этап – это этап определения стратегической рамки, в которой проект будет инициироваться, финансироваться и реализовываться. На этом этапе можно изучить уроки, извлеченные из предыдущих оценок, что поможет информировать стратегию программы.
Важность определения связи проекта с программами и стратегиями заключается не только в том, что проект должен вносить вклад в реализацию стратегии, но и в том, что для того чтобы достичь устойчивой пользы, стратегия программы создаст контекст, в котором могут существовать условия, обеспечивающие устойчивость этой пользы от проекта.
Этап 2. Идентификация – Планирование решения проблем. На этапе идентификации определяются заинтересованные стороны, формулируется проблема и несколько возможных решений. На этом этапе команда проекта должна реализовать несколько действий для анализа проблем, с которыми сталкиваются заинтересованные стороны: создание карт, анализ и учет заинтересованных сторон; оценка проблем и целей; определение приемлемых вариантов стратегии. Результаты этих действий создают обоснование целей проекта и формулируют ожидания заинтересованных сторон, которые нужно будет отслеживать в течение проекта.
Этап 3. Формулирование – Разработка структуры. Информация, собранная на втором этапе, используется на третьем этапе для подготовки логической матрицы, в которой по порядку и уровням расставляются цели, предположения, индикаторы и подтверждающие данные (доказательства). План действий проекта и бюджет проекта разрабатываются исходя из Логической матрицы, после чего готовится все проектное предложение. Успех мониторинга и оценки зависит от четкости и ясности структуры проекта, разработанной на данном этапе.
Этап 4. Оценка – Условия. Согласно процедурам доноров проектное предложение должно пройти предварительную оценку: оно должно быть подготовлено в соответствии со всеми необходимыми условиями. Если это не было выполнено, то предыдущие этапы придется повторить, пока структура проекта не станет реалистичной.
Этап 5. Реализация – Реализация. На этапе реализации мониторинг и оценка содействуют руководству в принятии решений и направлении проекта к успеху. На этом этапе отслеживаются действия, бюджет, продукты и предположения, отзывы заинтересованных сторон и вклад проекта в обеспечение долгосрочных результатов. Также на этом этапе важно начать измерять прогресс проекта в плане достижения целей, вклада в стратегию и соответствие критериям DAC.
Этап 6. Оценка – Измерение. На этом этапе проводится оценка результатов, воздействия и вклада проекта в стратегию. Для этого используются критерии DAC, а также качественный и количественный анализы. Выводы, рекомендации, воздействие и извлечение уроков завершают оценку.
Поскольку мониторинг включает отслеживание хода реализации проекта и изменение его плана при необходимости, мониторинг осуществляется теми, кто участвует в его реализации. Так как «Исполнители проекта» включают в себя целый ряд сотрудников, начиная с рядового сотрудника в проектном офисе и до координатора проекта в центральном офисе, то осуществление мониторинга лучше поручать тому, кто непосредственно участвует в проектной деятельности. Это дает возможность оперативно использовать результаты мониторинга в процессе управления и вносить коррективы в план его реализации. Принимая во внимание, что мониторинг в основном предназначен для отслеживания реализации проектных мероприятий и результатов, то специалист по мониторингу должен быть хорошо знаком с деталями проекта. В противном случае, сбор информации и принятие правильных решений будут слишком сложными.
Оценка, с другой стороны, в основном сосредоточена на выяснении того «каковы результаты проекта», а не на том «как это было реализовано». Иными словами, оценка стремится установить достигнутые результаты и воздействия проекта, предоставить рекомендации о дальнейшем ходе проекта и извлечь уроки для других проектов, и поэтому требует более объективной точки зрения. По этой причине, оценка обычно осуществляется третьим лицом, независимым от разработчиков и исполнителей. Кроме того, проведение оценки требует сотрудничества различных экспертов. Таким образом, Группа по оценке должна включать в себя специалистов из более чем одной конкретной области. Как правило, оценочная группа состоит из специалистов, назначенных как донором, так и со стороны страны-получателя.
В зависимости от поставленной цели оценки, мнения бенефициаров должны быть тоже учтены, и в таких случаях включение бенефициаров в оценочную группу является целесообразным.
Литература
- Ботир Досов. Руководство по Мониторингу и оценке воздействий проектов Технического Содействия в Узбекистане. – Ташкент, 2011. – 71c.
- Эффективные оценки: оценки, которые улучшили результативность и эффект программ развития. – Вашингтон: Всемирный банк, 2004. – 36 с.
- Оценка программ: методология и практика / под ред. А.И. Кузьмина, Р.О’Салливан, Н.А. Кошелевой. – М.: Издательство «Престо-РК», 2009. – 396 с.