Оценка программ содействия социально-экономическому развитию Учебно-методическое пособие Москва 2017 Настоящий документ подготовлен сотрудниками и консуль- тантами Всемирного банка в том числе с использованием ма- териалов из внешних источников. Содержащиеся в докладе выводы, толкования и заключения могут не отражать мнения Всемирного банка, его Совета исполнительных директоров или правительств представляемых ими стран. Всемирный банк не гарантирует точности данных, содержащихся в настоящем до- кументе. Ничто в настоящем документе не является и не может считаться ограничением или отказом от привилегий и имму- нитетов Всемирного банка, которые в полном объеме особо сохраняются за Банком. Переиздание или распространение данной публикации не должно происходить без предваритель- ного согласия со стороны Всемирного банка. УДК 371.075.8, 330.34, 550.34.033 ББК 99.74, 60.550, 99.60.5 0-93 ISBN 978-5-9618-0093-7 Оценка программ содействия социально-экономическому развитию Учебно-методическое пособие Аннотация Настоящее пособие является сборником учебно-методических материалов по оценке программ и проектов содействия соци- ально-экономическому развитию через механизмы внешней помощи. Пособие разработано в рамках проекта по изучению теоретических и практических подходов к оценке международ- ной помощи развитию, проводимого Всемирным банком при сотрудничестве с экспертами международной сети по оценке Целей устойчивого развития (EVALSDGs). В пособии представлен свод теоретических, практических и методологических подходов к проведению оценки проектов содействия развитию, вносящих вклад в реализацию Целей устойчивого развития (ЦУР). Пособие состоит из трех частей, посвященных теоретическим вопросам оценки программ содействия социально-экономиче- скому развитию, практическим аспектам проведения оценочных исследований внешней помощи на основе международного опыта, а также методологии и методам проведения оценки содействия социально-экономическому развитию. Учебно-методическое пособие адресовано широкому кругу заинтересованных сторон, интересующихся и занимающихся на практике вопросами оценки социально-экономических программ и внешней помощи развитию. Пособие может быть использовано в качестве методического материала для студентов, изучающих 3 социально-экономические дисциплины и методы проведения оценочных исследований, а также для практиков, проходящих курсы повышения квалификации в данной области. Авторы благодарят за ценные рекомендации и комментарии рецензента настоящего учебного пособия профессора Школы международных отношений Колумбийского университета док- тора Ханса Мартина Боймера, Ph.D. (Economics). 4 Evaluation of International Development Assistance Programs Toolkit Abstract This toolkit is a compendium of educational materials on the evaluation of international development cooperation programs and projects. It scrutinizes theoretical, practical and methodological approaches to monitoring and evaluation (M&E) of socio-economic development projects. The toolkit was developed as part of a World Bank M&E study project in cooperation with the experts from the EVALSDGs network. The toolkit provides analysis of theoretical, practical and method- ological approaches to assessing international development cooperation programs and projects contributing to SDGs achievement. The toolkit has three parts: 1. theoretical issues of development programs evaluation; 2. practical aspects of international develop- ment cooperation evaluation based on international experience and, 3. methodology and methods for assessing the development assistance projects and programs. This toolkit was developed for a wide range of stakeholders who are interested and engaged in the practice of assessing socio-economic development programs and international development assistance projects. It also could be used as a handbook for students studying socio-economic disciplines and evaluation methods. Furthermore, the toolkit provides a wide range of useful materials for practitioners, who take advanced M&E courses. The authors thank the referee Dr. Hans Martin Boehmer Professor of School of International and Public Affairs of Columbia University for valuable advice and comments. 5 6 Оглавление Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9  1. Теоретические основы оценки программ и проектов содействия социально-экономическому развитию 1.1. Понятийный аппарат . . . . . . . . . . . . . . . . . . . . . . . 12 1.2. Помощь как объект мониторинга и оценки: международные подходы к определению эффективности проектов содействия социально-экономическому развитию и к их оценке . . . . . . . . . . . . . . . . . . . . . . 17 Роль и место оценки в управлении программами и проектами 2.  содействия социально-экономическому развитию Управление по результатам в сфере содействия 2.1.  социально-экономическому развитию . . . . . . . . . . . . 24 К лючевые принципы и практические аспекты создания 2.2.  систем оценки программ и проектов содействия социально-экономическому развитию . . . . . . . . . . . . 36 Лучшие практики оценки многосторонних 2.3.  и двусторонних программ и проектов содействия социально-экономическому развитию . . . . . . . . . . . . 46 Лучшие практики проведения внешней оценки 2.4.  программ и проектов содействия социально-экономическому развитию . . . . . . . . . . . . 66 Оценка результативности, воздействия и устойчивости 3.  программ и проектов содействия социально-экономическому развитию Цели и проблемы оценки проектов содействия 3.1.  социально-экономическому развитию . . . . . . . . . . . . 73 Дизайн оценки и выбор индикаторов оценки проектов 3.2.  содействия социально-экономическому развитию . . . . . 79 7 Выбор данных и базы для оценки программ и проектов 3.3.  содействия социально-экономическому развитию . . . . . 87 Методы и инструменты проведения оценки 3.4.  воздействия проектов содействия социально-экономическому развитию . . . . . . . . . . . . 93 Проблемы оценки помощи . . . . . . . . . . . . . . . . . . . 106 3.5.  Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 8 Введение Возрастающая зависимость беднейших стран от потоков ино- странной помощи при нарастающей остроте социально-эконо- мических проблем в различных группах развивающихся стран привлекает все большее внимание к вопросу о влиянии меж- дународной помощи на основные показатели экономического роста и о ее эффективности в целом. Еще задолго до 1990-х годов экономисты ставили под сомнение положения доминирующей теории «двойного дефицита» (two gap model) 1, согласно которой эффективность внешней помощи заключается в стимулировании экономического роста путем преодоления дефицита внутренних сбережений и иностранной валюты. В частности такие экономисты, Гриффин, Доулинг, Бун, Мосли (Griffen, Dowling, Boone, Mosley) на основе эконометриче- ских расчетов выявили факторы, влияющие на ее неэффектив- ность, к которым отнесли: коррупцию; политические режимы, которые не заинтересованы в проведении реформ; нехватку квалифицированных специалистов; слабую инфраструктуру и финансовую систему; сокращение внутренних сбережений (через их влияние на процентную ставку); повышение курса национальной валюты; подрыв стимулов к повышению произ- водительности и эффективному инвестированию 2. Эти и другие факторы обуславливали и акцентировали не- обходимость укрепления систем оценки программ и проектов международной помощи на национальном и международном уровне. Цели и методы оценки международной помощи развитию 1 Two Gap Model. The Oxford Dictionary of Economics. URL: http://www.enotes. com/econ-encyclopedia/two-gap-model 2 Mosley P., Eeckhout M.J. From Project Aid to Programme Assistance // Foreign Aid and Development: Lessons Learnt and Directions for the Future / F. Tarp (ed.). L.: Routlege, 2000. 9 менялись в зависимости от политических и экономических усло- вий. Так, в разные периоды акценты оценки ставились на реше- нии управленческих задач (контроль и надзор), формировании институционального потенциала, предоставлении отчетности, информировании лиц, принимающих решения. При проведении оценки возникали различные проблемы и ограничения, такие как неясно поставленные цели, ресурсные и временные затраты, вопросы подотчетности, вопросы безопасности, выполнение обязательств по обеспечению координации между донорами, реализация принципа национальной причастности. Наличие этих проблем часто ограничивало проведение системной и по- следовательной оценки программ/ проектов в сфере междуна- родной помощи развитию. Подписание Парижской декларации по эффективности по- мощи (2005 г.), безусловно, способствовало ускорению процесса развития национальных систем оценки программ и проектов международной помощи в странах — донорах, в первую очередь, тех, которые являются членами Комитета содействия разви- тию Организации экономического сотрудничества и развития (КСР ОЭСР). В то время как обязательство по использованию «систем стран-партнеров» для оказания помощи, закрепленное в Аккрском плане действий (2008 г.), способствовало усилению сотрудничества со странами-получателями помощи в рамках проведения оценки программ и проектов международной помо- щи. В первую очередь, акцент был поставлен на формировании технических навыков и специальных знаний, необходимых при оценке с привлечением большого числа заинтересованных сторон из числа парламентариев, представителей гражданского общества и СМИ, экспертов, других доноров. В последнем международном документе по повышению эф- фективности помощи — Пусанском партнерстве по эффектив- ности содействия международному развитию (2011 г.) — акцент поставлен на управлении по результатам. Внедрение практик управления по результатам также стало активно использоваться в оценочных системах стран-доноров. При этом такие системы 10 укрепили взаимосвязь с более масштабными национальными системами управления по результатам (к примеру, бюджетиро- вание, ориентированное на результат). Такой подход позволил сблизить оценку с мониторингом, осуществляемым в рамках управления по результатам. Тем не менее, достаточно слабой остается связь между оценкой, проводимой на уровне страны, и оценкой отдельных проектов на уровне стран-получателей помощи. Создание российской системы оценки международной по- мощи в контексте формирования системы содействия меж- дународному развитию (СМР) в целом, а также интенсивное сотрудничество России с международными институтами, стра- нами-донорами и получателями помощи в рамках реализации соответствующих программ и проектов, ставит необходимость изучения многосторонних и национальных систем оценки про- грамм и проектов международной помощи, а также потенциаль- ных возможностей для Российской Федерации по сотрудничеству в этой сфере с международными организациями, странами-до- норами и получателями помощи. 11 Теоретические основы оценки программ 1.  и проектов содействия социально- экономическому развитию 1.1. Понятийный аппарат Проведение оценки программ и проектов содействия соци- ально-экономическому развитию (помощи развитию) связано с рядом понятий, которые нуждаются в осмыслении для ин- струментализации и использования на практике. Базовым по- нятием является непосредственно оценка программ и проектов международной помощи, под которой понимается системное оценивание текущего или завершенного проекта/программы/ политики с точки зрения достижения целей развития страны/ региона для определения релевантности (relevance), эффектив- ности (efficiency), результативности (effectiveness), воздействия (impact) и устойчивости полученных результатов (sustainability) во временном периоде. Оценка может использоваться как для информирования заинтересованных сторон, так и в процессе принятия решений на уровне двусторонних и многосторонних доноров и стран-получателей помощи. В первую очередь, реализация программ международной помощи связана с достижением целей развития (development objectives), которые являются релевантными для страны/региона, и связаны с созданием физических объектов, формированием социальных, институциональных и финансовых условий и воз- можностей для дальнейшего социально-экономического разви- тия. Соответственно, реализация программ/ проектов доноров связана с достижением целей развития страны-реципиента. На глобальном уровне цели развития закреплены в Повестке ООН по устойчивому развитию (2015 г.) и отражены в 17 Целях устойчивого развития (ЦУР). Цели имеют 244 индикатора результативности. ЦУР используются донорами и странами-ре- ципиентами помощи с учетом национальных особенностей 12 и проблем социально-экономического развития в процессе принятия решений 3. Индикаторы результативности (performance indicators) явля- ются переменными, которые отражают ожидаемые результаты. Важным понятием при проведении оценки проектов и про- грамм международной помощи является понятие результата, который необходимо достигать в рамках реализации проектов в сфере СМР. Под результатом понимается готовый продукт, либо услуга (output), конечный эффект (outcome), долгосроч- ное воздействие (impact) реализованного проекта/программы помощи развитию, который может иметь как положительные, так и отрицательные эффекты. Взаимосвязь различных результатов на разных этапах реали- зации проектов/программ международной помощи и достижения поставленных целей получила название цепочки результатов (results chain) (Таблица 1). Таблица 1 Цепочка результатов проектов и программ международной помощи развитию Способ Что Какие конечные Для чего реализации должно эффекты ожидаются нужна быть в результате программа? получено? реализации программы? Издержки Программа Готовый Кратко­ Средне­ Долго­ действий продукт срочные срочные срочное либо услуга воздействие Источник: Managing for Development Results Concepts Поскольку часто присутствие донора на территории стра- ны-получателя помощи характеризуется длительным перио- дом времени, а также связано с необходимостью согласования программ помощи с целями партнеров, уместно говорить об управлении по результатам для развития (УРР). УРР является управленческим подходом, связанным с важными изменениями, 3 United Nations 2030 Agenda for Sustainable Development. URL: http://www. un.org/ga/search/view_doc.asp?symbol=A/RES/70/1&Lang=E 13 при котором достижение ожидаемых результатов является главной целью. Подход определяет рамку для стратегического планирования, управления рисками, мониторинга, оценки 4. Дискурс, связанный с УРР в рамках проектов международ- ной помощи, долгое время происходил на уровне отдельных программ отдельных доноров. Однако международный подход к решению проблемы результатов помощи был предложен только в начале 2000-х гг. Так, подход УРР обсуждался в рамках круглых столов по результатам в сфере развития в Вашингтоне (2002 г.) 5 и в Марракеше (2004 г.).6 Участники обсуждали использование многосторонними и двусторонними агентствами в сфере СМР возможностей выработки скоординированного и гармонизиро- ванного подхода к мониторингу и оценке результатов проектов международной помощи. Впоследствии подход УРР стал одним из ключевых принципов Парижской декларации об эффектив- ности помощи (2005 г.).7 Международная помощь развитию относится к комплекс- ным социальным, экономическим и политическим явлениям. Именно поэтому она является сложной в качестве объекта оцен- ки. В связи с этим в международной практике можно выделить несколько критериев, обеспечивающих проведение оценки раз- личных аспектов международной помощи развитию. К таким критериям КСР ОЭСР относит релевантность, результативность, эффективность, воздействие, устойчивость помощи 8. К числу критериев, дающих оценку качества помощи, можно также 4 Managing for Development Results. DAC OECD. URL: http://www.oecd.org/ dac/effectiveness/mfdr.htm 5 First Roundtable for Development Results, Washington, 2002. URL: http://www. mfdr.org/1stRoundtable.html 6 Second Roundtable for Development Results, Marrakech, 2004. URL: http://www. mfdr.org/2ndRoundtable.html 7 Paris Declaration on Aid Effectiveness and Accra Agenda for Action. URL: http://www.oecd.org/dataoecd/11/41/34428351.pdf 8 DAC Criteria for Evaluating Development Assistance. DAC OECD. URL: http://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance. htm 14 отнести последовательность проектов международной помощи развитию и ее охват. Релевантность международной помощи развитию связана с ее соответствием приоритетам и потребностям реципиента. Оценка релевантности программ и проектов в сфере СМР свя- зана с поиском ответов на такие вопросы, как: насколько цели проектов действительны? Согласованы ли действия и резуль- таты программ с общей целью? Согласованы ли мероприятия с непосредственными эффектами и конечными результатами? Результативность измеряет степень достижения программа- ми международной помощи своей цели. Оценивая результатив- ность помощи, важно ответить на такие вопросы, как: в какой мере цели достигнуты или могут быть достигнуты; какие факторы повлияли на достижение или недостижение целей. Эффективность позволяет оценить в качественном или в количественном выражении результаты по отношению к за- траченным ресурсам. Другими словами, критерий позволяет оценить программы/проекты международной помощи с точки зрения издержек. В этой связи оцениваются альтернативные подходы для достижения сопоставимых результатов. Такой подход позволяет понять, был ли использован наиболее опти- мальный подход в достижении цели с точки зрения затраченных ресурсов, времени. Воздействие программ/ проектов международной помощи развитию позволяет выявить ее основные эффекты на соци- альные, экономические и политические и другие индикаторы, характеризующие экономическое развитие страны/ региона. При этом критерий оценивает как предполагаемые, так и не- преднамеренные результаты, имеющие как положительное, так и отрицательное значение для развития. Оценка предполагает определение изменения состояния оцениваемых систем до и по- сле реализации проекта/ программы. Следующий критерий оценки международной помощи — устойчивость полученных результатов в течении определенного периода времени — позволяет выявить вероятность сохранения 15 достигнутых эффектов программ помощи после того, как финан- сирование со стороны доноров заканчивается. Экологическая и финансовая устойчивость проектов/ программ во временном периоде определяет степень их успешности. Помимо перечисленных критериев, предложенных КСР ОЭСР, международное экспертное сообщество выделяет также последовательность и охват проектов международной помощи развитию 9. Оценка последовательности проектов/программ между- народной помощи позволяет определить соотношение между целями и задачами политик и различных действий доноров, а также их соответствие целям развития страны/региона — по- лучателя помощи. Такая оценка проводится при необходимости выявления общего эффекта программ помощи на развитие страны — получателя. Критерий охвата позволяет оценить масштабы влияния программ и проектов, связанных с предоставлением между- народной помощи развитию. Наиболее ясным условием для оценки данного критерия является определение доли населения, охваченной программой/ проектом помощи развитию. Эти и другие понятия определяют основные процедуры и ин- струменты для оценки программ и проектов международной помощи развитию, которые более подробно будут рассмотрены далее. 9 Evaluating Humanitarian Action Using DAC OECD Criteria. An ALNAP Guide for Humanitarian Agencies. Overseas Development Institute, 2006. 16 Помощь как объект мониторинга и оценки: 1.2.  международные подходы к определению эффективности проектов содействия социально- экономическому развитию и к их оценке 1.2.1. Помощь как объект оценки Рассматривая международную помощь как объект оценки важно выделять следующие понятия: эффективность, результативность и воздействие программ международной помощи развитию. На вопрос о результативности помощи могут помочь ответить оценки достижения отдельными программами/ проектами из- начально поставленных целей, таких как количество километров построенной дороги, количество человек, прошедших повыше- ние квалификации и т.д. Такая оценка позволяет ответить на вопрос, почему проект/ программа достигает или не достигает поставленных целей. К тому же оценка является обязатель- ным инструментом для проведения контроля и финансового надзора. Оценка эффективности позволяет провести анализ отдельных проектов с точки зрения их экономической эффективности, од- нако, не может характеризовать результативность помощи и ее воздействие. Для получения данной характеристики необходимо проведение оценки воздействия помощи путем измерения изме- нений в результате внешних экономических интервенций. В этом случае проводится не анализ отдельных проектов, а оценивание их комплексного воздействия на развитие страны/ региона и на достижение целей развития. Такое оценивание может помочь понять, действительно ли проекты/ программы помощи меж- дународному развитию действенны на практике. В отличие от оценки отдельных программ и проектов оценка воздействия таких проектов является более сложным и ресурс- но-затратным процессом. Опыт некоторых доноров показывает, что процедура оценки воздействия международной помощи на процессы развития стран-получателей помощи в среднем 17 составляет до шести месяцев, а может достигать и двух лет 10. При этом отложенные эффекты не всегда представляется возможным выявить в краткосрочном и среднесрочном периоде, к примеру, на уровне отдельных секторов экономики, в связи с чем в целях операционной эффективности и снижения стоимости оценки воздействия методологические вопросы должны формулиро- ваться максимально точно 11. Как показывает международная практика, затраты на прове- дение мониторинга и оценки международных программ и про- ектов помощи в среднем составляют 1–5% от общего объема финансирования. Проведение оценки долгосрочных эффектов таких программ, как правило, также учитывается в этих затратах. Однако в некоторых случаях оценка долгосрочного воздействия помощи выделяется в качестве отдельного этапа реализации проекта. Тем не менее, затраты на ее проведение не превышают размера общего бюджета на цели мониторинга и оценки проекта 12. Реализация программ помощи развитию может иметь как положительные, так и отрицательные последствия. С одной стороны, большинство программ изначально направлены на повышение объемов ресурсов (человеческий капитал, произ- водственные ресурсы и т.д.), что способствует формированию потенциала для развития. Это обуславливает отложенное вли- яние на уровень экономического роста. Например, результаты программ, направленных на подготовку кадров в стране — по- лучателе помощи, проявляются не сразу и имеют характер дол- госрочных эффектов. С другой стороны, существует высокий риск появления не- гативных последствий программ в сфере развития. В частности, 10 Monitoring and Evaluation. Some tools, Methods and Approaches. World Bank, 2004. www.worldbank.org/oed/ecd_ 11 Clemens, Michael. “Impact Evaluation in Aid: What For? How Rigorous?” Presentation at the Overseas Development Institute, July 3, 2012. URL: http://www. cgdev.org/content/multimedia/detail/1426372/. 12 Impact Evaluation. Methodological and Operational Issues. 2006. Asian De- velopment Bank. P. 18. URL: http://www.oecd.org/development/evaluation/dcd- ndep/37604190.pdf 18 при поддержке бюджетов развивающихся стран возникает риск снижения налоговых поступлений. Также большую угрозу для национальной экономики развивающихся стран представляет снижение объемов национального производства, которое ведет к снижению объемов экспорта. А сокращение реального объема национального производства при стабильном уровне денежной массы приводит к инфляции. Тем не менее, положительный эф- фект воздействия программ в сфере содействия международному развитию может быть обеспечен за счет последовательности действий доноров, а также согласованных позиций между до- норами и страной-партнером. Масштабное внедрение практик оценки помощи развитию является относительно недавним трендом. Ранее заключения об эффективности помощи и об успешности программ помо- щи развитию давались, исходя из достигаемых политических результатов. К примеру, считается, что План Маршала является основным фактором, обеспечившим послевоенное восстанов- ление стран Европы. А экономический рост в Корее, Тайване в конце 20-го века часто связывают с деятельностью междуна- родных доноров 13. Напротив, в других случаях, программы международной помощи считаются крайне неэффективными. К примеру, многие эксперты критикуют коррумпированные власти некоторых афри- канских стран, которые не использовали получаемые ресурсы для социально-экономического развития своих государств 14. Более того, программы помощи неоднократно подвергались критике за отсутствие системности и последовательности в подходе. Так, к примеру, социальные объекты инфраструктуры в некоторых развивающихся странах, построенные на деньги доноров, часто оставались неиспользуемыми в силу отсутствия возможностей и ресурсов у местных правительств для их функционирования. 13 Lawson M.L. Does Foreign Aid Work? Efforts to Evaluate U.S. Foreign Assis- tance. CRS Report to Congress. February, 2013. P. 3. 14 Economic Gangsters: Corruption, Violence and the Poverty of Nations, by Raymond Fisman and Edward Miguel, Princeton University Press, 2008. 19 Часто иностранную помощь относили к числу причин снижения уровня подотчетности правительств, разжигания коррупции, а также снижения объемов экспорта стран-получателей. Специфика международной помощи определяется также тем, что она часто объединяет одновременно цели экономиче- ского развития, а также цели политического характера. К тому же возможности для анализа эффективности помощи часто затруднены в силу отсутствия последовательных практик ее оценки, в том числе, во временном интервале.  еждународные принципы эффективности 1.2.2. М помощи и подходы к ее оценке Несмотря на наличие острой проблемы определения и оценки эффективности и результативности помощи развитию, единый подход международного сообщества доноров в отношении спо- собов предоставления и повышения эффективности помощи начал складываться только в 2000-х годах. Так, впервые прин- ципы повышения эффективности помощи были обозначены в декларации, принятой по итогам Первого форума высокого уровня по проблемам эффективности помощи в Риме (High Level Forum on Aid Effectiveness) в 2003 г.15 Далее эти принципы обсуждались на форумах высокого уровня в Париже (2005 г.) и в Аккре (2008 г.), по результатам которых были приняты два документа: Парижская декларация и Аккрский план действия соответственно 16. Конференция по финансированию развития в Монтерее в 2002 г.17 и Форум высокого уровня по эффективности помо- щи в Риме способствовали внедрению новых принципов для 15 Rome Declaration on Harmonisation. URL: http://www.oecd.org/datao- ecd/54/50/31451637.pdf 16 The Paris Declaration on Aid Effectiveness and the Accra Agenda for Action. URL: http://www.oecd.org/dataoecd/11/41/34428351.pdf 17 Monterrey Consensus of the International Conference on Financing for Devel- opment. URL: http://www.un.org/esa/ffd/monterrey/MonterreyConsensus.pdf 20 стратегий развития, принимаемых донорами и странами-ре- ципиентами помощи, таких как принцип национальной при- частности страны (country ownership) и принцип эффективного государственного управления (good governance), принцип гар- монизации (harmonization), принцип согласованности усилий доноров (alignment of donor efforts), предоставление отчетности за достигнутые результаты (accountability for development results), а также участие гражданского общества. В соответствии с Аккрским планом действий, прогрессу в области повышения эффективности помощи на территории страны-получателя способствует реализация трех ключевых компонентов: усиление заинтересованного участия стран в де- ятельности в области развития (country ownership), создание более эффективных и всеобъемлющих партнерств в целях со- действия развитию (building more effective and inclusive partnerships for development), получение результатов от содействия разви- тию и осуществление отчетности по полученным результатам (delivering and accounting for development results). Принципы повышения эффективности помощи не переста- вали быть предметом дискуссии международного сообщества доноров и реципиентов помощи. Новый подход к пониманию эф- фективности помощи был закреплен в 2011 г. в рамках Пусанского партнерства по эффективности содействия международному развитию в форме нового консенсуса в сфере содействия разви- тию 18. Подход предполагал переход от помощи к сотрудничеству и от эффективности помощи к эффективному развитию за счет повышения подотчетности, укрепления национальных инсти- тутов, более активное привлечение частного сектора к решению вопросов бедности, расширение партнерств по линии «Юг-Юг». Несмотря на большое число международных и националь- ных механизмов для повышения эффективности и определения принципов оценки помощи в целях развития, появление новых Busan Partnership for Effective Development Cooperation. Fourth High-Level 18 Forum on Aid Effectiveness. Busan, Republic of Korea, 29 November — 1 December, 2011. URL: http://www.oecd.org/dac/effectiveness/49650173.pdf 21 механизмов финансирования программ стимулирует между- народное сообщество к выработке новых подходов к решению проблемы эффективности помощи и созданию новых механизмов для оценки ее результативности и эффективности. Специфика международной помощи предполагает прове- дение оценки исходя из следующих условий. Во-первых, от- ветственность за развитие страны лежит непосредственно на национальном правительстве, которое должно обеспечи- вать согласование своих стратегий со стратегическими инте- ресами доноров, а также обеспечивать координацию между ними 19. Во-вторых, макроэкономический эффект помощи трудно уловить и измерить на национальном уровне, и еще более трудно и практически невозможно — на региональном и глобальном уровне. Оценка эффективности помощи должна проводить- ся в контексте конкретных программ или проектов, которые, в свою очередь, должны реализовываться в рамках долгосрочных программ развития, обеспечивающих устойчивость и последо- вательность реализации политики в сфере СМР. В-третьих, проблематичной является оценка системной транс- формации — реальных изменений условий развития националь- ных экономик беднейших стран как следствие реализации про- граммы и проектов помощи 20. Именно эти особенности делают международную помощь комплексным предметом для оценки, поскольку часто не дают понимания относительно того, что не- обходимо оценивать, почему произошли системные изменения, и каким образом можно измерить эффект помощи. 19 Harmonising Donor Practices for Effective Aid Delivery. Volume 2: Budget support, Sector Wide Approaches and capacity development in public financial management. URL: www.oecd.org/dac/harmonisingpractices 20 Системная трансформация (теория изменений) (Theory of change) — в случае содействия развитию предполагает качественные и количественные краткосрочные и долгосрочные изменения характеристик домашних хозяйств, местных сообществ, государственных и неправительственных институтов. Для анализа изменений проводится сопоставление ожидаемых и реальных достигнутых результатов. 22 Отсутствие общего подхода к оценке международной по- мощи переложило ответственность за проведение оценки ма- кроэкономической эффективности помощи на международные организации, такие как ОЭСР, Всемирный банк и ООН, данные и методические рекомендации которых используются большин- ством других многосторонних и двусторонних доноров, а также странами-партнерами. Вопросы для контроля и проверки знаний В чем заключается специфика программ содействия соци- 1.  ально-экономическому развитию беднейших стран и, как следствие, особенности их оценки? Дайте определение для подхода «управления по результатам 2.  для развития» (УРР) Перечислите ключевые индикаторы для оценки программ 3.  международной помощи. Каким образом оценка позволяет снизить риски, связанные 4.  с реализацией программ содействия социально-экономиче- скому развитию беднейших стран? Перечислите и охарактеризуйте ключевые международные 5.  инструменты «мягкого права», обеспечивающие реализацию принципов эффективности и результативности помощи раз- витию. 23 Роль и место оценки в управлении 2.  программами и проектами содействия социально-экономическому развитию Управление по результатам в сфере содействия 2.1.  социально-экономическому развитию Внедрение практик управления по результатам в национальные системы государственного управления затронуло также и сфе- ру международной помощи и СМР в целом. Новым подходом к осуществлению мониторинга и оценки программ и проектов международной помощи стала концепция «управление по ре- зультатам для развития» (УРР) 21. УРР является управленческим подходом, согласно которому в процессе исполнения программы достигаются заранее определенные цели и результаты. Подход был разработан международным сообществом доноров в целях укрепления практик реализации программ в сфере СМР, реа- лизации принципов Парижской декларации, и является пред- метом работы ряда международных форумов по повышению эффективности международной помощи и по управлению по результатам в сфере развития 22. Современный подход к управлению по результатам в сфере развития берет свои истоки с 1964 г. в книге Питера Друкера «Управление по результатам». Инструментализация данной концепции была осуществлена в 1971 г. Агентством США по международному развитию (АМР США) в рамках разработки дизайна проектов с использованием методов мониторинга до- стижения заранее определенных результатов. В период с 1975 по 1995 гг., данная концепция была принята большинством двусторонних доноров с фокусом на результаты с добавлением элемента «цепочки результатов». 21 Managing for Development Results, Organization for Economic Cooperation and Development. URL: http://www.oecd.org/dac/effectiveness/mfdr.htm 22 Managing for Development Results. URL: http://www.mfdr.org/1About.html 24 Концепция УРР была определена в рамках Второго круглого стола по управлению по результатам в Марракеше в 2004 г.23 как «управленческая стратегия, направленная на достижение результатов в сфере СМР, а также на улучшения показателей развития страны». Стратегия задала направление для повыше- ния эффективности программ в сфере СМР, в рамках которо- го информация о достигнутых результатах используется для укрепления процесса принятия решений, а также применяются практические инструменты для стратегического планирования, управления рисками, оценки полученных результатов 24. Впоследствии управление по результатам стало одним из ключевых принципов Парижской декларации по эффектив- ности помощи, одним из индикаторов которой стало создание транспарентных, поддающихся мониторингу и оценке рамок в странах-членах для оценки степени достижения результатов. Реализация данного индикатора уже к 2010 г. помогла снизить на одну треть число стран, которые не используют рамки для оценки результатов 25. Более того, акцент на результатах в рамках управления программами международной помощи, как уже было отмечено, был поставлен и в Пусанском партнерстве для эффективного сотрудничества в сфере развития 26. В широком смысле управленческий подход предполагает оценку реального воздействия помощи на повышение качества жизни населения страны-партнера, в том числе, путем изменения институтов, создания и реализации страновых стратегий, которые помогают правительствам стран-партнеров, многосторонним и двусторонним донорам реализовывать программы в сфере СМР. 23 Second Roundtable on Development Results. URL: http://www.mfdr.org/2n- dRoundtable.html 24 Second International Roundtable on Managing for Development Results. URL: http://www.mfdr.org/documents/RapporteurSummaryofSeminarIII.pdf 25 Paris Declaration on Aid Effectiveness and Accra Agenda for Action. URL: http://www.oecd.org/dataoecd/11/41/34428351.pdf 26 Busan Partnership for Effective Development Cooperation. Fourth High-Level Forum on Aid Effectiveness. Busan, Republic of Korea, 29 November — 1 December, 2011. URL: http://www.oecd.org/development/effectiveness/49650173.pdf 25 Данный подход отражает основные принципы эффектив- ного госуправления (good governance), такие как наличие четко определенных целей, прозрачный процесс принятия решений, транспарентность и постоянный процесс повышения эффектив- ности, основанный на полученном опыте. Концепция позволяет объединить как международные усилия по исполнению ключе- вых обязательств в сфере СМР, так и повышать эффективность реализации программ международной помощи на региональном и страновом уровне. Такой подход позволяет обеспечить подот- четность не только в отношении граждан страны-партнера, но и в отношении доноров. При этом, концепция УРР предполагает, что цели являются не только понятно определенными и измеряемыми, но и обозна- ченными в качестве результатов программ в сфере СМР, такие как уровень снижения детской смертности, а также уровень посещаемости школ. Одним из условий является всестороннее признание этих целей на международном уровне среди доноров, а также внедрение их странами-партнерами в национальные стратегии развития. Выстраивание цепочки целей и стратегий на национальном уровне, а также согласование этих стратегий с международными приоритетами является сложной технической и политической за- дачей. С точки зрения реализации концепции УРР краеугольной задачей является имплементация и внедрение целей развития в национальные стратегии развития и снижения уровня бедно- сти, а также в многосторонние региональные и секторальные планы сотрудничества. Нетривиальной задачей является также согласование пози- ций доноров между собой и с национальными приоритетами развивающихся стран. Значимую роль в решении этой задачи, а также координации ключевых сторон, в том числе в рамках принятия решений в отношении бюджетного планирования, играют международные организации, в частности КСР ОЭСР, как консультативный орган, Всемирный банк и институты ООН, как ключевые международные доноры. 26 Построение системы УРР предполагает формирование мно- гоуровневой системы взаимосвязей и согласования процессов управления. Так, на уровне развивающихся стран для внедрения в практику подхода управления по результатам для развития требуется реализация шести факторов: политическое влияние, высокий национальный потенциал, согласование принципов управления для достижения результатов с национальными систе- мами, проведение на национальном уровне оценок, а также участие в проведении международных оценок реализации программ. Часто построение системы УРР начинается с изменения системы мониторинга и оценки. В таблице 2 представлены результаты исследования, проведенного в рамках мониторин- га исполнения Парижской декларации, которое показало, что только 5% исследуемых стран используют рамки для управления по результатам. Тем не менее, в 56 странах были предприняты действия по внедрению данной концепции. Опыт указывает на то, что для полной институционализации стратегии необходимо как минимум 7 лет27. Деятельность международного сообщества, направленная на УРР, осуществляется по трем основным направлениям 28. Первым направлением является укрепление национального потенциала для управления по результатам (Strengthening Country Capacity to Manage for Results). Для этого развивающиеся страны должны работать с национальными агентствами СМР, гражданским об- ществом и другими заинтересованными сторонами в целях реа- лизации национальных программ в данной сфере и достижения поставленных в них результатов. В этой связи, первоочередной задачей доноров является содействие в повышении потенциала развивающихся стран достигать поставленные результаты, в том числе, путем предоставления статистической информации, содей- ствия в создании систем мониторинга и оценки эффективности. 27 World Bank, Results-Based National Development Strategies: Assessment and Challenges Ahead, Washington, DC: World Bank, December 2007. 28 Managing for Development Results website. URL: http://www.mfdr.org/1About. html 27 Таблица 2 Существует ли в странах определенные рамки для проведения мониторинга (индикатор 11 Парижской декларации об эффективности помощи)?  Страна 2005 2007 Страна 2005 2007 Афганистан н/д D Либерия D D Албания D D Мадагаскар C C Бангладеш D C Малави D D Бенин C C Мали D D Боливия С С Мавритания C C Буркина Фасо С С Молдова D C Бурунди D D Монголия D D Камбоджа C C Марокко н/д н/д Камерун D D Мозамбик C B Кабо Верде D C Непал C C ЦАР D D Никарагуа C C Чад D D Нигер D D Колумбия н/д н/д Нигерия н/д C ДРК D D Папуа Новая Гвинея н/д н/д КотД’Ивуар D E Перу н/д н/д Доминиканская н/д н/д Филиппины н/д н/д Республика Египет н/д н/д Руанда C C Эфиопия C C Сенегал C C Габон н/д н/д СиераЛеоне D D Гана C C Судан D D Гаити D D Танзания B B Гандурас C C Того н/д н/д Индонезия н/д н/д Тонга н/д н/д Иордания н/д н/д Украина н/д н/д Кения C C Уганда B B Косово н/д н/д Вьетнам C C Киргизия C C Йемен D C Лаос D C Замбия D D Источник: КСР ОЭСР Примечание: A — поддерживаемая практика; B — развитая практика; C — действия предприняты; D — существуют определенные элементы системы; E — предприняты незначительные действия; н/д — нет данных. 28 Вторым направлением действий международного сообщества по созданию системы управления по результатам в целях развития является повышение результативности программ международ- ной помощи (Improving the Relevance and Effectiveness of Aid). Для большинства агентств в сфере СМР применение концепции УРР означает смещение акцента с затрат и непосредственных результа- тов на долгосрочные эффекты их деятельности в развивающихся странах. В этой связи многосторонние доноры внедряют рамки для управления по результатам в свои стратегии и программы сотрудничества, ставя акцент на устойчивых результатах страны, а также создавая системы отчетности о результатах. И, наконец, третьим направлением является формирование и укрепление глобальных партнерств УРР (Global Partnership on Managing for Development Results). Глобальные коалиции поддер- живают основных участников в предоставлении надежных и сво- евременных данных о достижении целей развития, способствуют укреплению международных механизмов отчетности путем соз- дания универсальных систем мониторинга и оценки. Это в су- щественной степени облегчает для международного сообщества задачу построения систем управления по результатам в сфере СМР. В настоящее время работа по формированию партнерств происходит как на глобальном, так и на региональном уровне. В дополнение к форумам по эффективности помощи, в рамках которых обсуждаются вопросы управления по результатам в це- лях развития, существует также три региональные инициативы сообществ практиков по вопросам управления по результатам в сфере развития в Африке, Латинской Америке, Азиатско- тихоокеанском регионе 29. Что касается национального уровня, система управления по результатам предполагает использование на практике таких эле- ментов, как бюджетирование, ориентированное на результат, при- нятие решений на основе фактов и доказательств, подотчетность общественности, общее понимание целей и стратегий (Таблица 3). Communities of Practice (CoP) on Managing for Development Results. URL: 29 http://www.mfdr.org/CoP/index.html 29 Таблица 3 Операционализация концепции УРР Согласованные планы и бюджеты Элемент 1. Бюджетирование, Программное бюджетирование ориентированное Предсказуемые объемы помощи и среднесрочные на результат финансовые планы Элемент 2. Системы мониторинга результатов, последовательные Принятие статистические данные решений на Гибкость в принятии управленческих и бюджетных решений основе фактов и доказательств Ежегодный анализ деятельности заинтересованных сторон. Подотчетность на государственном и международном уровне Элемент 3. Подотчетность Прозрачность и открытый обмен информацией обществу Прозрачность системы мотивации. Акцент на результатах развития при согласованных Элемент 4. показателях и конкретных сроках задачах Разделяемы Согласование целей и соответствующих ресурсов цели и стратегии Использование цепочек результатов Источник: ОЭСР Бюджетирование, ориентированное на результат Что касается бюджетирования, ориентированного на результат (БОР), то бюджет является ключевым инструментом для реа- лизации приоритетов и результатов УРР. Такой подход требует создания четких механизмов и процедур для отражения поли- тических приоритетов в строках бюджета, связывая процессы планирования и бюджетирования на национальном и отраслевом уровнях (Рисунок 1). Это, как правило, предполагает создание программного бюджетирования, где ресурсы четко связаны с результатами и конечными эффектами, которые ожидается получить. Поскольку не все результаты программ международной помощи могут быть достигнуты в краткосрочной перспективе, подход УРР предполагает использование среднесрочных расхо- дов правительств, а также предсказуемые оценки многолетних взносов доноров. Основная проблема, связанная с БОР, заключается в том, что в настоящий момент подход в полной мере не реализован и не 30 Рисунок 1 Политическое влияние исследований, проведенных при поддержке 3ie Приоритеты национальной Определение и секторной политики приоритетов и фаз Стратегическое Одобрение краткосрочных бюджетирование и среднесрочных бюджетов Операционное планирование Действительные расходы Управление госрасходами Предоставление услуг Исполнение Мониторинг результатов и Результаты системы консультирования получателей помощи Источник: ОЭСР функционирует не только в странах-донорах, но и в странах — получателях помощи. Сейчас в большей мере распространены практики использования информации о результатах в своих бюджетных процессах. В число барьеров для создания систем БОР входят: различия в процессах планирования и бюджети- рования, трудности с выполнением финансовых обязательств, выходящих за рамки их текущего бюджетного цикла, опасность использования механического способа управления. Принятие решений на основе фактов и доказательств Финансирование программ и проектов международной помощи развитию остается в существенной степени зависимым от по- литических приоритетов, в связи с чем достигаемые результаты проектов и программ международной помощи имеют высокое 31 значение для определения приоритетов. Получение достоверных данных, в свою очередь, зависит от качества национальных стати- стических систем, а также систем прогнозирования, мониторинга и оценки. Более того, такие системы должны быть ориентиро- ванными на потребности лиц, принимающих решения, а также отвечать требованиям бюджетных циклов. Большинство стран выделяют недостаточные ресурсы для проведения мониторинга и оценки, а также не поддерживают систематических процедур для сбора эмпирических данных о результатах деятельности, поскольку не имеют достаточно стимулов. Процесс принятия решений о бюджетах должен быть в вы- сокой степени гибким в целях обеспечения оперативной кор- рекции бюджетов и программ. Ежегодный анализ деятельности заинтересованных сторон может стать не только эффективным средством для достижения этих целей, но также решить проблему строгости, своевременности и достоверности данных. Подотчетность обществу Обеспечение подотчетности обществу является не менее важ- ным элементом для создания национальной системы УРР, ко- торая основана на ответственности правительств перед свои- ми гражданами и взаимной подотчетности между донорами и странами-получателями помощи. Отчетность, в свою очередь, предполагает высокий уровень прозрачности и открытости информации об итогах и расходах на программы и проекты международной помощи. Разделяемые цели и стратегии Реализация подхода УРР на национальном уровне также под- разумевает не только ясность и измеримость целей, но и их выражение в качестве результатов развития (например, сниже- ние детской смертности, увеличение посещаемости заведений среднего образования). Принято считать, что эти цели должны 32 быть конкретными ограниченными в количестве, а также согла- сованными показателями и временными рамками. Кроме того, цели должны быть одобрены внутри страны, а доноры должны согласовывать свои действия с национальными целями, постав- ленными реципиентами. Для совершенствования планирования, определения результатов воздействия помощи, систематизации сбора информации о результатах система УРР должна четко свя- зывать затраты, результаты, последствия и конечные эффекты. С практической точки зрения согласование целей и стратегий является комплексной задачей. Как правило, процесс включает в себя преобразование планов в стратегии, длинный список потенциальных индикаторов в ограниченном наборе ключевых показателей. Выбор целей и способов их достижения — наиболее важный и чувствительный вопрос политики СМР. Обеспечение национального консенсуса, касающегося вы- бранных целей и показателей, а также обеспечение согласования деятельности доноров часто требует существенных изменений в процессах управления. Разработка и внедрение надежных координационных механизмов для выбора приоритетов среди целей является отдельной проблемой, учитывая количество и круг потенциальных заинтересованных сторон, а также многих требований, предъявляемых к донорам и реципиентам помощи. Таким образом, координация должна осуществляться на этапе разработки и рассмотрения бюджета. Реализация на практике четвертого элемента системы УРР — разделяемые цели и стратегии — предполагает учет националь- ных задач стран-получателей помощи в программах и про- ектах международной помощи развитию. Эта задача в части, касающейся использования системы ожидаемых результатов стран — получателей помощи, является ключевым элементом (принципом) Пусанского соглашения о партнерстве  30 . Можно Страны и организации согласились принять на страновом уровне про- 30 зрачные ожидаемые результаты, взятых из приоритетов и целей развития развивающихся стран, в качестве общего инструмента для оценки результа- тивности программ международной помощи доноров. 33 указать на некоторые результаты реализации данного принципа странами-подписантами данного соглашения на практике. Основным индикатором для измерения реализации дан- ного элемента является доля доноров, учитывающих ожида- емые результаты стран-реципиентов. Страны-доноры могут использовать национальные системы ожидаемых результатов на многих уровнях: стратегии, программы, реализация и управле- ние программами. Главным условием является использование донорами ожидаемых результатов в процессе планирования, имплементации и отчетности. Индикатор предполагает, что доноры могут поэтапно внедрять в свои практики систему ожи- даемых результатов в качестве основы для программирования, реализации и отчетности. КСР ОЭСР была предпринята попытка провести оценку свя- зи между различными программами международной помощи и целями стран-получателей помощи в этой сфере. Исследование показало, что порядка 43% программ доноров напрямую вклю- чают цели стран — получателей. В оценке приняли участие от 4 до 6 организаций, участвующих в программах СМР из 8 стран-участниц. По результатам оценки было выявлено, что в наибольшей степени показатели ожидаемых результатов по- лучателей используются международными организациями. При этом подходы к использованию этих показателей отличаются от донора к донору. Некоторые используют более агрегирован- ные показатели в силу специфики институциональных систем, в то время как другие пользуются более детализированными данными 31. Ориентация на результат программ международной по- мощи и их достижение в долгосрочной перспективе является основными задачами УРР, которое, в свою очередь, является неотъемлемым элементом системы оценки. УРР предполагает вовлечение широкого круга заинтересованных лиц, таких как страны-партнеры, многосторонние и двусторонние доноры, Making Development Cooperation More Effective, Global Partnership for 31 Effective Development Cooperation 2014 Progress Report, OECD. P. 38 34 гражданское общество, бизнес, а также другие участники. Все заинтересованные лица могут принять участие в построении управленческой системы путем обмена опытом и знаниями, со- вершенствования механизмов мониторинга и оценки. Глобальные партнерства в этой связи служат площадкой для стран-партнеров и агентств-доноров, позволяющей разрабатывать и применять на практике системы управления по результатам. 35  лючевые принципы и практические аспекты 2.2. К создания систем оценки программ и проектов содействия социально-экономическому развитию Обзор международной практики позволяет выделить ключе- вые принципы формирования систем оценки международных программ/ проектов помощи. К ним можно отнести финан- сирование, формирование партнерств, обеспечение незави- симости оценки, выбор адекватных методик оценки, институ- циональное устройство и отчетность, поддержка и развитие компетенций. Финансирование Институциональные особенности обуславливают различия в подходах финансирования оценки и предоставлении отчет- ности по использованным средствам. К примеру, часть отделов оценки органов государственного управления стран-доноров к расходам на проведение оценки относят, в том числе, оплату работы консультантов, транспортные расходы, а также стоимость подготовки докладов. При этом оплата труда сотрудников не является частью бюджета оценки и учитывается в общих рас- ходах соответствующих органов государственного управления (Министерство международного развития Великобритании, АМР США). В других агентствах стран-доноров ситуация противопо- ложная: единый бюджет предусматривает расходы как на про- ведение оценки, так и на оплату труда сотрудников (Швеция, Австралия). Более того, большинством национальных агентств по развитию в бюджете для оценки часто не учитывается оплата труда сотрудников, которые работают над смежными вопросами: эффективность помощи, управление по результатам. Это в еще большей степени усложняет сопоставление расходов националь- ных агентств на проведение оценки. 36 Таблица 4 Объем ресурсов, направляемых на проведение оценки программ и проектов международной помощи Медианное значение значение значение значение Среднее Макс. Мин. Затраты на оценку органов государственного 5,1 3,8 31 0,46 управления, млн долл. США Численность персонала в центральном офисе 19 15 112 3 по оценке, чел. Количество оценок, проведенных за год* 24 11 159 2 Количество оценок, проведенных за год из расчета 1–2 1 10 0,2 на одного сотрудника Бюджет центральных агентств 2,4 1,7 1,8 0,46 Двусторонние по оценке, млн долл. США агентства Доля бюджета на оценку от 0,16 0,109 0,61 0,02 ОПР, % Бюджет центрального офиса по 9,7 6,5 31 4,5 оценке, млн долл. США Многосторонние банки** Доля бюджета на оценку в общих административных 1,38 — 2 0,5 издержках, % Источник: КСР ОЭСР Примечание: Число оценок включает количество докладов (150), подготовленных агентством *  по международному развитию Японии. ** В расчетах участвовали АзБР, АфБР, ЕБРР, МВФ, ПРООН, Всемирный банк, МБР, Европейская комиссия. Тем не менее, КСР ОЭСР приводит некоторые данные по расходам на оценку (Таблица 4). В целом, агентства стран-членов КСР ОЭСР и многосторонние банки развития тратят порядка 5,1 млн. долл. США для проведения оценки. Разумеется, круп- ные доноры располагают в абсолютном выражении большими бюджетами для проведения оценки реализуемых ими программ. Однако издержки на проведение оценки и количество выпуска- емых докладов отличаются от донора к донору. Так, к примеру, Независимый офис по оценке МВФ в среднем в год выпускает два 37 доклада, в то время как среднее количество докладов по оценке в Японии составляет 150. При этом КСР ОЭСР не устанавливает корреляцию между количеством выпускаемых докладов и ре- сурсами, которыми располагает донор для проведения оценки 32. Средний размер бюджета отделов по оценке ведомств стран КСР ОЭСР составляет 2,4 млн. долл. США (медианное значе- ние не превышает 1,7 млн. долл. США). При этом наибольший среднегодовой объем средств направляет на оценку программ помощи развитию Япония (10,8 млн. долл. США), а наименьший в абсолютном и относительном значении — Испания (458 тыс. долл. США). Средняя доля ресурсов, направляемых на оценку программ и проектов международной помощи, составляет 0,16% от общего объема помощи 33. Несомненно, объемы бюджета оценки программ и проектов международной помощи развитию в высокой степени коррели- руют с общим объемом официальной помощи развитию (ОПР). Однако сравнительный анализ структуры расходов на оценку является затруднительным не только в силу различного статуса агентств по оценке, но и в силу отличий методологий, используе- мых для оценки таких проектов и программ. Более того, в одних агентствах расходы на оценку относятся к административным расходам, тогда как в других — заложены в общем бюджете на оценку. В связи с этим, сложно выявить, что определяет разни- цу: фактические объемы или различные стандарты отчетности. Фактические объемы расходов на оценку зависят часто от большого числа переменных, таких как: количество многосто- ронних оценок, уровень транспарентности и формат отчетности, обязательства, касающиеся работы с получателями помощи, количество децентрализованных оценочных исследований (ус- ложняют отчетность по затратам на проведение оценки). Более единообразной система оценки программ и проектов международной помощи сложилась в международных банках развития. Объемы ресурсов, выделяемые ими на оценку таких Better Aid. Evaluation in Development Agencies, OECD, 2010. 32 См. там же. 33 38 программ, являются существенно выше, чем бюджеты двусто- ронних доноров. В среднем на оценку таких программ многосто- ронними банками развития направляется порядка 9,7 млн. долл. США в год. Самый крупный бюджет — у Независимой группы по оценке Всемирного банка (31 млн. долл. США), а наименьший объем средств на оценку программ помощи тратит Африканский банк развития (4,5 млн. долл. США в год). При этом по отноше- нию к общим административным расходам наименьший объем средств на оценку программ помощи тратит МВФ (0,5%), в то время как Азиатский банк развития — наибольший (2%) 34. Независимость оценки Независимость оценки включает несколько связанных между собой аспектов: обеспечение организационной независимости, предотвращение конфликта интересов, защита от внешнего воздействия (World Bank Group, 2004). Таким образом, оцен- ка обеспечивает баланс интересов заинтересованных сторон. Представляется возможным выделить несколько факторов, обеспечивающих организационную независимость для про- ведения оценки. К ним можно отнести: использование ус- луг внешних консультантов, а также создание независимых агентств. В настоящее время многие многосторонние и двусторонние доноры обращаются к услугам консультантов для проведе- ния оценки проектов и программ. При этом все чаще встре- чаются смешанные формы сотрудничества, когда в оценочной группе представители доноров работают совместно с консуль- тантами. Частично такой подход способствует повышению транспарентности и независимости оценки особенно по таким направлениям, как поддержка бюджетов, техническая помощь, содействие развитию отдельного сектора экономики. Примером Evaluating Development Activities. 12 Lessons from the OECD DAC. DAC 34 OECD, 2013. URL: http://www.oecd.org/dac/peer-reviews/12%20Less%20eval%20 web%20pdf.pdf 39 реализации такого подхода является система оценки, сложив- шаяся в Великобритании, где Независимый консультативный комитет по оценке воздействия помощи Министерства между- народного развития Великобритании координирует и осущест- вляет надзор за выполнением оценки британских проектов. Что касается многосторонних доноров, то их взаимодействие с консультантами является более интенсивным и сопровожда- ется большим числом проверок. В высокой степени независимость оценки за последние пять лет обеспечила четкость институциональной структуры, которая была обеспечена за счет разделения труда и отчетности. Так, в Швеции было создано Шведское агентство по оценке помощи развитию (SADEV), которому был передан широкий спектр функций. При этом агентство самостоятельно выбирает объек- ты оценки, а также планирует свой бюджет при согласовании с Агентством международного развития Швеции 35. Большая часть многосторонних банков развития в настоящее время имеют автономные независимые оценочные структуры, которые, как правило, напрямую подотчетны советам управляющих. Институциональное устройство и отчетность В настоящее время большая часть стран-членов КСР ОЭСР в ка- честве ключевого принципа институционального устройства выделяют принцип независимости, который касается осущест- вления оценки, а также распространения результатов оценки. С точки зрения предоставления отчетности, наиболее транспа- рентные системы созданы во Франции, Бельгии, Нидерландах и в Австралии. Так, во Франции Агентство по международно- му развитию с 2009 г. предоставляет доклады по оценке про- грамм и проектов международной помощи Совету директоров Агентства после заключения внешнего исполнительного коми- тета, в состав которого входят как представители агентства, так Swedish Agency for Development Evaluation (SADEV). URL: http://www.oecd. 35 org/development/evaluation/dcdndep/48889099.pdf 40 и внешние эксперты, в то время как в Бельгии, Нидерландах и в Австралии агентства по развитию отчитываются о резуль- татах национальных программ помощи перед национальными парламентами. В отношении стран-членов КСР ОЭСР, как и по отношению к странам-новым донорам, нельзя сделать однозначных выводов, касающихся эффективности организации их институциональных систем, поскольку они часто зависят от национальных особен- ностей систем государственного управления. Формирование партнерств для оценки В настоящее время большая часть оценок осуществляется до- норами самостоятельно (76%). Порядка 22% оценок проводится совместно с другими донорами (7%) и со странами-получателями помощи (15%), в то время как около 2–3% оценочных исследова- ний осуществляется при сотрудничестве с другими донорами и странами-получателями помощи. Основной задачей проведения оценки совместно со стра- нами-получателями помощи является повышение общей по- дотчетности, больший учет потребностей и интересов стран — получателей помощи, а также развитие у стран собственных компетенций по проведению оценки. Включение реципиентов в оценку является одним из принципов КСР ОЭСР по оценке программ международной помощи (1991) 36. Тем не менее, формат «включения» стран-получателей помощи меняется от случая к случаю. К такому сотрудничеству можно отнести взаимодействие с широким кругом заинтересованных сторон, включая государ- ственные агентства, некоммерческие организации, индивиду- альных консультантов, которые занимаются вопросами оценки помощи (OECD DAC, 2002). Участие местных заинтересован- ных сторон в оценке является системно важным на этапе сбора данных и проведения полевых исследований. В то время как DAC Principles for Evaluating Development Co-operation, 1991 36 41 на этапе планирования и формирования методологии оценки реципиенты привлекаются крайне редко. Одной из задач включения партнеров в оценку является формирование их собственных компетенций для проведения оценки, а также развитие принципа национальной причастно- сти. Особый интерес представляет опыт Японии, где Агентство по международному развитию совместно с Министерством планирования Японии заключили меморандумы о взаимопони- мании для сотрудничества в оценке с Вьетнамом, Филиппинами и Индонезией. Помимо сотрудничества в оценке меморандумы подразумевают проведение тренингов для государственных служащих по оценке проектов. Другим направлением, связанным с формированием пар- тнерств для оценки, является координация между донорами путем обмена планами для оценки. Инициатива по обмену онлайн-планами была создана в 2008 г. Основной целью ини- циативы является учет проведенных оценок и информирование о планах в целях недопущения дублирующих действий, а так- же для максимизации возможностей для сотрудничества. Как следствие, инициатива повысит транспартентность, а также способствует созданию более эффективной системы разделения труда по оценке. В настоящее время в инициативе участвует 29 стран из числа членов ОЭСР 37. Другими схожими инициативами являются Группа доноров Nordic Plus 38, Группа многосторонних доноров по сотрудничеству в оценке 39, Сеть КСР ОЭСР по оценке 40. 37 Online evaluation plan-sharing initiative. Evaluation in Development Agencies, DAC OECD, 2011. 38 Nordic Plus donor group. URL: http://www.norad.no/globalassets/im- port‑2162015–80434-am/www.norad.no-ny/filarkiv/vedlegg-til-publikasjoner/ nordic-plus—-practical-guide-to-joint-financing-arrangements.pdf 39 Evaluation Cooperation Group (ECG) for multilateral agencies. 40 DAC Evaluation Network. URL: http://www.oecd.org/dac/evaluation/dcdn- dep/42500661.pdf 42 Компетенции и функционал органов управления Большинство национальных агентств по СМР, а также меж- дународные банки развития к настоящему времени создали самостоятельные отделы (департаменты), которые осуществляют проведение оценки. В компетенции таких структур, как правило, входит надзор за проведением оценки на местном и центральном уровне. Некоторые департаменты помимо оценки также несут ответственность за контроль над национальными расходами в сфере СМР. К числу таких департаментов можно отнести Департамент оценки Министерства международного развития Великобритании, а также независимый департамент оценки Азиатского банка развития. Такие страны, как Республика Корея, Германия, США, разде- ляют несколько функций, связанных с оценкой, между несколь- кими организационными структурами. К примеру, в Республике Корея существует два департамента, осуществляющих оценку программ и проектов международной помощи — в Корейском агентстве по международному сотрудничеству (KOICA) 41 и в Фонде по международному экономическому сотрудни- честву (EDCE) 42. В Германии почти в каждом департаменте Министерства экономического сотрудничества и развития су- ществует отдел по оценке программ и проектов международной помощи. Более того, эти отделы по оценке работают вместе с другими государственными органами Германии, участвующими в реализации проектов предоставления международной помощи. В Нидерландах департамент по оценке анализирует не только программы международной помощи, но и воздействие внешней политики Министерства иностранных дел Нидерландов на от- дельные регионы, в то время как в Швеции мандат Агентства по оценке сводится лишь к оцениванию программ и проектов международной помощи. В настоящее время все большее число департаментов по оцен- ке развивают свою деятельность одновременно в направлении 41 Korea International Co-operation Agency (KOICA) 42 Economic Development Co-operation Fund (EDCF) 43 отдельных проектов и совершенствуют практики по оценке воздействия программ на отдельные секторы и регионы. Таким образом, оценка обеспечивает реализацию функций отделов, связанных с подотчетностью и транспарентностью, а также способствует дальнейшему развитию стратегии в сфере СМР. К настоящему моменту далеко не во всех странах КСР ОЭСР существует четкое понимание принципов и функционала на- циональных агентств по оценке международной помощи раз- витию. В некоторых странах такой функционал и принципы закреплены в нормативных документах, которые часто имеют разный статус на национальном уровне. Эти вопросы, как пра- вило, связаны с общей национальной концепцией СМР, а также отражают общие принципы эффективности помощи, такие как принцип гармонизации и последовательности. Примерами таких нормативных документов являются программный документ Правительства Великобритании «Формируя факты о борьбе с бедностью» (2009 г.) 43, а также документ шведского Агентства по международному развитию «Оглядываясь назад и идя вперед» (2005 г.).44 В обоих документах акцент ставится на поддержку потенциала стран — партнеров в проведении оценки программ международной помощи. Большая часть агентств по оценке уполномочены проводить совместные оценивания с другими донорами, а также со странами-получателями помощи. Виды оценки проектов международной помощи в национальных системах Общей тенденцией для агентств по оценке международной по- мощи является отход от методов оценивания, связанных с экс- пост оценкой, которая была возможна только после реализации проекта, когда нельзя было уже внести никаких изменений. Сейчас все чаще оценка увязывается с  принципами управления, ориентированными на результат, при которых 43 Building the Evidence to Reduce Poverty 44 Looking Back, Moving Forward. 44 устанавливаются целевые индикаторы, достижение которых подразумевает последующую оценку. При этом, часто исполь- зуется оценка экс-анте, а также осуществляется оценивание во время реализации проекта (индикативная оценка). В частности, оценка в реальном времени проводится Группой Всемирного банка в целях постоянного улучшения практик содействия развитию. Все больший фокус ставится на оценке отдельных секторов, на оценке отдельных стран, а также на оценке меж- секторных вопросов, таких как гендерное равенство и защита окружающей среды. 45 Лучшие практики оценки многосторонних 2.3.  и двусторонних программ и проектов содействия социально-экономическому развитию 2.3.1. Многосторонние системы оценки помощи В международной практике в настоящее время можно выделить две универсальные оценочные системы, позволяющие оценить результативность деятельности многосторонних институтов в сфере содействия международному развитию. Такими оценоч- ными системами являются Универсальная система оценки ре- зультативности (Common Performance Assessment System, COMPAS) и Сеть оценки результативности деятельности многосторонних организаций (Multilateral Organization Performance Assessment Network, MOPAN ). Обе методологии были созданы после 2000 г., когда обостри- лась необходимость проведения оценки прогресса достижения Целей развития тысячелетия (ЦРТ). Так методология MOPAN была внедрена в 2003 г. шестнадцатью странами-донорами 45 для оценки результативности многосторонних институтов, членами которых являются эти страны 46. Методология COMPAS была создана в 2005 г., и использу- ется Рабочей группой по управлению результатами развития (Working Group on Managing for Development Results), которая объединяет группу международных банков развития, таких как ЕБРР, АзБР, АфБР, Межамериканский банк развития, Исламский банк развития, а также Группу институтов Всемирного банка 47. 45 Австралия, Австрия, Бельгия, Великобритания, Канада, Дания, Германия, Ирландия, Испания, Нидерланды, Норвегия, Финляндия, Франция, Швеция, Швейцария, Республика Корея. 46 Multilateral Organization Performance Assessment Network. URL: http://www. mopanonline.org/ 47 The official web site of the Working Group on Managing for Development Results URL: http://www.mfdr.org/COMPAS/index.html 46 Таблица 5 Индикаторы оценки программ и проектов МБР для государственного и частного сектора Индикаторы оценки программ для государственного сектора 1. Количество и доля реализованных страновых стратегий по итогам обзора в отчетном году, получивших оценку удовлетворительно или выше 2. Количество и доля стратегий МБР в стране, утвержденных в отчетном году, кото- рые включают четкую стратегию в целях содействия развитию частного сектора 3. Количество и доля проектов, утвержденных в отчетном году, которые прошли независимую экспертизу на предмет качества реализации и были оценены «удовлетворительно» или лучше 4. Количество и процент текущих проектов в конце отчетного года с неудовлет- ворительным ходом реализации, в рамках которых цели в области развития вряд ли будут достигнуты 5. Количество и процент отчетов о выполнении проекта (регистров PCR), оце- ненных в отчетном году независимыми экспертами оценкой «удовлетвори- тельно» или выше. 6. Количество и доля проектов, прошедших в отчетном году независимую про- верку постфактум, и оцененных отметкой «удовлетворительно» или выше по отношению к достижению целей в области развития. 7. Количество и процент проектов по предоставлению технической помощи (ТП) и консультативных услуг, завершенных в отчетном году и оцененных «удовлетворительно» или выше. 8. Какие новшества / изменения / улучшения были представлены в национальных системах оценки результатов (RMF) в течение последних одного-двух лет? Индикаторы оценки программ для частного сектора 1. Последние оценки на соответствие стандартам «хорошей практики» (GPS) для оценивания инвестиционных операций в частном секторе 2. Количество и процент положительных оценок в последних опубликованных ежегодных докладах по оценке достижения результатов развития и рейтингов по всем четырем критериям GPS (финансовая, экономическая, экологическая и социальная деятельность, воздействие частного сектора на развитие) 3. Количество и процент инвестиционных проектов, для которых определены чет- кие цели развития (в соответствии с системой оценки GPS), (I) определенных на утверждение; (II) отслеживаемых в ходе наблюдения; (III) оцениваемых при оценке 4. Количество и процент проектов технической помощи (TA) и консультативных услуг со стороны частного сектора, для которых цели развития: (I) определены на утверждение; (II) отслеживаются в ходе наблюдения; (III) оцениваются при оценке 5. Степень полноты и ясности внешних отчетов о результатах 6. Новшества / изменения / улучшения представленные в корпоративной отчет- ности о результатах (CRF) в течение последних одного-двух лет Источник: COMPAS Reports 47 В соответствии с методологией COMPAS, многосторонние институты самостоятельно производят качественную оценку своей деятельности в сфере содействия экономическому развитию беднейших стран на основе 14 показателей (2013 г.).48 Показатели делятся на две категории для оценки программ международных банков развития (МБР) в частном и государственном секторах (Таблица 5). Методология позволяет МБР решать две задачи: предостав- ление отчетности для заинтересованных сторон и реализация процесса управления. При этом ключевыми заинтересованными сторонами, как правило, являются правительства стран — по- лучателей помощи, которые оценивают роль многосторонних проектов в достижении национальных целей. Многосторонние институты не применяют универсальную количественную ме- тодику для оценки выделенных индикаторов, что не позволяет сопоставить результаты работы различных институтов в коли- чественном, либо в бальном измерении 49. MOPAN по сути дополняет методологию COMPAS с точки зрения оценки эффективности работы многосторонних организа- ций в целях содействия развитию беднейших стран. Методология оценивает четыре ключевые направления работы этих инсти- тутов, такие как: а) стратегическое управление; б) операцион- ное управление; в) управление процессами сотрудничества; г) управление знаниями. Данные направления работы многосто- ронних институтов оцениваются при помощи 19 индикаторов по шести-бальной шкале 50. 48 The official web site of the Working Group on Managing for Development Results URL: http://www.mfdr.org/COMPAS/index.html 49 Study on Evaluating the Process and Portfolio Performance of the Private Sector Operations of the Bank. Operations Evaluation Department, African De- velopment Bank Group. 2004. URL: http://www.afdb.org/fileadmin/uploads/afdb/ Documents/Evaluation-Reports/00158055-EN-STUDY-EVALUATING-PRO- CESS-PRIVATE-SECTOR.PDF. 50 MOPAN Common Approach Institutional Report for the Asian Development Bank 2010: Report MOPAN, 2011. URL: http://www.mopanonline.org/upload/ documents/ADB_FINAL–Vol-I_January_17_Issued1.pdf. 48 Методология предполагает проведение ежегодной оценки на основе «общего подхода» ряда многосторонних организаций в ряде развивающихся стран. К примеру, в 2014 г. деятельность четырех многосторонних организаций была оценена в шести развивающихся странах. Общий подход подразумевает сбор данных путем проведения опроса, анализа документов, опубликованных многосторонними организациями, а также проведение консультаций с сотрудни- ками из многосторонних организаций. Оценки предназначены для создания актуальной и достоверной информации о деятель- ности многосторонних организаций, которая могла бы быть использована для отчетности стран-участниц инициативы на национальном уровне. Таким образом, оценка используется для продвижения диалога между членами, многосторонними организациями и партнерами. В 2014 г. членами MOPAN были оценены четыре многосто- ронние организации (Программа ООН по защите прав женщин, ФАО, ЮНФПА и УВКБ ООН) в шести развивающихся стран (Камбоджа, Демократическая Республика Конго, Эквадор, Кения и Танзания). Оценка учитывала различия между многосторон- ними банками развития, фондами ООН, Программы и специ- ализированные учреждения 51. Нельзя не отметить вклад академического сообщества, на- правленного на разработку количественных методик оценки многосторонних программ помощи. В большей части предста- вителями академического сообщества была сделана попытка оценить воздействие объемов помощи на рост ВВП и другие макроэкономические переменные (инвестиции, потребление товаров и услуг), исходя из допущения, что ОПР направляется для сокращения разрыва между объемами сбережений и ин- вестиций, с которым сталкиваются развивающиеся страны 52. 51 MOPAN Common Approach. URL: http://www.mopanonline.org/common- approach/ 52 Теория двойного дефицита. 49 2.3.2. Национальные системы оценки двусторонних проектов и программ международной помощи Больший акцент международного экспертного сообщества на деятельности двусторонних доноров объясняется, в первую оче- редь, необходимостью аргументации национальных расходов на программы в сфере СМР. К числу наиболее успешных практик создания систем оценки программ и проектов двусторонних доноров можно отнести опыт Японии и опыт США. Что касается оценки программ и проектов в сфере между- народной помощи развитию в США, то до недавнего времени почти каждый американский орган государственной власти, осуществляющий деятельность в данной сфере, реализовывал собственную практику для оценки таких программ/ проектов. Ситуация изменилась с введением администрацией Обамы практики выпуска Обзоров по дипломатии и международному развитию, которые стали выпускаться один раз в четыре года 53. Формат обзора устанавливал требование планирования бюджетов международной помощи на основе достигаемых результатов. Такой подход требовал проведение оценки воздействия помощи. Формально новый подход был закреплен АМР США в 2011 г. При этом подход стал подразумевать оценку как неотъемлемую часть планирования и формирования общего сценария для оценки. Изначально система оценивания программ международной помощи в США была сфокусирована на оценке экономической отдачи и рентабельности крупных инфраструктурных проек- тов. Со временем АМР США стало реализовывать проекты, направленные на решение базовых потребностей населения стран-реципиентов. Предшествующая модель оценки окупае- мости инвестиций перестала быть актуальной 54. Агентством в 1968 г. был учрежден офис по оценке, который использовал логико-структурную матрицу в качестве основного 53 Quadrennial Diplomacy and Development Review (QDDR) 54 The USAID Evaluation System: Past Performance and Future Direction, Bureau for Program and Policy. Coordination, USAID, September 1990, p. 9. 50 механизма для мониторинга и оценки проектов. Матрица опре- деляла цели, задачи, результаты проекта, а также индикато- ры. Тем не менее, данные, получаемые в результате анализа, не объясняли результаты или непреднамеренные последствия проектов 55. В 2006 г. в целях систематизации программ помощи США в Госдепартаменте был создан офис директора по международ- ной помощи (Director of Foreign Assistance (F Bureau)). В мандат офиса вошли сбор данных по всем проектам и программам меж- дународной помощи, реализуемым США за рубежом (не только касающихся деятельности АМР). Офис стал межведомственной платформой для оценки воздействия проектов и программ по- мощи развитию США. Офисом также был разработан набор индикаторов реали- зации проектов международной помощи в целях проведения оценки комплексного воздействия американских программ, программ других международных доноров, а также усилий со стороны стран-реципиентов 56. Сбором данных для расчета индикаторов, а также их расчетом занимается АМР США, офис Госдепартамента, а также другие агентства, содействующие раз- витию беднейших стран, на ежегодной основе в целях предостав- ления отчетности о полученных результатах для Конгресса, Бюро ресурсов международной помощи США 57 и общественности. Информация о достижении целевых индикаторов, экспертный анализ, а также оценочные данные используются впоследствии при бюджетировании и планировании ресурсов для реализации программ в сфере СМР. 55 Evaluation Handbook, Office of Program Evaluation, USAID, November 1970, p. 40. 56 Standard Foreign Assistance Indicators. URL: http://www.state.gov/f/indicators/ index.htm. It was originally expected by many that the F Bureau would eventually track all foreign assistance provided by U.S. agencies, not just State and USAID. As of 2012, some MCC data has been added to the Bureau’s public database (www. foreignassistance.gov), but there does not appear to be momentum toward any expansion of F Bureau authority. 57 The Office of U.S. Foreign Assistance Resources. 51 Большая часть индикаторов разрабатывается в соответствии со стандартизированной структурой программы международной помощи, которая представляет собой иерархию целей, направ- лений программы и элементов 58. Соответственно, индикатор отражает степень достижения поставленных целей по различным направлениям и элементам программы 59. В рамках программы также разрабатываются смежные (меж- секторные) индикаторы, которые отражают степень достижения целей по многогранным направлениям, сферам и элементам программы. К примеру, такого рода индикаторы разрабаты- ваются применительно к таким областям, как формирование компетенций, вопросы гендерного равенства, государствен- но-частное партнерство, развитие науки и технологий, иссле- дований и инноваций. Бюро несет ответственность за координацию всех агентств США, занимающихся вопросами содействия развитию бедней- ших стран через разработку стандартов, глоссариев, руководств, индикаторов. Бюро также управляет системой планирования и бюджетирования всех проектов и программ в сфере СМР, взаимодействуя с каждым офисом, работающим в сфере СМР. Исполнительный орган согласует заявки этих офисов с Бюро США по управлению и бюджетированию, а также с Конгрессом США. Оценки отдельных проектов реализуются на местах исполне- ния программ и проектов США по международной помощи с уча- стием местных стейкхолдеров и экспертов. Более комплексные секторные или тематические оценки, как правило, проводятся в АМР США. Система оценки подразумевает также и участие внешних консультантов. За последние 5 лет порядка 15% докладов по оценке были подготовлены внешними экспертами 60. 58 Foreign Assistance Standardized Program Structure and Definitions, 8 April, 2010. URL: http://www.state.gov/documents/organization/141836.pdf 59 Foreign Assistance Standardized Program Structure (SPS). URL: http://www. state.gov/f/indicators/index.htm 60 Better Aid. Evaluation in Development Agencies. OECD, 2010. P. 143. 52 По результатам работы комиссии «Помогая улучшить ка- чество жизни людей по всему миру» 61, направленной на улуч- шение практик оценивания, с 2011 г. ключевыми принципами работы бюро стали: акцент на результатах и воздействии, а не на затратах и не на непосредственных эффектах, а также на учете результатов проектов при планировании и реализации последующих. В число методов, рекомендованных комиссией, вошли: использование при оценке контрольных групп, методы случайного выбора, включение в оценочную работу профес- сиональных ассоциаций и аккредитирующих агентств, содей- ствие развивающимся странам в формировании компетенций по сбору статистических данных 62. Данные принципы оценки широко используются при подготовке Обзоров по дипломатии и международному развитию. Программы и проекты, считающиеся крупными, а также пилотные проекты подлежат обязательной оценке результатив- ности. На эти цели, как правило, выделяется 3–5% от общего бюджета. При этом, АМР США для оценки своих проектов и программ все больше использует услуги внешних консультан- тов для обеспечения взвешенности и независимости оценки 63. Оценка и отчетность имеют закрытый характер и адресованы для внутреннего использования. С точки зрения методологии подходы АМР США и Бюро к оцениванию отличаются в части, касающейся частоты про- ведения оценки воздействия. В первом случае такие оценки проводятся во всех возможных случаях, в то время у Бюро нет четких указаний на частоту проведения таких оценок. В своей работе Корпорация развития тысячелетия интегри- рует элементы системы АМР США и Бюро. При этом независи- мые оценки всех компонентов проектов является обязательным 61 Helping to Enhance the Livelihood of People (HELP) Around the Globe Com- mission 62 HELP Report, p. 99. 63 Decision Tree for Selecting the Evaluation Design, USAID, June 2012, p. 1. URL: USAID’s Development Experience Clearinghouse website. 53 условием проведения такой оценки, критерии которой опре- деляются еще до начала реализации проекта. Такая практика наделяет Корпорацию большими функциями контроля над достижением заявленных целей 64. Ни одна из трех практик оценки не претендует на статус си- стемообразующей методологии для проведения оценки, которая могла бы использоваться на страновом или секторном уровне всеми федеральными органами США. Это объясняется спец- ификой проектов трех агентств. К примеру, АМР США может использовать более гибкие практики оценки за счет большого числа различных проектов. Пример Японии также является одним из самых ярких подходов к организации оценки международной помощи. Оценка осуществляется двумя институтами — Департаментом по оценке и связям с общественностью МИД Японии, а также Департаментом по оценке Агентства по сотрудничеству Японии 65. В целях обеспечения эффективной оценки официальной помощи развитию (ОПР), МИД Японии и учреждение-испол- нитель уделяют особое внимание взаимному сотрудничеству и разделению ролей при проведении оценки. Так МИД несет ответственность за планирование и разработку политики эко- номического сотрудничества, фокусируясь на оценке политик и программ, а не на отдельных проектах. МИД Японии также обеспечивает площадку для проведения совещаний экспертов по оценке ОПР, представляющих министерства и ведомства, участвующие в ОПР, а также собирает результаты оценки по- мощи из других министерств и ведомств. Департамент оценки ОПР был преобразован в Департамент по оценке и связям с общественностью в июле 2009 г. Функции депар- тамента не зависят от функций планирования и осуществления 64 Policy for Monitoring and Evaluation of Compacts and Threshold Programs, MCC, May 1, 2012, p.18; Policy for Monitoring and Evaluation of Compacts and Threshold Programs, MCC, May 12, 2009, p. 17. 65 Evaluation. Japan International Cooperation Agency. URL: http://www.jica. go.jp/english/our_work/evaluation/index.html 54 ОПР. Глава департамента оценки и связей с общественностью подчиняется Генеральному директору по международному сотрудничеству. Департамент МИДа несет отвественность, в том числе, и за проведение оценки политик и программ ОПР, выполненной внешними экспертами, а также участвует в совместных оценках, выполняемых при сотрудничестве со странами-получателями. К концу каждого финансового года, принимаются решения в от- ношении оценок на очередной финансовый год. Каждый год МИД Японии направляет запрос на согласование бюджета проведения оценок в Министерство финансов на основе программы работ. Около 97% бюджета для оценки направляется на исследования по оценке японских программ, и 3% бюджета направляется на финансирование исследований стран-партнеров. Агентство по международному сотрудничеству Японии проводит оценку своих проектов в сфере ОПР, в том числе, касающихся технического сотрудничества, займов. Основная функция Департамента по оценке Агентства заключается в про- ведении экс-пост оценки. Департамент также осуществляет над- зор и оказывает техническую поддержку другим видам оценки (например, экс-анте оценки). Департамент оценки поддерживает деятельность Консуль­ тативного комитета по оценке, чья миссия заключается в обеспе- чении прозрачности и объективности при проведении оценки проекта, а также в усовершенствовании системы оценки и в повышении качества оценки. В целях обеспечения объективности оценки, Агентство просит стран-партнеров изучить результаты реализации японских проек- тов по линии ОПР постфактум. Их наблюдения и мнения прила- гаются к каждому соответствующему отчету по оценке проектов. Департамент оценки тесно сотрудничает с заинтересованными сторонами страны-партнера, и они участвуют в большинстве этапов оценки, в том числе, в качестве членов референтных групп. Экс-пост оценка делается для всех проектов через два-три года после их завершения. Для кредитных проектов оценка 55 проводится через два года после того, как проект был завершен. Оценка экс-анте проводится для всех проектов, в то время как среднесрочный обзор (через пять лет после) и экс-пост оценка (семь лет после реализации) проводятся выборочно. Что касается неэффективных проектов, Агентство создало систему обратной связи, которая использует рекомендации, разработанные по результатам оценки. Извлеченные уроки учитываются в новых проектах. 2.3.3. Специфика формирования систем оценки программ и проектов международной помощи развитию в странах-новых донорах Практики стран — новых доноров, связанные с формировани- ем систем оценки помощи, можно разделить на две группы. К первой группе относятся те страны, которые основывают свои национальные подходы к оценке помощи, используя рекоменда- ции традиционных доноров, выработанных на платформе КСР ОЭСР. Примером стран, относящихся к этой группе, могут быть Республика Корея, Словения, Республика Словакия. Ко второй группе относятся страны, не являющиеся членами КСР ОЭСР, пытающиеся разработать собственные системы для оценки про- грамм и проектов в сфере СМР. В эту группу входят Бразилия, Индия, Китай, Южная Африка. Республика Корея Что касается оценки программ и проектов государственного сектора, то системы оценки результативности и аудита были созданы в Республике Корея еще в 1962 и 1948 г. соответствен- но 66. Экономический кризис конца 1990-х гг., а также вступле- ние страны в ОЭСР способствовали развитию системы оценки Lee, Yoon-Shik. 2002. In Jan-Eric Furubo, Ray C. Rist and Rolf Sandahl, eds. 66 International Atlas of Evaluation. New Brunwick, N.J.: Transaction Publishers. 56 государственных проектов и программ. Так, Республика Корея, ставшая членом КСР ОЭСР в 2010 г., в настоящее время активно интегрирует рекомендации традиционных доноров — членов ОЭСР в национальные практики оценки международной по- мощи развитию. Ключевой рекомендацией КСР ОЭСР стало создание под- комитета по оценке в рамках Комитета по сотрудничеству для международного развития. В число основных компетенций комитета входят формулировка руководств и пособий для про- ведения оценки программ и проектов в сфере международной помощи развитию, проведение комплексной оценки проек- тов и программ корейской помощи развитию, осуществление межведомственной координации планов по оценке, оценка результатов деятельности корейских органов власти, реализу- ющих программы в сфере СМР, проведение ретроспективной оценки программ и проектов корейской помощи за трехлет- ний период на различных уровнях (страновой, секторный, отраслевой). При этом, на практике оценка осуществляется при тесном сотрудничестве с отраслевыми ведомствами, которые предостав- ляют в комитет свои планы по оценке, результаты оценки, а также данные о корректировке своих программ и проектов с учетом рекомендаций Комитета. В Республике Корея распространена практика самооценки отраслевых ведомств. На данный момент ведомствами проведено более 40 таких оценок. В части касающейся методов оценки, корейские органы го- сударственной власти, участвующие в реализации проектов и программ по линии СМР, используют независимую оценку отдельных проектов, а также совместные оценки при сотруд- ничестве с партнерами (донорами и реципиентами корейской помощи развитию). Необходимо выделить ряд ограничений, которые, по мне- нию экспертов, сдерживают развитие системы оценки в Корее. Во-первых, существует недостаточная координация между мо- ниторингом и систематической оценкой. Во-вторых, требуется 57 оценка потребностей получателей международной помощи развитию. В-третьих, необходимо развивать практики обрат- ной связи о результатах реализации проектов. В-четвертых, требуется более системно учитывать информацию о достиг- нутых результатах при планировании будущей деятельности. Таким образом, деятельность Правительства Республики Корея в рамках улучшения системы оценки международной помощи развитию должна осуществляться по следующим направлени- ям: обеспечение независимой работы Комитета; делегирование полномочий по оценке на уровень исполнителей программы/ проекта; улучшение практик мониторинга и проведения экс-пост оценки 67. Что касается ресурсов для финансирования проектов разви- тия, то главными источниками являются Фонд по сотрудничеству в сфере экономического развития 68, а также Корейское агентство по международному сотрудничеству в сфере развития 69. Так, Агентство ежегодно располагает порядка 800 тыс. долл. США (0,217% от ОПР Республики Корея) и осуществляет подготовку порядка 16 докладов. В то время как Фонд по сотрудничеству в сфере экономического развития располагает 100 тыс. долл. США (0,032% от ОПР Республики Корея) и выпускает в среднем 4 доклада в год 70. Бразилия Правительство Бразилии к настоящему моменту не создало собственной системы для оценки программ международной 67 Haelim Cho, Gratitude School of International Studies, Ewha Woman’s University. International Approaches to M&E of Development Aid, World Bank Workshop, Moscow, 27 May, 2015. 68 Economic Development Cooperation Fund. URL: http://www.edcfkorea.go.kr/ edcfeng/index.jsp 69 Korean International Cooperation Agency. URL: https://www.koica.go.kr/ english/main.html 70 OECD DAC, 2009. Development Evaluation Resources and Systems — A Study of Network Members. P. 82. 58 помощи развитию. Однако существует большое число форми- рующихся практик для оценки таких программ, не имеющих системной основы. В частности, одним из направлений проведе- ния оценки является использование методологий международ- ных организаций, работающих в сфере СМР, таких как ПРООН и Продовольственная и сельскохозяйственная организации ООН (ФАО, ВПП). В основе построения национальной системы оценки про- грамм и проектов международной помощи развитию лежат общие принципы СМР, сформулированные Правительством Бразилии. Так, к числу основных принципов СМР Бразилии можно отнести: • построение партнерских отношений со странами-получа- телями помощи; • осуществление «горизонтальных» форм сотрудничества, обоснованных потребностями этих стран; • обеспечение солидарного подхода в ходе решения социаль- но-экономических вопросов; • формирование взаимовыгодных условий сотрудничества, необходимых для поддержки программ и проектов между- народной помощи со стороны налогоплательщиков; • невмешательство во внутренние дела страны- получателя помощи; • обеспечение синергии между партнерами в рамках реализа- ции бразильских проектов и программ помощи развитию. Оценка программ и проектов международной помощи раз- витию Бразилии осуществляется преимущественно по таким направлениям, как передача знаний навыков, техническая по- мощь, формирование потенциала и компетенций. Однако в силу отсутствия системного подхода к оценке, представляется затруд- нительным дать строгую классификацию этих направле­ ний. На сегодняшний день, как уже отмечалось, в Бразилии про- водятся выборочные оценки проектов и программ внешними стейкхолдерами (в первую очередь НКО и академическим со- обществом). В частности, бразильской НКО «Сотрудничество 59 «Юг-Юг» была проведена оценка проектов по поддержке хлоп- кового производства, которые Бразилия реализовывала через трастовый фонд в ПРООН в таких африканских странах, как Бенин, Буркина-Фасо, Мали, Чад 71. К числу барьеров для формирования национальной систе- мы по оценке международной помощи развитию Бразилии, по мнению экспертов, относятся: отсутствие принципов сотруд- ничества по линии «Юг-Юг», трудности количественной оцен- ки проектов и программ по передаче знаний и компетенций; нехватка информации и данных; ограниченность источников финансирования оценки; недостаточный уровень координации между отраслевыми министерствами при проведении оценки 72. Для решения обозначенных проблем Правительству Бразилии необходимо проводить консультации как на двустороннем, так и многостороннем уровне, в том числе, на таких площадках, как ООН и БРИКС. 2.3.4. Практики оценки программ и проектов внешней помощи стран-получателей В настоящее время большое число получателей помощи разви- тию находятся на стадии формирования собственных систем по проведению оценки. Практики по проведению оценки внешней помощи развиваются в Гамбии, Руанде, Киргизской Республике. Гамбия В Гамбии практики оценки внешней помощи опираются на работу Директората по исследованиям, мониторингу и оценке Articulação SUL. URL: http://articulacaosul.org/what-we-do/ 71 Development Cooperation Monitoring and Evaluation: Perspective from Brazil. 72 Presentation of Melissa Pomerroy at the World Bank workshop on International Approaches to Monitoring and Evaluation of Development Aid. 27 May, Moscow, World Bank. 60 Национальной комиссии по планированию 73. Помимо оценки Комиссия несет ответственность за разработку и согласование национальных стратегий развития, а также обеспечение эффек- тивной реализации данных стратегий. На сегодняшний день оценка внешней помощи не является системным направлением работы для Комиссии, и выполняется в большинстве случаев по заказу Правительства или Президента Гамбии  74 . Руанда В 2008 г. Правительством Руанды при сотрудничестве с партне- рами по развитию был создан механизм взаимной подотчетно- сти в форме Рамки для оценки деятельности доноров 75. Рамка является комплексным инструментом для мониторинга работы доноров на национальном уровне с точки зрения реализации заявленных обязательств и качества помощи, предоставляемой Руанде 76. Основной площадкой для построения диалога между донорами и национальными стейкхолдерами, а также для об- суждения полученных результатов является Координационная группа партнеров по развитию 77. Рамка предоставляет возможность провести агрегирован- ный и дезагрегированный анализ деятельности доноров с точки зрения достижения индикаторов, сгруппированных по пяти категориям (Таблица 6). Это позволяет оценить результаты ра- боты донорского сообщества, а также предоставить отчетность различным группам заинтересованных сторон. Такой подходя 73 National Planning Commission. URL: http://npc.gov.gm/about-npc/functions 74 Directorate of Research Monitoring and Evaluation, IEC & Resource Center, (DRME, IEC, RC). URL: http://npc.gov.gm/about-npc/directorates/mrs-juldeh-ceesay 75 Donor Performance Assessment Framework (DPAF). URL: http://www.devpart- ners.gov.rw/index.php?id=25 76 Rwanda has developed a Donor Performance Assessment Framework http://www. opengovguide.com/country-examples/rwanda-dpaf/ 77 Development Partners Coordination Group (DPCG). URL: http://www.devpart- ners.gov.rw/index.php?id=18 61 Таблица 6 Группы индикаторов Рамки для оценки деятельности доноров 1. Финансирование национальных стратегий для поддержки достижения ЦУР и реализации программы VISION 2020 Использование национальных систем и институтов для укрепления 2. собственного потенциала для развития, обеспечения устойчивости и снижения транзакционных издержек 3. Укрепление систем долгосрочного планирования и имплементации через предсказуемое финансирование развития 4. Снижение транзакционных издержек и укрепление партнерств через принятие гармонизированных подходов 5. Повышение эффективности реализации проектов и программ на секторном уровне за счет использования конкурентных преимуществ Укрепление принципа национальной причастности, повышение 6. предсказуемости и снижение транзакционных издержек через предоставление бюджетной поддержки Источник: Donor Performance Assessment Framework является вкладом в реализацию основных принципов Парижской декларации, а также политики в отношении внешней помощи Правительства Руанды 78. На сегодняшний день в инициативе принимают участие 16 многосторонних и двусторонних доноров. Помимо комплексной оценочной рамки Правительством Раунды был создан Механизм общей оценки результатов 79 в рам- ках оценки и мониторинга индикаторов, целей и результатов в целях реализации Стратегии Руанды по снижению уровня бедности и экономическому развитию  80. 78 Donor Performance Assessment Framework. Ministry of Finance and Economic Planning of Republic of Rwanda. March, 2014. URL: http://www.devpartners.gov.rw/ index.php?id=25 http://www.devpartners.gov.rw/fileadmin/templates/documents/ DPAF_FY_2012–2013.pdf 79 Common Performance Assessment Framework (CPAF). URL: http://stat- ic1.1.sqspcdn.com/static/f/1349767/18085927/1336475381153/Rwanda+mutual+ac- countability+framework.pdf?token=vLMMLtwKQlmckphK62mZviv3gOU%3D 80 Rwanda’s Economic Development and Poverty Reduction Strategy (EDPRS). Rwanda’s first PRSP dates from 2002 (MINECOFIN, 2002). Its second PRSP, called the Economic Development and Poverty Reduction Strategy (EDPRS) was written in 2007 (MINECOFIN, 2007). 62 В качестве инструмента для координации доноров и наци- ональных заинтересованных сторон используется база данных о помощи, предоставляемой Руанде  81 . База данных позволяет повысить транспарентность и обеспечить соответствие целей программ и проектов международной помощи национальным приоритетам органов власти Руанды. Более того, база данных используется при планировании национального бюджета. Так, база данных связана с интегрированной системой финансового управления для планирования, подсчета внутренних доходов, а также средств, поступающих из-за рубежа 82. Киргизская Республика Попытки оценки внешней помощи развитию предпринимают- ся и странами-реципиентами на постсоветском пространстве. В частности, ряд практик по оценке программ и проектов помощи двусторонних и многосторонних доноров сложился в Киргизской Республике. Необходимость проведения оценки обуславлива- ется как высокими объемами помощи, так и большим числом доноров, работающих в регионе. Так, по заявлению замминистра финансов Киргизской Республики А. Акимова, объем ОПР в Киргизскую Республику в 2015 г. составил 820 млн. долл. США. Более того, в настоящее время из числа многосторонних доноров в КР работают такие организации, как Всемирный банк, МВФ, ПРООН, ЕБРР, АзБР, ЕС, в то время как ключевыми двусторонними донорами яв- ляются Япония, США, Великобритания, Нидерланды, Дания, Германия, Швейцария, Турция. Несмотря на то, что на национальном уровне все еще не создана единая система оценки внешней помощи, а также от- сутствуют нормативно-правовые документы по осуществлению 81 Development Assistance Database of Rwanda. URL: http://dad.synisys.com/ dadrwanda 82 Finance Management Integration System for Budgeting, planning and Account- ing for Rwanda Domestically and External Revenues. 63 оценки, можно отметить ряд приоритетов национального прави- тельства, касающихся ее формирования, таких как повышение уровня координации и оценка результативности привлекае- мой внешней помощи, улучшение инвестиционного климата, повышение эффективности управления государственными финансами. В связи с этим национальными органами исполнительной власти (Министерство экономики КР) вынесен ряд предложений по улучшению координации внешней помощи. Рекомендации касаются таких сфер, как гармонизация координирующих госу- дарственных институтов, вовлеченных в процесс формирования донорской стратегии, расширение практик привлечения наци- ональных партнеров к дискуссиям по вопросам гармонизации внешней помощи, создание информационного сопровождения мониторинга и оценки реализации стратегий доноров, работа- ющих в стране. Частью реализации данных рекомендаций стало создание Координационного совета партнеров по развитию КР, основной целью которого стало улучшение информационного обмена между донорами, государственными учреждениями, а так- же институтами гражданского общества. Совет способствует укреплению контактов и расширению сотрудничества между донорами, а также согласованию их программ с национальными приоритетами Правительства КР 83. Помимо перечисленных практик на национальном уровне применяются также смешенные подходы к оценке, в рамках кото- рых участвуют, в том числе, доноры, реализовавшие программы и проекты международной помощи развитию. Таким образом, реализуется практика самооценки, когда доноры оценивают те программы и проекты, которые были реализованы ими и/или другими донорами 84. 83 Координационный совет партнеров по развитию КР. URL: http://www. donors.kg/ru/ 84 Национальная сеть по мониторингу и оценке в Кыргызской Республике. URL: http://evaluators.net.kg 64 Несмотря на предпринимаемые усилия сформировать эле- менты системы оценки помощи, требуется дальнейшая работа по таким направлениям, как систематизация информационного освещения деятельности доноров и результатов мониторинга и оценки их программ и проектов; координация и углубление диалога между донорами и национальными стейкхолдерами; разработка стандартов и совершенствование нормативно-пра- вовой базы для проведения оценки 85. 85 Баштовенко С.Н. Проблемы оценки внешней помощи в Кыргызстане. Национальная сеть по мониторингу и оценке в Кыргызской Республике // «Международные подходы к мониторингу и оценке международной помощи развитию», международный семинар Всемирного банка, Москва, 26 мая, 2015 г. 65 Лучшие практики проведения внешней оценки 2.4.  программ и проектов содействия социально- экономическому развитию В настоящее время сложилось большое число практик по оценке международной помощи развитию, осуществляемых внешними заинтересованными сторонами. К ним относятся неправитель- ственные организации, консалтинговые компании, международ- ные организации, а также другие институты, действующие как на национальном, так и на региональном и глобальном уровне (Рисунок 2). Так, примерами неправительственных организаций являются Международная инициатива по оценке воздействия (International Рисунок 2 Ключевые факторы в глобальной системе ассоциаций, организаций и сетей по оценке Уровень 1 Глобальные международные организации ОЭСР Группа по сотрудничеству Независимая группа Группа в оценке по оценке (Всемирный банк) по оценке ООН Уровень 2 Региональные международные организации Ассоциации, Латиноамериканский центр по управлению Сети, развитием / Интегрированная аналитическая Группы информационная система по реформе Национальный уровень Уровень 3 Национальные правительства: НКО: Частный сектор: Институты: - локальные; - исполнительная ветвь власти - корпорации - университеты; - национальные ; - законодательная ветвь власти - фонды - церкви. - международные; - различные уровни власти - консалтинговые партнерства организации Источник: составлено авторами по материалам Международной организации по сотрудничеству в оценке 66 Initiative for Impact Evaluation, 3ie) 86, Сеть по обучению подотчет- ности и результативности в рамках реализации гуманитарных программ (ALNAP) 87, Лаборатория по искоренению бедности им Абдула Латифа Джамиля (Jameel Poverty Action Lab) 88. К числу представителей частного сектора, занимающихся вопросами оценки воздействия, относятся, в первую очередь, консалтин- говые компании, такие как Международные системы Synergy (Synergy International Systems)  89 . В число крупнейших между- народных организаций по оценке входят Независимая группа по оценке Всемирного банка 90, Международная организация по сотрудничеству в оценке 91, Сеть по оценке развития КСР ОЭСР 92, Группа по оценке ООН 93. Примерами региональных междуна- родных организаций являются Африканская ассоциация по развитию 94, Австралийское сообщество по оценке 95, Бразильское сообщество по оценке 96, Европейское сообщество по оценке 97, а также Латиноамериканский центр по управлению развити- ем 98. Далее будут рассмотрены наиболее успешные практики проведения внешней оценки из частного и некоммерческого сектора. 86 International Initiative for Impact Evaluation, 3ie. URL: http://www.3ieimpact. org 87 Active Learning Network for Accountability and Performance in Humanitarian Action (ALNAP). URL: http://www.alnap.org/. 88 Jameel Poverty Action Lab. URL: http://www.povertyactionlab.org/ 89 Synergy International Systems. URL: http://www.synisys.com/home 90 World Bank Independent Evaluation Group. 91 The International Organization for Cooperation in Evaluation (IOCE). URL: http://www.ioce.net. 92 OECD/DAC Network on Development Evaluation. URL: http://www.oecd.org/ department/0,2688, en_2649_34435_1_1_1_1_1,00.html 93 United Nations Evaluation Group (UNEG). URL: http://www.uneval.org/uneg. 94 The African Evaluation Association (AfREA). 95 Australasian Evaluation Society (AES). 96 The Brazilian Evaluation Network 97 The European Evaluation Society (EES). 98 Latin American Center for Development Management (CLAD). URL: http://www. clad.org.ve 67 Международная инициатива по оценке воздействия (3ie) Международная инициатива по оценке воздействия была учре- ждена в 2008 г. и осуществляет работу по таким направлениям, как определение эффективных методов СМР, синтез и распро- странение этих методов среди ключевых заинтересованных сторон, содействие построению культуры реализации политики на основе фактических данных, формирование компетенций для проведения оценки и использования результатов оценки. Что касается результатов деятельности организации, то по данным 3ie, рекомендации, полученные в результате оценки 48 проектов/программ международной помощи развитию, были ис- пользованы при принятии управленческих решений (Рисунок 3). Рисунок 3 Политическое влияние исследований, проведенных при поддержке 3ie Количество случаев Расширение использования позитивного опыта Исключение из практики неэффективных методов Изменение дизайна Предоставление информации для обсуждения программы Предоставление информации о других программах Укрепление практик использования полученных данных 0 3 6 9 12 15 Источник: Francis Rathinam. 3ie Approach to Increasing Policy Impact of Evaluations, International Approaches to M&E of Development Aid, World Bank Workshop, Moscow, 27 My, 2015 Компания Synergy International Systems Компания Synergy International Systems является крупнейшим разработчиком систем управления информационными ресурсами для доноров и получателей международной помощи развитию. Начиная с 1997 года, компания работает с организациями из 68 развитых и развивающихся стран, а также с международными институтами в целях достижения большей эффективности развития, в частности, путем создания базы данных помощи в целях развития (DAD) в широком спектре контекстов. Более чем в 35 странах DAD является крупнейшей системой управления информацией о помощи (AIMS). Это обеспечивает правительства стран-реципиентов, партнеров по развитию и других заинтересованных сторон доступом к данным по ре- ализуемым проектам и программам развития. В свою очередь, продукты компании позволяют в значительной степени способ- ствовать росту эффективности проектов и программ междуна- родной помощи развитию путем повышения транспартентности, уровня координации между различными заинтересованными сторонами 99. Независимая группа по оценке (Всемирный банк) Наиболее известным международным экспертным центром по оценке программ и проектов международной помощи является Независимая группа по оценке Всемирного банка 100. Основным мандатом Независимой группы по оценке является оценка программ и проектов, реализуемых Международным банком реконструкции и развития (МБРР) и Международной ассоциацией развития (МАР), Международной финансовой корпорацией (МФК), а также Многосторонним агентством по инвестиционным гарантиям. Группа работает с частным и государственным сектором, что обуславливает специфику используемых методов для оценки. Подходы включают оценку соответствия результатов заявленным целям, стандартам, ожиданиям. Часто в условиях отсутствия практик реализации определенных проектов или программ оценка осуществляется с использованием контр-факторного 99 Development Effectiveness. Synergy International Systems. URL: http://www. synisys.com/solutions/by-sector/development-effectiveness 100 Independent Evaluation Group. URL: http://ieg.worldbank.org 69 анализа. К примеру, в частном секторе оценка проводится в от- ношении абсолютных финансовых и экономических критериев с точки зрения достижения целей развития бизнеса. Проекты в общественном секторе оцениваются с точки зрения эффектив- ности и результативности, а также достижения целей развития. В 2014 г. Независимая группа по оценке выпустила 47 докла- дов по оценке результативности программ в сфере развития (Таблица 7) 101. Ключевыми продуктами работы Независимой группы по оценке являются: оценка проектов, оценка страновых программ, анализ глобальных программ, оценка секторных программ, а также оценка корпоративных практик. При этом, помимо оценки программ/проектов институтов Всемирного банка, Группа работает также с внешними партнерами, предоставляя консалтинговые услуги, а также услуги в области повышения квалификации специалистов по оценке 102. На практике Группа часто работает непосредственно с ис- полнителями программы/проекта международной помощи развитию на уровне страны-получателя помощи. Такое сотруд- ничество осуществляется на основе согласованных критериев оценки. К ним относятся: непосредственный результат, риск для страны-реципиента не обеспечить устойчивую поддержку достигнутых результатов, результативность работы заемщика и донора. Под результативностью работы доноров понимается степень соответствия заявленных результатов фактическим в рамках реализации программы/проекта, в том числе всех стадий его имплементации, в то время как результативность работы за- емщика Независимая группа по оценке рассматривает с точки зрения степени исполнения условий кредита для достижения целей и задач развития. 101 2014 Annual Report, Independent Evaluation Group, The World Bank. URL: http://ieg.worldbank.org/Data/FY14_Annual_Report_web.pdf 102 Independent Evaluation Group. URL: http://ieg.worldbank.org/Data/ieg_bro- chure.pdf 70 Таблица 7 Основные результаты и расходы Независимой группы по оценке (2011–2014 гг.) Показатели 2014 2011 2012 2013 (число) План Результат Процент Основные оценки 14 8 10 10 10 100 Корпоративные оценки 3 2 3 4 4 100 Секторные и тематические 7 4 5 4 4 100 оценки Оценки страновых 2 1 1 2 2 100 программ Нет Оценки воздействия 2 1 1 0 0 данных Оценки проектов и анализ глобальных программ Доклады по оценке 46 40 31 40 47 117 результативности проектов Анализ глобальных 5 1 2 2 2 100 программ Подтверждение Всего 376 414 478 573 Подготовка докладов 234 178 295 361 о завершении Доклад о реализации стратегии предоставления 13 20 19 22 помощи стране Доклад о завершении 65 130 76 87 проекта Доклад о контроле над 64 75 80 88 реализацией проекта Верификация проектов 5 11 8 15 МАИГ Затраты (млн. долл. США) Всего расходов 33,5 32,5 33,8 34,3 Источник: Independent Evaluation Group’s Annual Report, 2014 71 Значимым критерием проделанной работы является каче- ство мониторинга и оценки. Качество оценки обеспечивается за счет дизайна мониторинга и оценки, реализации процедуры мониторинга и оценки, а также использования данных, полу- ченных в результате мониторинга и оценки в процессе принятия управленческих решений. В качестве дополнительного пара- метра качества также используется качество доклада, который готовится для внешних пользователей 103. Вопросы для контроля и проверки знаний Через какие элементы осуществляется операционализация 1.  концепции «управления по результатам для развития» (УРР)? Перечислите и охарактеризуйте их. Что представляет из себя независимая оценка программ УРР? 2.  3. Какие две универсальные оценочные системы позволяют оце- нить результативность деятельности многосторонних институтов в сфере содействия международному развитию? Дайте краткую характеристику каждой из них. Как организована национальная система Японии по оценке 4.  эффективности международной помощи? С чем связано распространение практики проведения оценки 5.  международной помощи развитию внешними заинтересован- ными сторонами — НКО, частным сектором? Hans-Martin Boehmer. International Approaches to Monitoring and Evaluation 103 of Development Aid. World Bank Workshop on International Approaches of M&E of Aid, Moscow, 27 May, 2015. 72 Оценка результативности, воздействия 3.  и устойчивости программ и проектов содействия социально-экономическому развитию Цели и проблемы оценки проектов содействия 3.1.  социально-экономическому развитию Как было установлено, подход управления по результатам при- меняется не только на национальном уровне, а становится все более глобальной практикой, которая используется, в том числе, в контексте достижения Целей устойчивого развития (ЦУР). При этом, оценка воздействия является частью подхода УРР, а, следо- вательно, неотъемлемым элементом процесса принятия решений в рамках реализации политики в сфере СМР. Целью оценки явля- ется не только информирование руководителей программ и лиц, принимаемых решения о достигаемых результатах, но и усиление подотчетности перед налогоплательщиками и получателями результатов программ и проектов международной помощи. Так, на национальном уровне стран доноров, отраслевые ми- нистерства часто конкурируют друг с другом, чтобы получить финансирование от национального министерства финансов. Однако не в меньшей степени правительства заинтересованы в убеждении своих избирателей в том, что вложенные ими ин- вестиции получили положительную доходность в форме обще- ственных благ в целях содействия развитию беднейших стран. На глобальном уровне оценка играет также важнейшую роль в формировании знания об эффективности программ развития, освещая успешные действия доноров и выявляя механизмы по сокращению бедности и повышению благосостояния, которые не работают на практике. Таким образом, оценка может предо- ставить надежные и достоверные доказательства о достижении конкретных программ и желаемых результатов. 73 Критерии оценки проектов/ программ международной помощи развитию — релевантность, результативность, эффективность, воздействие, устойчивость, — выделенные в первой части на- стоящей работы, уточняют и детализируют цели оценки различ- ных аспектов таких программ/проектов. Как можно заметить, критерии являются взаимодополняющими и достаточными для проведения комплексной оценки программ и проектов меж- дународной помощи развитию. Их использование на практике позволяет оценить различные уровни воздействия программ международной помощи развитию. Однако использование всех критериев не является необхо- димым условием для проведения оценки программы/ проекта. Каждый случай требует выбора отдельного подхода, который может включать различные критерии. К примеру, оценка отдель- ного проекта рамочной программы помощи не всегда предпола- гает проведение оценки каждого из проектов, вошедших в эту программу. Более того, возможность использования тех или иных критериев для оценки часто зависит от наличия опреде- ленных данных. Наиболее полную информацию о результатах способна пре- доставить оценка воздействия. Часто оценки воздействия оце- нивают изменения в благосостоянии населения, которые могут быть отнесены к конкретному проекту, программе или политике в целом. Атрибуция результатов к определенным политикам/ программам в сфере СМР является отличительной чертой оценок воздействия. Соответственно, главная задача при проведении оценки воздействия является выявление причинно-следственной связи между проектом, программой или политикой. К примеру, такого рода оценки определяют, повлияло ли введение новых тестов для оценки знаний на компетенции студентов; повысился ли уровень здоровья населения в результате реализации про- граммы по обеспечению доступа к безопасной питьевой воды и улучшению санитарии 104. Impact Evaluation in Practice/ Paul J. Gertler … [et al.], Interactive Textbook, 104 World Bank, 2011, P. 6 URL: http://www.worldbank.org/pdt 74 Оценка воздействия может также использоваться, для про- верки эффективности альтернативных вариантов программ. Например, оценка может сравнивать результативность програм- мы обучения по отношению к альтернативе — промо-кампании по повышению финансовой грамотности населения. В каждом из этих случаев оценка воздействия представляет информацию о суммарном воздействии программы, в отличие от конкретных тематических исследований, которые могут дать только частич- ную информацию и не могут быть репрезентативными для оценки общего воздействия программы. Оценки воздействия на длительных периодах времени позволяют оценить устойчивость программ/ проектов международной помощи. Немаловажным аспектом, дополняющим оценку воздей- ствия, является оценка эффективности реализации проектов международной помощи, т.е. соотношения затрат и получаемых результатов. Оценка предполагает определение того, насколько результаты оправдывают вложенные затраты. В контексте оценки воздействия оценка эффективности, как правило, проводится по отношению к нескольким программам для определения того, какая из них является наименее затратной с точки зрения до- стижения определенной цели. Оценка эффективности позволяет определить, какая из программ получила или может получить наибольшую доходность. Целью оценки воздействия также является предоставление информации для заинтересованных сторон о результативно- сти программ международной помощи. Однако в отличие от оценки результативности программ и проектов, оценка воз- действия способна объединить различные аспекты программ/ проектов/политик и предоставить более общую информацию. Таким образом, оценка результативности позволяет дать оцен- ку отдельных аспектов с точки зрения достижения ожидаемых результатов. Современная система оценки программ и проектов в сфере СМР должна преследовать следующие цели: • Объяснить, почему и для кого осуществляется оценка; 75 Таблица 8 Мониторинг и оценки воздействия (МиО) в рамках управления циклом проекта Шаги в рамках управления Шаги в МиО Причины и ключевые вопросы МиО циклом проекта Инициирование участия в МиО и подготовки документации, обосновывающей всей проце- Участие дуры МиО Анализ заинтересо- • Кто участвует в МиО? заинтересован­ ванных сторон • Кто может предоставить, и кто нуждается ных сторон и управление в информации и в каком виде? информацией1 • Как информация будет распространяться и каким образом доступна? Понимание контекста проекта, его элемен- тов и их взаимосвязей • Каковы наиболее важные элементы в кон- Обзор анализа Анализ проблем тексте реализации проекта? проблемы • Как они взаимосвязаны? • Какую роль они играют в проекте? • Является ли проект устойчивым во времени? Прогнозирование возможных позитивных и негативных последствий Постановка • Какие импульсы даст проект для более Цели анализа гипотез устойчивого развития? • Какие будут положительные и отрицатель- ные последствия? Подготовка базы МиО • Что указывает на изменения в проекте? Выбор показа- Выбор • Что показывает, какие гипотезы реализу- телей воздей- индикаторов ются? ствия • Какой набор показателей будет, если цели проекта будут достигнуты? Наблюдение и задокументированные изме- Разработка нения в проекте Мониторинг и применение • Как показатели мониторинга отражены методов в документе? • Какие методы применяются? Интерпретация изменений • Как изменился проект с точки зрения раз- личных заинтересованных сторон? Оценка воз- • Что они узнали из этих изменений? Оценка действия • Есть ли свидетельства о том, что проект сти- мулировал важные социальные процессы? • Каким образом эти процессы должны быть усилены в будущем? Источник: составлено на основе данных ПРООН 105  Planning Tools: Stakeholder Analysis. URL: http://www.odi.org/publica- tions/5257-stakeholder-analysis 76 • Проиллюстрировать, почему происходит оценка в опреде- ленный период времени; • Пояснить, что именно в рамках оценки должно быть до- стигнуто; • Показать, как изменятся результаты, эффективность и ак- туальность воздействия; • Представить результаты, выводы и рекомендации. • Для достижения целей система оценки программ и проектов в сфере СМР должна иметь следующие основные характе- ристики. Решение проблем, поиск рисков и принятие соответствующих решений. Оценка как управленческий инструмент для сбора ин- формации и приобретения знаний дает возможность понимать степень достижения целей программой или проектом, выявлять проблемы и предлагать решения для улучшения эффективно- сти, результативности, соответствия ситуации и устойчивости. Данные и информация, собранные в процессе оценки, имеют основополагающее значение для выявления критических точек процесса, которые могут негативно повлиять на исполнение и результаты программы или проекта, и дают лицам, принима- ющим решения, возможность взвесить различные альтернативы и принять решения, наиболее уместные в конкретном случае. Приобретение новых знаний, которые можно использовать при принятии решений и в стратегическом планировании. Цикл оценки включает несколько этапов, поэтому нужно за- ранее решить, какие знания нужны, исходя из их соответствия ситуации и возможности применения в похожих программах и проектах 106. Наращивание потенциала в сфере оценки посредством проведения секторальных, тематических или стратегических оценочных исследований для того, чтобы получить уроки для дальнейшего решения проблем в рамках оцениваемых программ 106 EVO — Evaluation- A Management Tool for Improving Project Performance (a logical framework) URL: http://www.iadb.org/cont/evo/engbook/laevalua.htm 77 и улучшения исполнения текущих проектов при планировании их в будущем. Определение ожиданий и целей оценки воздействия Первоначальная цель оценки воздействия направлена на рас- ширение возможностей для принятия решений донорами и ор- ганами госуправления в развивающихся странах на основе фактических данных 107. МиО выходит за рамки обычного ис- следования, генерирующего новые знания, которые прямо или косвенно влияют на формирование общественного мнения. Цель МиО — оправдать затраты проекта. Стоимость проведения оценки воздействия надо сравнивать с затратами на возможное проведение тщательного аудита потенциально неэффективной программы. Оценка воздействия также должна помочь опре- делить соответствие с требованиями подотчетности доноров. Первоначальные оценки воздействия должны проводиться относительно причин и следствий проектов и программ в сфере СМР. Таблица 9 Роль оценки воздействия и первоначальные цели оценки Роль оценки воздействия Тип использования Информационная цель: Прямое использование принимать обоснованные решения (техническое обслуживание / на основе фактических данных вмешательства) Способствовать накоплению знаний Косвенное/стратегическое о том, что работает и что не работает использование Продемонстрировать эффективность Ответственность вмешательства Понять цепочку причин и следствий Обучение/совершенствование мероприятий Источник: составлено на основе данных ПРООН Evidence-based policy making. URL: http://www.odi.org/sites/odi.org.uk/files/ 107 odi-assets/publications-opinion-files/3683.pdf 78 Дизайн оценки и выбор индикаторов оценки 3.2.  проектов содействия социально-экономическому развитию Демонстрация прогресса в достижении результатов Использование релевантных показателей в оценочном иссле- довании позволяет продемонстрировать степень достижения поставленных целей. Индикаторы могут также помочь в мони- торинге, процессе принятия решений, проведении консультаций с заинтересованными сторонами и непосредственно при про- ведении самой оценки. В частности, показатели могут помочь: • Измерить успехи в достижении результатов; • Определить уровень согласованности между деятельностью, выходными данными, результатами и целями; • Обеспечить легитимность и подотчетность всех заинтересо- ванных сторон путем демонстрации фактического прогресса; • Оценить проект и эффективность работы исполнителей проекта. Отслеживая изменения, индикаторы помогают продемонстри- ровать прогресс или предупредить ошибки, что позволяет выра- ботать решения в отношении наступления изменений, которые необходимо внести в стратегию реализации проекта/ программы. Постоянный индикативный мониторинг показателей также спо- собствует проведению эффективной оценке проектов и программ. Когда необходимо использовать показатели Цель показателей состоит в обеспечении реализации таких про- цессов, как планирование, мониторинг, подготовка отчетности и оценки — другими словами — на протяжении полного спектра процесса управления, ориентированного на результат. Показатели могут быть применимы для определения степени достижения результатов на любом этапе проектного цикла. Как правило, они связаны с фактическим достижением цели, а также с текущей ситуацией. 79 Ограничения и риски Показатели только свидетельствуют об изменениях, они не объ- ясняют причин. Показатели составляют лишь одну из частей логического и фактического анализа, необходимого для дости- жения целей и обозначенных результатов в рамках проектов и программ в сфере развития. Использование определенного числа различных показателей зависит от специфики проектов и должно быть обоснован- но числом поставленных вопросов. Более полезно иметь при- близительные ответы на несколько важных вопросов, нежели чем иметь точные ответы на многие вопросы второстепенного характера. При разработке индикаторов часто бывает трудно отследить сложные изменения, которые могут возникнуть в результате реализации проекта/ программы содействия социально-эко- номическому развитию. Для решения этой проблемы часто используются индикаторы, приближающие к ожидаемым из- менениям. Часто используются показатели, которые тесно свя- заны с более универсальными индикаторами, такими как доля социальных расходов в государственном бюджете(для оценки направленности национальной политики на искоренение бедно- сти), или доля парламентариев-женщин (для оценки гендерного равенства). Виды показателей На практике используются различные виды показателей, необходимых для оценки прогресса в достижении результатов. В рамках управления результатами 108 ПРООН использует три типа показателей, также известные как показатели достижения результатов: 109 108 Results-based management. URL: http://www.fao.org/about/strategic-planning/ rbm/en/ 109 Results-Based Management In UNDP URL: http://web.undp.org/evaluation/ documents/thematic/RBM/chapters/chapter2-rbm-in-undp.pdf 80 Ситуационные показатели обеспечивают понимание ши- 1.  рокой картины изменений, которые происходят на самом деле (показатели воздействия и ситуационные показатели существенно похожи, хотя первые могут быть более конкрет- ными, а вторые — более общими). Ситуационные показатели описывают ситуацию в стране, в которой реализуется про- грамма содействия социально-экономическому развитию. Их можно связать с новыми Целями устойчивого развития (ЦУР) и Рамкой стратегических результатов 110. Они отра- жают долгосрочные результаты развития. Ситуационные показатели дают широкую картину состояния развития страны на макроуровне. Они являются наиболее полезны- ми для высшего руководства страны, показывая уровень, на котором руководство взаимодействует с партнерами и раз- рабатывает стратегии. Примерами ситуационных показа- телей являются национальные статистические данные, та- кие как индекс развития человеческого потенциала, индекс бедности и т.д 111. Итоговые показатели оценивают прогресс в отношении кон- 2.  кретных результатов проектов/ программ. Показатели итогов позволяют стратегически рассмотреть ключевые результаты, а также убедиться, что позитивные изменения в области со- циально-экономического развития произошли фактически. Показатели итогов наиболее полезны для руководителей про- грамм, которые поддерживают связь с различными заинте- ресованными сторонами на разных уровнях. Показатели результатов оценивают прогресс в решении кон- 3.  кретной оперативной задачи. Эти показатели помогают изме- рять и проверять выходные данные. Это означает, что выходные данные могут быть измеримы. Показатели результатов явля- ются наиболее полезными для менеджеров проектов, которые отвечают за проведение работ и их отношение к результату. 110 Strategic Results Framework. URL: https://www.wfp.org/content/strategic-re- sults-framework 111 Human Development Index. URL: http://hdr.undp.org/en 81 Определение индикаторов Рисунок 4 иллюстрирует взаимосвязь между ситуативными, производственными показателями и показателями ожидае- мых результатов для оценки проектов/ программ с точки зре- ния достижения результатов. На нем также отмечены уровни управления — проект, программа или отдельное направление деятельности. Таблица 10 иллюстрирует, как показатели могут быть при- менены для решения, результатов и воздействия для различных типов программ. Стандартные индикаторы различаются в зависимости от сектора или области реализации проекта/программы: • Отраслевые индикаторы, разработанные для использования в гуманитарной сфере; • Секторальные или тематические индикаторы, разработанные для использования в конкретных тематических областях; Рисунок 4 Оценка результативности по целям Задачи развития Ответственные Ситуационные задачи за принятие решений вводные МиО Затраты Проект действия решения ы Эффективность Программа ат Итог ьт з ул Р е Ответственные Долгосрочные цели за принятие Устойчивое решений воздействие Источник: составлено на основе данных ПРООН 82 Таблица 10 Показатели, определяющие взаимоотношение между решениями, результатами и воздействием по четырем направлениям программ содействия социально-экономическому развитию Решение Результат Воздействие Водоснабжение Количество и тип Доля населения, Снижение скважин имеющего доступ заболеваемости к чистой воде и смертности Расширение прав Количество Процент женщин Улучшение и возможностей выданных с увеличением статуса по женщин и погашенных дохода отношению кредитов к мужчинам Окружающая Количество и тип Инновации Сохранение среда посадок сельского или увеличение хозяйства лесных площадей Права человека Количество Более активное Более прозрачная, и категория людей обсуждение подотчетная прошедших действий система обучение политиков госуправления Источник: составлено на основе данных ПРООН • Кластерные индикаторы, разработанные для оценки об- щего уровня достижения результатов в основной сфере деятельности — в кластере. Эти индикаторы особенно по- лезны, если достижение конечных результатов не может быть отнесено к конкретному действию/стекйхолдеру и является следствием коллективных усилий многих за- интересованных сторон внутри одного или нескольких кластеров; • Специфические индикаторы для отдельно взятых проектов/ программ разрабатываются в целях использования в рамках специальных операций и составления отчетности по резуль- татам реализации программы/ проекта. 83 Выбор показателей Выбор показателей достижения целей программ/ проектов важен с точки зрения использования имеющихся данных. Индикаторы, неверно описывающие данные, могут вводить в заблуждение, и может быть затронуто качество принимаемых решений. Таким образом, выбор индикаторов может иметь непредвиденные последствия — как позитивные, так и негативные. Проблема выбора показателей заключается в поиске мер, которые могут охватить ключевые изменения. Для выделения индикаторов, наиболее адекватно описыва- ющих фактические данные, должен быть осуществлен анализ ожидаемых результатов, а также входящих параметров оценки, включая: 1. фокус оценки; 2. целевые группы; 3. предметные области; 4. регионы охвата или распространения; 5. уровни развития; ключевые процедуры сбора данных, например, использование 6.  вторичных/готовых данных, или разработка специальных анкет для опроса разных категорий стейкхолдеров, либо проведение экспертных интервью; 7. обработка полученных данных; трансформация полученных данных (квантификация полу- 8.  ченных данных, измерение и придание полученному резуль- тату численного значения); 9. результат; ключевые проблемы, связанные с использованием индика- 10.  торов. Для определения приоритетности индикаторов на основе перечисленных выше параметров используется метод «распре- деление баллов», коллективное обсуждение экспертами. Так, каждому эксперту дается определенное количество баллов, которое он должен распределить среди индикаторов, таким об- разом, что наиболее важные индикаторы получали наибольшее 84 количество баллов. Метод позволяет избежать ошибки в ходе технических манипуляций с данными. Субъективность ме- тода, конечно, может исказить фактическую важность ин- дикаторов. Этого можно избежать проведением экспертного обсуждения. Качественные и количественные выражения показателей Показатели могут выражаться в цифрах, рейтинговых системах или в изменениях в уровне оценки эксперта. Выражение и шкала интерпретируют качественную и/ или количественную информацию. Некоторые аналитики опреде- ляют качественные показатели, как те, которые основаны на индивидуальном восприятии, например, как ответ на социо- логический опрос. Качественные измерения изменений Когда результат измеряется качественно, можно разработать показатель, который предлагает величину изменения, например, долю от запланированного результата. Этот вид числового выра- жения качественных данных можно также получить с помощью показателей, которые используют рейтинговые системы, определя- ющие ранг, порядок или место данных по категориям атрибутов. Примером может быть среднее значение, а именно, средняя оценка по шкале от 1 до 10. Другой альтернативой является представле- ние результата в виде распределения (доля и пропорция). Особое значение для данных, отражающих социально-экономические результаты, имеет коэффициент Джини, измеряющий дисперсию по шкале от 0 до 1. Чем больше его значение отклоняется от 0 и приближается к 1, тем в большей степени доходы сконцентри- рованы в отдельных группах населения. Показатель изменения уровня удовлетворенности особенно полезен, когда публичные мероприятия связаны с предостав- лением государственных услуг. Непосредственное восприятие удовлетворенности услугами группой, которой оказывается помощь, будет являться оценкой воздействия. 85 Сочетание качественной и количественной оценки Индикаторы могут объединить количественные и качественные наблюдения. Для объединения количественных и качественных данных используется система индексов. Индекс является таким составным показателем, сформированным путем объединения двух и более различных значений (примером является индекс развития человеческого потенциала). При анализе индексов нужно рассматривать их вес как определяющий компонент в со- ответствии с относительной важностью. Другими словами, если один из атрибутов по своей природе более важен, чем другой, он должен иметь больший вес или комбинированное значение. Если показатель многомерный, он часто нуждается в раз- бивке или дезагрегации для того, чтобы выявить различия между различными компонентами. Это касается наблюдений, связанных с полом, географическим положением, возрастом, национальностью, религией, уровнем дохода. Уровень детали- зации должен отражать цель и задачи анализа. 86 Выбор данных и базы для оценки программ 3.3.  и проектов содействия социально-экономическому развитию Целью выбора данных является формирование пула качествен- ных и количественных характеристик результатов реализации проекта/ программы, которые помогут оценить и сравнить до- стижения и потенциал. На основании полученной информации возможно сформировать базу данных, провести ранжирование результатов, а также составить профайл проекта. При построении базы данных не проводятся дополнитель- ные операции, поскольку данные сравниваются только внутри изначально рассматриваемых групп, где все элементы выражены в одной единице измерения. Но уже на этом этапе предостав- ляется возможность просмотра данных по субиндикаторам в различном порядке по заданной выборке. На этом этапе мо- гут быть четко видны все проектные данные без оценочного воздействия. Самой основной операцией приведения всех данных оцен- ки к единому знаменателю или безразмерному виду является нормирование. Так как субиндикаторы оценивают различные области деятельности, они выражены в различных единицах измерения. Для построения агрегированного показателя, ко- торый включат в себя данные различного типа, необходимо привести все субиндикаторы к единому диапазону — провести нормирование данных. В частности, нормирование данных яв- ляется важным шагом, так как эти инструменты предполагают дальнейшее агрегирование различных субиндикаторов для получения итоговой оценки. Для преобразования данных используется способ «отношение к референтному значению». За референтную величину можно принимать максимальную величину в группе показателей отно- сительно определенного субиндикатора, которой присваивается значение 1, все остальные значения в группе рассчитываются как отношение к этой величине. 87 Основным достоинством данного метода является неизменная форма распределения данных при использовании единой шкалы. Чтобы избежать выбросы данных, которые резко отклоняются от тренда, необходимо проводить верификацию. Верификация может проходить как по всему массиву данных, что чрезмерно трудозатратно, так и по десятой части всей выборки. Наиболее оптимальный вариант — верификация крайних значений, ко- торые сильно отличаются от средних величин. В силу различных причин не по всем проектам возможно предоставить полный объем запрашиваемых данных. Такая ситуация нередко имеет место при проведении опросов, когда респонденты не располагают необходимыми данными или не желают их предоставлять. Отсутствие данных также может быть результатом ошибки. Отсутствующие данные по индикаторам приводят к искажению оценки, непредоставление данных по какой-либо из причин, занижает оценку. Если пропуск данных не связан с фактическим отсутствием деятельности, пропущен- ные данные необходимо восстановить: пропущенные данные заменяются расчетными данными. Для выделения отдельных единиц совокупности в порядке возрастания или убывания исследуемого признака проводится операция ранжирование для распределения данных от одного крайнего значения показателей в группе к другому крайнему показателю. Ранжирование позволяет посмотреть на показатель проекта в сравнении, разделить объекты на группы относитель- но их достижений и потенциала. При ранжировании данных могут образоваться кластеры, которые имеют приблизительно равную оценку, но их позиции в ранжировании различны. Это будет недостатком только при общей оценке проектов, когда все проекты выстраиваются в линейку и занимают одну позицию. Далее, чтобы оценить и сравнить объекты по совокупности различных показателей применяется агрегирование, которое демонстрирует общую картину деятельности. Информативность оценки является основным достоинством агрегированных по- казателей, но нужно учитывать, что все характеристики тоже 88 суммируются, и не будет видно какие факторы имеют большее влияние. Это происходит за счет компенсационного метода суммирования, когда низкий показатель по одному субинди- катору компенсируется высоким показателем по другому су- биндикатору. Нужно оставлять возможность проводить анализ дезагрегированных субиндикаторов, чтобы выделить важность характеристики для оценки. Также взвешивание позволяет показать важность основных индикаторов в общей совокупности. — Это операция присво- ения веса при оценке комплексного проекта, который состоит из разных по значимости компонентов. Веса несут в себе оце- ночную информацию, увеличивая значения одних индикаторов по отношению к другим, вследствие чего после агрегирования взвешенных субиндикаторов, значение комплексного индика- тора объекта меняется: взвешивание может повысить значение комплексных индикаторов одних объектов. Самым распростра- ненным способом определения веса является метод экспертных оценок, поэтому веса отражают субъективное понимание. Чтобы сравнение было наглядным, проводится операция ранжирования, когда все полученные данные нормируются, агрегируются, им присваиваются веса, и они ранжируются от наивысшего показателя к наименьшему, тем самым выстраивая рейтинг. Учитывая разнообразие проектов в сфере содействия социально-экономическому развитию, не исключается суще- ствование других оптимальных моделей проектов, наилучшим образом соответствующим определенным условиям, необходимо рассматривать рейтинги в совокупности с другими инструмен- тами оценки. К примеру, для представления результатов данные могут быть переведены в 100-балльную систему. Объект, получивший наибольшее значение комплексного индикатора, получает сто баллов, баллы всех остальных объектов рассчитываются отно- сительно этого максимума по формуле: Sn= Ii/Ir *100 (1), 89 где Su — балл объекта n, Ii — значение комплексного индикатора объекта n, Ir — значение комплексного индикатора референтного объекта. Данные, собранные в проекте, обработанные и раскрытые через инструменты оценки, могут быть также использованы для описания каждого проекта в отдельности. Профайл проекта позволяет более полно раскрыть составляющие деятельности, его своеобразие и преимущества, а также позволяет увидеть динамику развития. Профайл проекта может складываться из следующих со- ставляющих: 1) Дополнительная информация, не вошедшая в оценку субиндикаторами; 2) Обзорная информация о сопоставлении результата про- екта со схожими проектами в данной сфере; 3) Динамика развития; 4) Воздействие проекта относительно плана. Комплексный индикатор, на котором основывается постро- ение оценочного инструмента рейтинга и ранжирование, явля- ется, по своей сути, моделью описания деятельности объектов. Комплексный индикатор, как правило, как можно более точно отражает реально происходящие процессы, и на его адекват- ность и качество оказывает влияние ряд факторов, таких как выбор субиндикаторов, качество данных, восстановление дан- ных и взвешивание. Необходимо принимать решения о выборе различных методов обработки и группировки данных, так же как и контролировать процесс сбора и правки данных. Для того чтобы обеспечить высокий уровень надежности комплексного индикатора и проконтролировать степень влияния различных факторов, используемых при его построении, рекомендуется проведение анализа адекватности комплексных индикаторов. Проверка адекватности модели заключается в удостоверении насколько хорошо модель описывает реальное воздействие. Чтобы проконтролировать правильность выбора субиндика- торов, используется метод парной корреляции для выявления 90 Концепция политических сетей Одним из подходов для анализа междисциплинарных данных является методология сетевого подхода (сетевого анализа) применительно к концепции политических сетей для оптимизации взаимодействия различных акторов в сфере содействия социально-экономическому развитию. Политические структуры не могут полностью соответ- ствовать современным изменениям. Взаимодействие и коммуникация глобальных акторов, заинтересованных в разрешении проблем, влияют на эффективность и ре- зультативность процесса принятия решений в отношении глобальных вызовов. Эта тенденция требует измерения в рамках проведения анализа сетей. Определение такой сети было сформулировано Т. Берцелем как набор стабиль- ных неиерархичных отношений разнообразных акторов, которые разделяют принципы политики и обмениваются ресурсами для достижения целей. Концепция политических сетей развивалась в социологии в рамках сетевого подхода к анализу принятия решений на государственном уровне. Также можно использовать данную концепцию для анализа процессов в сфере содей- ствия социально-экономическому развитию. Концепция политических сетей применительно к ана- лизу оценки проектов и программ в сфере содействия социально-экономическому развитию ложится в основу инструментов оптимизации взаимодействия различных акторов в целях повышения эффективности регулирования. Концепция политических сетей использует сетевой подход для методологии и сетевой анализ в качестве инструмента. Источник: составлено авторами 91 связи между различными явлениями. Если тест параметров продемонстрирует связь, это может помочь как при восстанов- лении пропущенных данных, так и выявить ошибки. Использование анализа неопределенности и анализа чув- ствительности показывает, насколько входные параметры вли- яют на итоговое значение и на вариативность данных соответ- ственно. Следует отметить, что требуется сравнение различных методов обработки данных для выявления уровня влияния. Сопоставительное сравнение помогает выбрать самый подхо- дящий метод в зависимости от типа оцениваемого проекта. Проведение различных операций над данными или их ком- бинация дают различные варианты представления результатов. Каждый метод обработки и группировки данных оказывает свое особое влияние на распределение данных. Следовательно, результат во многом зависит от выбора модели построения комплексного индикатора. Визуализация инструментов оценки позволяет наглядно представить данные как по каждому объекту отдельно, так и полностью по всей совокупности объектов 112. Human Development Data Visualizations. URL: http://hdrdata.tumblr.com/ 112 data 92 Методы и инструменты проведения оценки 3.4.  воздействия проектов содействия социально- экономическому развитию В рамках проведения оценки необходимо определить методы и инструменты. Характер проектов содействия социально-э- кономическому развитию (внешней помощи) предполагает, что в большинстве случаев оценка будет включать сочетание количественных и качественных методов. Методы могут ис- пользоваться как для проведения ex-ante, так и для проведения ex-post оценки 113. Количественные и качественные исследования: уточнение терминологии Термины «качественные» и «количественные» исследования отсылают к типу данных, полученных в рамках проведения исследования. Количественные исследования используют данные в виде чисел, а качественные исследования — в виде данных, которые указаны в прозе или текстовой форме. Для того, чтобы полу- чить различные типы данных, качественные и количественные исследования используют различные методы. Случайный вы- борочный опрос производит количественные данные, которые могут быть статистически проанализированы с целью измерения, агрегирования, моделирования и прогнозирования поведения и отношений. Контекстные методы применяются к конкретной местности, роду деятельности и социальной обстановке в целях изучения глубинных вопросов. Контекстные исследования включают в себя этнографические методы (включенное наблюдение, интервью). Использование открытых вопросов предназначено для захвата OECD DAC Principles For The Evaluation Of Devlopment Assistance. URL: 113 http://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance. htm 93 восприятия и позволяет дополнить комплексный анализ часто не поддающихся количественной оценке причинно-следствен- ных процессов. В междисциплинарных областях научных исследований больше используют контекстные методы для более качественного толкования информации. Это дает важную дополнительную поддержку для контроля результатов и анализа данных. Для этого в исследовании могут принимать участие представители местных сообществ. В отличие от индивидуального наблюдения и обсуждений, совместные исследования фокусируются на об- щественном мнении. Проведение совместных исследований 114 требует набор методов для лучшего понимания за рамками местного контекста при соблюдении определенных этических принципов (Рисунок 5). Рисунок 5 Распределение данных по методам Контекстные методы Лонгитюдные исследования Количественные Экспресс данные оценки РАСПРЕДЕЛЕНИЕ ДАННЫХ ПО МЕТОДАМ Качественные Обследования данные и опросы Открытое анкетирование Не контекстные методы Источник: составлено авторами Метод исследования, в котором взаимодействуют и помогают друг другу 114 исследователи и те среди которых ведётся данное исследование 94 Объединение методов для оценки воздействия и интеграция методологий В процессе обработки данных в рамках проведения оценки воздействия используется ряд этапов или итераций для ин- терпретации и интеграции качественных и количественных данных. Отдельные этапы в этом процессе могут включать в себя: 115 1. Опрос, используемый для выбора качественных данных; Опрос, определяющий приоритетные вопросы, которые будут 2.  покрыты в качественном исследовании; Анализ, который выявляет пробелы в знаниях об объекте/ 3.  предмете исследования; Опросы, предсказывающие более точно, какие вопросы и ка- 4.  кие варианты имеют большее значение для заинтересованных сторон; Качественный анализ определяет, что является контекстной 5.  информацией, и то, что не должно быть предметом стандар- тизации количественными методами; 6. Дополнение или замена существующих индикаторов. Выводы качественных и количественных исследований по- 7.  могают определить основы выборки; Качественный анализ помогает определить надлежащую 8.  стратификацию последующего разукрупнения массива дан- ных. С целью повышения эффективности оценки программ Комитет содействия развитию (КСР) ОЭСР дополнил пять стан- дартных критериев (эффективность, результативность, воздей- ствие, устойчивость и уместность) двумя дополнительными критериями — охват и последовательность 116. Данные критерии были подробно рассмотрены в первом разделе пособия. В текущей 115 Donna M. Mertens, Amy T. Wilson. Program Evaluation Theory and Practice: A Comprehensive Guide. 2012 116 Guidance for Evaluating Humanitarian Assistance in Complex Emergencies. Paris: OECD. 1999 URL: http://www.oecd.org/LongAbstract/0,3425, en_2649_34 435_2667287_1_1_1_1,00.html 95 части будут представлены конкретные методы использования этих критериев на практике с учетом руководствующих указа- ний, разработанных ALNAP при ODI 117. Релевантность Критерий релевантности определяет, насколько вмешатель- ство соответствует приоритетам местных заинтересованных сторон и внешних доноров. Проведение анализа предполагает следующую организацию работ: • Построение логической матрицы (Evaluation Matrix). Логическая матрица часто используется для того, чтобы рассмотреть наи- более подходящий и приемлемый метод сбора данных для каждого из вопросов, определенных в плане оценки 118. • Проведение SMART анализа. В отчетах международных организаций часто можно встретить использование схемы SMART. Также способ SMART служит для выбора показателей оценки. Критерии SMART могут быть также полезны при выборе показателей, которые должны быть «конкретными, измеримыми, достижимыми, актуальными и отслеживае- мыми.» 119 • Построение рейтингов. Простые методы ранжирования (рейтинги) используются для единого обобщенного резуль- тата 120,121, • Использование опроса. 117 Evaluating Humanitarian Action using the OECD-DAC Criteria 2006 URL: http://www.alnap.org/resource/5253.aspx 118 Promoting Pro-Poor Growth. Practical Guide To Ex Antipoverty Impact As- sessment. OECD 2007. 119 Quality Standards for Development Evaluation. URL: http://www.oecd.org/ development/evaluation/qualitystandards.pdf 120 Guidance For Conducting Terminal Evaluations of UNDP -Supported, Gef-Fi- nanced Projects, UNDP, 2012. 121 Guidance For Conducting Midterm Reviews of UNDP -Supported, Gef-Financed Projects, UNDP, 2014. 96 • Методы опроса можно предложить в виде: 122,123, • вопросника для разработки протоколов и инструментов для сбора данных в ходе интервью и фокус-групп, • вопросника, который организован в рамках оценки эффек- тивности проектов в сфере содействия развитию и страте- гического позиционирования. Evaluation Matrix Основой для построения системы МиО часто является логическая матрица. Логическая матрица — это таблица, в которой в сжатом виде представлена рабочая структура проекта/программы, основанная на анализе ситуации и проблем, проведенном на этапе разработки проекта/про- граммы. Матрица в краткой форме отражает логическую последовательность задач по достижению намеченных результатов проекта/ программы (мероприятия, промежу- точные результаты, конечные результаты и цель), индика- торы и способы верификации для измерения успешности выполнения этих задач, а также основные допущения. Рабочая структура проекта/ программы, как правило, представляется в виде стандартной логической матрицы, имеющей вид таблицы. Тщательно проработанная логическая матрица отража- ет информационные потребности проекта/программы. Например, задачи и информационные потребности проек- та/программы во время проведения чрезвычайной опера- ции будут иметь абсолютно другую логическую структуру и задавать совершенно иные требования к МиО, нежели в случае проекта/программы долгосрочного развития. Источник: составлено авторами 122 UNDP Assessment of Development Results (ADR). Assessment of Development Results UNDP Evaluation Office, January 2007. 123 Комментарии к ADR на примере Assessment of Development Results: Eval- uation of UNDP Contribution — Malawi. UNDP, 2011. 97 Эффективность Критерий эффективности определяет, насколько эффективно используются финансовые, трудовые ресурсы и материалы для достижения результатов. Критерий определяет уровень затрат и сравнивает альтернативные варианты реализации проекта с точки начала реализации. Для оценки факторов, определяющих изменения на микро- уровне, можно выделить следующие инструменты анализа: 124 1. Анализ вклада на основе обзора литературы, отчетов по мониторингу, интервью, фокус-групповых дискуссий (с участием представителей частного сектора, организаций гражданского общества и предполагаемых бенефициаров) и качественный анализ результатов исследования; 2. Корреляционный анализ основных вводных и основных результатов; 3. Методы регрессии: • Метод разность разностей (difference-in-difference  125 ) основан на взятии разности между контрольной группой и группой, которая подверглась воздействию, а также взятием разности во времени — до и после обследования; • Модели с фиксированными эффектами; • Непараметрический метод отбора по коэффициенту склон- ности; 126 4. Анализ распределения благ: для оценки бенефициаров, распределения ресурсов и повышения качества обслуживания. (Пример: ящик Эджворта для анализа распределения двух благ между двумя экономическими субъектами). 124 Comprehensive Evaluation Framework (CEF) and Three Step Approach. Eval- uating Budget Support. Methodological Approach. OECD, 2010. 125 Impact Evaluation in Practice. Paul J. Gertler, Sebastian Martinez, Patrick Premand, Laura B. Rawlings, Christel M. J. Vermeersch. The International Bank for Reconstruction and Development / The World Bank 2011 126 Propensity score matching (PSM) URL: https://www.imf.org/external/pubs/ft/ wp/2014/wp14202.pdf 98 Результативность Критерий результативности оценивает, в какой степени достигну- ты предполагаемые проектом/программой результаты. В основу оценки ложатся задачи и показатели, перечень которых приво- дится в качестве ожидаемых индикаторов. Так, для оценки ре- зультативности используются следующие методические подходы: • Динамический анализ панельных данных для понимания взаимосвязей между конкретными явлениями, связанными с реализацией проекта в течение определенного периода времени, и намеченными результатами в плане экономиче- ского развития; • Кластерный анализ для определения конкретных факторов, связанных с экономическим и социальным ростом (в срав- нении с аналогичными проектами/программами); • Модели с фиксированными эффектами для определения отношения между двумя зависимыми переменными (ВНП на душу роста населения и индекс развития человеческого потенциала) и рядом страновых и отраслевых переменных, связанных с политическими и неполитическими факторами. Воздействие Критерий воздействия оценивает, в какой степени оказывается влияние в результате реализации проекта/программы в сфере содействия социально-экономическому развитию. Так, для оценки воздействия часто используются сравнительные методы для того, чтобы понять, что происходит в ситуации отсутствия вмешательства. При этом, теоретические методы объясняют, почему воздействие произошло. При оценке воздействия часто сочетаются качественные и количественные методы. При оценке используются как пер- вичные, так и вторичные источники данных, а также различные методы сбора данных. Основными источниками первичных данных для оценки яв- ляется углубленный анализ проектов. Эти данные, как правило, 99 собираются с помощью документов и интервью с заинтересован- ными сторонами на национальном, субнациональном и местном уровнях. В структуру вторичных данных входят кабинетные исследования. Пример опросника На Ваш взгляд, какие принципы мониторинга и оценки, 1.  в первую очередь, необходимо учитывать для оценивания проектов и программ международной помощи? 2.1. Приведите примеры или сформулируйте по Вашему мнению: а)  наиболее эффективные методы планирования про- грамм и проектов с заложенной оценкой и монито- рингом; б) н  едостатки инструментов для оценки. 2.2. Какие методы оценки можно использовать в оценочном исследовании? Разместите их на цепочке результатов: 2.3. Разместите методы оценки по значимости в возраста- ющем порядке (от наименее к наиболее, на Ваш взгляд, эффективным). 3.  Приведите примеры наиболее подходящих методов для различных видов оценки: для оценки соответствия внешних программ приори- 3.1.  тетам местного населения и внешнего донора. для эффективного использования финансовых, тру- 3.2.  довых ресурсов и материалов для достижения резуль- татов. для оценки степени достижения предполагаемых ре- 3.3.  зультатов. д ля определения уровня ожидаемого и оказанного 3.4.  влияния. для определения периода и уровня сохранения благо- 3.5.  приятного воздействия по завершении проекта. Опишите основные проблемы при внедрении системы 4.  100 оценки международной помощи на микро- и макроу- ровнях. 4.1. Приведите примеры или сформулируйте подходы к решению проблем, возникающих при внедрении системы оценки международной помощи: Микроуровень Макроуровень Решения Недостатки В чем заключаются основные сложности при форми- 5.  ровании дизайна оценки (выбор данных, определение индикаторов и т.д.) в международной практике? Источник: составлено авторами. Устойчивость Критерий устойчивости измеряет, как долго сохранится благо- приятное воздействие проекта/программы содействия социаль- но-экономическому развитию по завершении реализации этого проекта/программы. При измерении устойчивости проекта/ программы фокус ставится на промежуточные задачи, которые образуют долгосрочную цепочку задач. В целях определения степени достижения запланированных задач, как правило, проводится процедура верификации при использовании сле- дующих методов: • Полуструктурированные индивидуальные интервью, осно- ванные на четких принципах и контрольных списках; • Фокус-группы, представляющие организацию одного или нескольких тематических встреч и семинаров с представи- телями различных категорий заинтересованных сторон для сбора информации от различных лиц в целях повышения действенности и общего понимания некоторых вопросов. 101 • Кейс-стади, связанные с проведением конкретных темати- ческих исследований по темам. • Семинары, направленные на обмен предварительными ре- зультатами анализа данных с соответствующими заинте- ресованными сторонами с тем, чтобы обеспечить полноту и правильность понимания проблемы. Смешанный метод оценки эффективности проектов содействия развитию систем образования в странах с переходной и развивающейся экономикой 127 Широко применяемые в экономике методы с использова- нием параметрических и непараметрических критериев достаточно сложно адаптировать для измерения эффектив- ности развития систем образования. Ниже обсуждаются ключевые вопросы, возникающие в ходе исследований такого рода. Часто уровень социально-экономического развития в эко- номиках с низким и высоким уровнем доходов оказывает влияние на эффективность реализации проектов и про- грамм в сфере образования. Перераспределение расходов и повышение качества институтов может способствовать росту эффективности расходов на образование. Облегчение доступа к учебным заведениям и сокращение неравенства в доходах также может помочь повысить эффективность работы. Ограничения часто используемых методов, таких как ана- лиза среды функционирования (АСФ) и стохастического граничного анализа (СГА), оказались связаны с разными причинами. 127 A Hybrid Approach to Estimating the Efficiency of Public Spending on Educa- tion in Emerging and Developing Economies. URL: https://www.imf.org/external/ pubs/cat/longres.aspx?sk=41293.0 102 АСФ, как и другие непараметрические методы, не может включить большое количество независимых перемен- ных. Исследования с использованием АСФ рассматривают влияние программ содействия развитию на образование применительно к образовательным результатам, но не учитывают влияние внешних факторов, таких как уровень экономического развития. Если эти и другие факторы влияют на результаты в сфере образования, использование одного метода АСФ будет создавать предвзятые оценки эффективности. С другой стороны, СГА и другие подходы на основе регрес- сий могут контролировать стохастические воздействия. На практике же применять эти подходы трудно из-за ста- тистически незначимых взаимосвязей между расходами на реализацию программ/проектов в сфере образования и результатами. Если рассматривать смешанный метод оценки, который помогает устранению недостатков АСФ и СГА и представ- ляет комплексный инструмент измерения эффективности расходов на образование. В частности, этот подход исполь- зуется для вычисления эффективности государственных расходов на среднее образование для стран с переходной и развивающейся экономикой. Этот инновационный метод не требует каких-либо предпо- ложений о распределении оценок эффективности и позво- ляет проводить несколько наблюдений. В то же время он учитывает статистический шум, как и СГА, таким образом помогая устранить погрешность измерения. Кроме того, смешанный метод производит оценку на основе фактиче- ских, а не гипотетических наблюдений на границе эффек- тивности, что применимо к экзогенным ограничениям, таким как уровень развития, путем построения различных границ для разных групп. 103 Расходы на среднее образование являются неэффективными во многих формирующихся рынках и развивающихся стра- нах, особенно в странах Африки. Полученные результаты свидетельствуют о том, что с текущем уровнем расходов экономия в группе стран с невысоким доходом могла бы увеличить чистый коэффициент охвата на 36 процентов, что сопоставимо с 7 процентным ростом в экономике с вы- соким уровнем доходов. Также с большой неэффективно- стью государственных расходов на образование связаны высокое соотношение учащихся и учителей и высокая доля сельского населения. Полученные результаты свидетельствуют о том, что по- вышению эффективности расходов на образование может способствовать политика, которая направлена на перерас- пределение расходов с целью уменьшения соотношения учеников и учителей, улучшения качества институтов, облегчения доступа к учебным заведениям и сокращения неравенства в доходах. Так, исследователи Гупта и Верхувен (2001 г.) оценивают производительность в секторе образования, взяв в каче- стве входных данных расходы по паритету покупательной способности (ППС), и в качестве выходов общие показа- тели зачисления в начальных и средних школах. Авторы отмечают, что рост ВВП на душу населения снижает или отменяет значимость воздействия расходов на образова- ние. Они утверждают, что высокая коллинеарность ВВП на душу населения с переменными расходами является значимой проблемой. Экономисты Эррера и Панг (2005 г.) исследуют данные по 140 развивающимся странам за период с 1996 по 2002 годы для того, чтобы оценить эффективность госрасходов на здравоохранение и образование. Для сферы образова- ния они используют в качестве вводных данных расходы 104 и в качестве результата — общие показатели охвата началь- ным образованием. Авторы отмечают позитивную связь между расходами и уровнем экономического развития и предполагают, что это объясняется влиянием эффекта Балласа-Самуэльсона, согласно которому уровень цен в богатых странах выше, чем в бедных. Особенно этот фе- номен относится к неторгуемым товарам и услугам, таким как образовательные услуги. Также как Гупта и Верховен, авторы разделяют соотношение уровня развития и эф- фективности расходов на образование. Они оценивают регрессию, определяющую связь между госрасходами и ВВП на душу населения. Урбанизация определяется как фактор, связанный с более высокой эффективностью, в то время как неравенство в доходах отрицательно коррелирует с эффективностью. Гупта совместно с группой других авторов (2007 г.) исполь- зуют метод АСФ на выборке из 50 стран с низким уровнем дохода, чтобы оценить эффективность реализации про- грамм содействия развитию образования и расходов на здравоохранение. Для сферы образования авторы в качестве входных данных используют государственные расходы на образование по паритету покупательной способности, а в качестве результатов — первичные чистые показатели грамотности молодежи. Уровень экономического развития не учитывается, хотя авторы признают необходимость интерпретации полученных результатов с оговоркой, так как оцениваемые переменные оказывают влияние на дру- гие факторы. Четкой взаимосвязи между доходом на душу населения и эффективностью расходов на образование не установлено. Источник: составлено авторами на основе “A Hybrid Approach to Estimating the Efficiency of Public Spending on Education in Emerging and Developing Economies”. 105 3.5. Проблемы оценки помощи Процесс оценки проектов и программ содействия социально-э- кономическому развитию связан с наличием ряда характерных особенностей помощи, которые в существенной степени ослож- няют объективность оценки. К ним относятся: качество стати- стической информации, волатильность потоков международной помощи, различие в целях программ и проектов, политическая обусловленность, низкая компетентность сотрудников, вопросы безопасности и т.д. Рассмотрим некоторые из них более подробно. 1. Проблема качества статистической информации часто связана с низким качеством и слабым развитием национальных статистических систем в развивающихся странах, что ведет к отсутствию информации по отдельным показателям социаль- но-экономического развития и/или неточности статистических данных  128 . Это способствует не только снижению качества оценки эффективности и воздействия иностранной помощи на развитие, но и потере возможностей для проведения сопоставительного анализа проектов предоставления международной помощи во времени. 2. Следующим ограничением для оценки помощи является ее волатильность. Волатильность помощи влияет на возможности планирования и учета помощи, что в свою очередь, отражается на качестве статистических данных, а также на последовательности практик оценки помощи. При этом, существенные ограничения возникают в оценке прогресса достижения результатов при долгосрочном сотрудничестве доноров и реципиентов. С одной стороны, доноры предоставляют средства для развития. С другой стороны, отсутствие практик координации доноров и реципи- ентов, гармонизации способов предоставления помощи может в существенной степени осложнить достижение целей развития. 3. Третьим ограничением помощи, влияющим на качество оценки, является различие целей. Речь часто идет не только Linda G. Morra-Imas, Ray C. Rist. Road to results: Designing and Conducting 128 Effective Development Evaluations. World Bank Publications. 2009. 106 о различии целей доноров и получателей помощи или различ- ных доноров, а даже о различии целей одного донора. Часто проекты разрабатываются донорами таким образом, чтобы достичь несколько целей одновременно. Такие цели, как пра- вило, подразделяются на стратегические (политические) и на цели в определенном секторе экономики. Иногда часть этих целей не отражается в официальных документах. Таким об- разом, в случае если проект инициирован преимущественно ради политических целей, актуальность оценки воздействия проекта на развитие определенного сектора или экономики стра- ны-реципиента в целом пропадает. Примером таких проектов является программа США «Мир в обмен на продовольствие», в рамках которой продовольственная помощь предоставляется беднейшим странам. Одной из целей программы является обе- спечение местного населения продовольствием. Однако долго- срочной целью такой программы стала поддержка американских производителей. 4. Недостаток компетенций сотрудников для проведения оценки также является существенным барьером. В этой связи многие проекты часто не учитывают необходимость проведения оценки, либо определяют возможность проведения оценки через механизмы аутсорсинга. Таким образом, оценивание программ и проектов, по сути, становится отдельным проектом, и не явля- ется частью проектного цикла. Более того, в случае если оценка осуществляется на условиях тендера, то ключевым фактором, определяющим победителя, является его цена, которая влияет на стоимость проведения всей оценки. Это может негативным образом отразиться на качестве проведения самой оценки 129. 5. Программы помощи не всегда можно связать с опреде- ленными экономическими результатами страны-получателя, поскольку в регионе может работать большое число других Beyond Success Stories, p.16; Evaluation of Recent USAID Evaluation Experience, 129 Cynthia Clapp-Wincek and Richard Blue, Working Paper No. 320, U.S. Agency for International Development, Center for Development Information and Evaluation, June 2001, p. 31. 107 доноров. На показатели социально-экономического развития также могут влиять торговля и инвестиции 130. 6. Политическая обусловленность оценки часто влияет на ограниченные временные сроки, отведенные для ее проведения. Таким образом, экономические эффекты помощи часто слож- но уловить в той временной перспективе, которая определяет процесс оценки. 7. Вопросы безопасности являются не менее значимым барье- ром, который может повлиять не только на условия реализации проекта содействия социально-экономическому развитию, но и исказить процедуру проведения оценки. Так, военные действия могут повлиять на ход реализации мониторинга и оценки, ослож- нив доступ сотрудников, оценивающих проекты и программы к местам их реализации. Проблема качества статистической информации В ходе анализа различных методологий были выявлены основные проблемы, в том числе: • Проблема надежности: опора на репутационные оценки определяет недоверие к процедурам проведения глобальных, международных или общенациональных опросов, построе- ния выборочной совокупности, к получаемым результатам; • Проблема релевантности: чаще используются индикаторы ресурсов, но не результатов деятельности. Некоторые пока- затели вызывают сомнение относительно их способности определять и оценивать качество; • Проблема методологии: процедура присвоения весов инди- каторам часто критикуется экспертами за недостаточную научную обоснованность. 130 The QDDR states that “we know that in many cases the outcome-level results are not solely attributable to U.S. government investments and activities; we will focus on outcome-level progress in locations and subsectors where the U.S. government is concentrating support.” (QDDR 2010, p. 104). 108 Учитывая современные тенденции развития систем оценки необходимо обеспечить: • сбалансированность показателей; • сбор данных с помощью онлайн анкетирования и мате- риалов самооценки; • интерактивность и транспарентность. Информация о ме- тодах сбора данных, расчете индикаторов и оценке должна находится в открытом доступе. При выделении показателей можно столкнуться со следу- ющими ограничениями: • ресурсоемкость; • недостаточность сопоставимых данных по деятельности; • сложность применяемых индикаторов и процедур их сбора; • сложность обеспечения объективной оценки при исполь- зовании данных опросов; • сложности обработки больших объемов данных; • сложность соблюдения надежности и качества процедур сбора данных при больших объемах; • проблема охвата всех областей. Также для каждого отдельного проекта и новой программы необходимо: • выявить схожие и значимые индикаторов; • провести оценку на основе международного опыта исполь- зования индикаторов; • распределить количественные индикаторы по направле- ниям; • провести анализ доступности и возможности сбора данных; • дать критическую оценку по заданным критериям. Источник: составлено авторами по материалам ОЭСР. Данные барьеры часто ограничивают возможности оценки донорами стратегических целей, поскольку их результаты очень уязвимы с политической точки зрения 131. The Developmental Effectiveness of Untied Aid, OECD, p.1. URL: http://www. 131 oecd.org/dataoecd/5/22/41537529.pdf. 109 Вопросы для контроля и проверки знаний Какие основные и дополнительные критерии оценки выделяют- 1.  ся в мировой практике проведения оценочного исследования? Что представляет из себя оценка воздействия программ/проек- 2.  тов в сфере содействия социально-экономическому развитию? Можно ли выделить универсальные показатели при проведе- 3.  нии оценочного исследования? В чем заключается сложность объективности индикаторов и риски, связанные с их исполь- зованием? Какие существуют основные примеры применения объеди- 4.  нения количественных и качественных оценок? С чем связаны барьеры, ограничивающие возможности доноров 5.  по оценке своих проектных и программных стратегических целей? 110 Заключение Происходящие изменения в международной архитектуре со- действия международному развитию демонстрируют еще более острую необходимость пересмотра моделей и принципов орга- низации системы управления и оценки проектов/программ со- действия социально-экономическому развитию (международной помощи развитию). Многие страны имеют ограниченные возможности фор- мирования и управления системами оценки на национальном уровне в силу ряда институциональных проблем. Таким об- разом, существенно важной для правительств стран-доноров и стран-получателей помощи является совместная работа в це- лях формирования таких систем и установления приоритетов в оценке. Тем не менее, нет однозначно правильных стратегий по формированию национальных систем оценки помощи, ко- торые бы гарантировали достижение ожидаемых результатов. Большое число переменных, а также специфичные для страны факторы делают затруднительным выработку определенной модели национальной системы оценки, которая могла бы быть применима одновременно к широкому спектру стран. В общем виде успех создания национальной модели оценки международной помощи будет зависеть от гибкости в понимании результатов проекта и потребностей стран-партнеров, а также в выборе методик оценки. В качестве специальных рекоменда- ций по формированию национальной системы оценки можно выделить несколько направлений работы. 1. Создание профильных департаментов/отделов в ведом- ствах, осуществляющих проекты международной помощи. Институционализация существующих практик оценки позволяет повысить управленческую эффективность ведомств, а также 111 укрепить практики подотчетности перед широким кругом за- интересованных сторон. При этом доклады по оценке должны использовать различные подходы и акценты для освещения и распространения результатов среди разных групп заинтере- сованных сторон. 2. Обеспечение системного характера практик проведения оценки программ/ проектов международной помощи позволяет применять результаты оценки при планировании новых проек- тов/программ международной помощи, а также при разработке страновых стратегий, как на двусторонней, так и на многосто- ронней основе. 3. Взаимодействие с заинтересованным сторонами. Про­ ведение оценки должно осуществляться при интенсивном вза- имодействии с широким спектром заинтересованных сторон, в том числе с академическими и исследовательскими центрами в рамках проведения консультаций, совместных исследований, аутсорсинга. Это позволит сделать оценку более взвешенной, а также использовать наиболее релевантные методы оценки, отражающие различные позиции. Более того, проблему нехватки ресурсов может помочь решить аутсорсинг части целей и задач по оценке. В экспертизе должны принимать участие как специ- алисты из традиционных и новых стран-доноров, так и специа- лизирующиеся на оценке структуры, такие как государственные ведомства и частные компании, профессионально занимающиеся оценкой программ и политик. Важность такой многосторонней оценки проекта/программы сложно переоценить, поскольку её результаты могут если не заставить отказаться от реализации программы, то существенно скорректировать её содержание и механизмы реализации так же, как и на этапе формирования инициативного предложения. 4. Проведение аудита. Поддержка внешнего аудита отчетов по оценке программ/проектов помощи может иметь различную форму: доклады, аналитические записки. 5. Обеспечение гармонизации оценки в рамках участия в мно- госторонних программах помощи. Данное направление может 112 реализовываться через определение и нормативное закрепление системы требований по составу контролируемых показателей и индикаторов программ, мониторингу и методике оценки их результативности (эффективности). 6. Вовлечение в процесс оценивания и в оценку непосредствен- но стран-получателей помощи. В настоящее время даже среди доноров, имеющих институционально сложившиеся системы оценки многосторонней помощи, привлечение получателей помощи к оценке не является институционально закрепленной практикой. Включение стран — партнеров на наиболее ранних стадиях в процесс оценки реализуемых программ/проектов является системно-важной задачей для обеих сторон. Для этого необходимо изучать существующие системы оценки стран – партнеров/доноров, работающих в этих странах, а также спо- собствовать формированию потенциала стран-получателей осуществлять оценку. 7. Подготовка кадров для проведения оценки проектов/про- грамм международной помощи. Развитие человеческих ресур- сов в этой сфере позволит закрепить ключевые квалификации сотрудников и консультантов, необходимых для оценки такого рода проектов. 8. Выбор методов оценки. Выбор методов оценки должен основываться на конкретной ситуации и целях проведения оценки. Часто не обязательно использовать комплексные ме- тодологии оценки, а гораздо важнее определить контрольную группу и правильно выбрать данные. Качество данных, в свою очередь, обеспечивается работой и взаимодействием со страна- ми-получателями помощи, в которых осуществляется оценка. Использование неподходящих методов может исказить пони- мание результатов проекта. 113 Список литературы  1. 2010 DAC Report on Multilateral Aid. URL: http://www.oecd.org/dac/aid- architecture/multilateral-aid‑2010–9789264046993-en.htm. Harmonising Donor Practices for Effective Aid Delivery. Volume 2: Budget 2.  support, Sector Wide Approaches and capacity development in public financial management. URL: www.oecd.org/dac/harmonisingpractices United Nations Millennium Declaration. URL: http://www.un.org/millennium/ 3.  declaration/ares552e.pdf UNDP, UNDP M and E Handbook, 2003. 4.   5. Managing for Development Results. OECD DAC. URL: http://www.oecd.org/ document/31/0,3343, en_2649_3236398_43434911_1_1_1_1,00.html  6. Task Force on Public Financial Management: Overview. OECD DAC. URL: http://www.oecd.org/document/36/0,3343, en_2649_3236398_43437604_1_1_1 _1,00.html Task Force on Procurement: Overview. OECD DAC. URL: http://www.oecd.org/ 7.  document/59/0,3343, en_2649_3236398_43440827_1_1_1_1,00.html  8. Quality of Official Development Assistance Assessment, Center for Global Development, URL: http://www.cgdev.org/content/publications/detail/1424481/  9. Paris Declaration on Aid Effectiveness and Accra Agenda for Action. URL: http://www.oecd.org/dataoecd/11/41/34428351.pdf 10.  Managing for Development Results, Policy Brief, Organization for Economic Cooperation and Development. URL: http://www.oecd.org/ dataoecd/18/53/42447575.pdf Second International Roundtable on Managing for Development Results. URL: 11.  http://www.mfdr.org/documents/RapporteurSummaryofSeminarIII.pdf World Bank, Results-Based National Development Strategies: Assessment and 12.  Challenges Ahead, Washington, DC: World Bank, December 2007. Emerging Good Practices in Managing for Development Results, URL: http:// 13.  www.mfdr.org/sourcebook/3rdEdition/SourceBook3FINAL.pdf 14.  Roger C. Riddel. Does Foreign Aid Really Work? Oxford University Press, 2008. 114 Mosley P., Eeckhout M.J. From Project Aid to Programme Assistance // Foreign 15.  Aid and Development: Lessons Learnt and Directions for the Future / F. Tarp (ed.). L.: Routlege, 2000. DAC Criteria for Evaluating Development Assistance. DAC OECD. URL: http:// 16.  www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance. htm Evaluating Humanitarian Action Using DAC OECD Criteria. An ALNAP Guide 17.  for Humanitarian Agencies. Overseas Development Institute, 2006. Monitoring and Evaluation. Some tools, Methods and Approaches. World Bank, 18.  2004. www.worldbank.org/oed/ecd_ Clemens, Michael. “Impact Evaluation in Aid: What For? How Rigorous?” 19.  Presentation at the Overseas Development Institute, July 3, 2012. URL: http:// www.cgdev.org/content/multimedia/detail/1426372/. 20.  Impact Evaluation. Methodological and Operational Issues. 2006. Asian Development Bank. P. 18. URL: http://www.oecd.org/development/evaluation/ dcdndep/37604190.pdf Economic Gangsters: Corruption, Violence and the Poverty of Nations, by 21.  Raymond Fisman and Edward Miguel, Princeton University Press, 2008. Rome Declaration on Harmonisation. URL: http://www.oecd.org/ 22.  dataoecd/54/50/31451637.pdf The Paris Declaration on Aid Effectiveness and the Accra Agenda for Action. 23.  URL: http://www.oecd.org/dataoecd/11/41/34428351.pdf 24.  Monterrey Consensus of the International Conference on Financing for Development. URL: http://www.un.org/esa/ffd/monterrey/MonterreyConsensus. pdf Busan Partnership for Effective Development Cooperation. Fourth High-Level 25.  Forum on Aid Effectiveness. Busan, Republic of Korea, 29 November — 1 December, 2011. URL: http://www.oecd.org/dac/effectiveness/49650173.pdf Harmonising Donor Practices for Effective Aid Delivery. Volume 2: Budget 26.  support, Sector Wide Approaches and capacity development in public financial management. URL: www.oecd.org/dac/harmonisingpractices A Hybrid Approach to Estimating the Efficiency of Public Spending on 27.  Education in Emerging and Developing Economies. URL: https://www.imf.org/ external/pubs/cat/longres.aspx?sk=41293.0 World Bank, Results-Based National Development Strategies: Assessment and 28.  Challenges Ahead, Washington, DC: World Bank, December 2007. 115 Making Development Cooperation More Effective, Global Partnership for 29.  Effective Development Cooperation 2014 Progress Report, OECD. P. 38 Better Aid. Evaluation in Development Agencies, OECD, 2010. 30.  Study on Evaluating the Process and Portfolio Performance of the Private 31.  Sector Operations of the Bank. Operations Evaluation Department, African Development Bank Group. 2004. MOPAN Common Approach Institutional Report for the Asian Development 32.  Bank 2010: Report MOPAN, 2011. The USAID Evaluation System: Past Performance and Future Direction, Bureau 33.  for Program and Policy Coordination, USAID, September 1990, p. 9. Evaluation Handbook, Office of Program Evaluation, USAID, November 1970, 34.  p. 40. Helping to Enhance the Livelihood of People (HELP) Around the Globe 35.  Commission HELP Report, p. 99. 36.  Impact Evaluation in Practice/ Paul J. Gertler … [et al.], Interactive Textbook, World Bank, 2011, P. 6 URL: http://www.worldbank.org/pdt Linda G. Morra-Imas, Ray C. Rist. Road to results: Designing and Conducting 37.  Effective Development Evaluations. World Bank Publications. 2009. Beyond Success Stories, p.16; Evaluation of Recent USAID Evaluation 38.  Experience, Cynthia Clapp-Wincek and Richard Blue, Working Paper No. 320, U.S. Agency for International Development, Center for Development Information and Evaluation, June 2001, p. 31. 39.  The Developmental Effectiveness of Untied Aid, OECD, p.1. URL: http://www. oecd.org/dataoecd/5/22/41537529.pdf. Planning Tools: Stakeholder Analysis. URL: http://www.odi.org/ 40.  publications/5257-stakeholder-analysis 41. EVO — Evaluation- A Management Tool for Improving Project Performance (a logical framework) URL: http://www.iadb.org/cont/evo/engbook/laevalua. htm Evidence-based policy making. URL: http://www.odi.org/sites/odi.org.uk/files/ 42.  odi-assets/publications-opinion-files/3683.pdf Results-based management. URL: http://www.fao.org/about/strategic-planning/ 43.  rbm/en/ Results-Based Management in UNDP URL: http://web.undp.org/evaluation/ 44.  documents/thematic/RBM/chapters/chapter2-rbm-in-undp.pdf 116 Strategic Results Framework. URL: https://www.wfp.org/content/strategic- 45.  results-framework Human Development Index. URL: http://hdr.undp.org/en 46.  OECD DAC Principles For The Evaluation Of Development 47.  Assistance. URL: http://www.oecd.org/dac/evaluation/ daccriteriaforevaluatingdevelopmentassistance.htm Poverty & Social Impact Analysis (PSIA).URL: http://www.worldbank.org/en/ 48.  events/2015/03/18/poverty-social-impact-analysis-psia-learning-event-tackling- difficult-issues-in-policy-reform-evidence-from-europe-and-central-asia Donna M. Mertens, Amy T. Wilson. Program Evaluation Theory and Practice: A 49.  Comprehensive Guide. 2012 Guidance for Evaluating Humanitarian Assistance in Complex Emergencies. 50.  Paris: OECD. 1999 URL: http://www.oecd.org/LongAbstract/0,3425, en_2649_3 4435_2667287_1_1_1_1,00.html Evaluating Humanitarian Action using the OECD-DAC Criteria 2006 URL: 51.  http://www.alnap.org/resource/5253.aspx Promoting Pro-Poor Growth. Practical Guide To Ex Antipoverty Impact 52.  Assessment. OECD 2007 53.  Quality Standards for Development Evaluation. URL: http://www.oecd.org/ development/evaluation/qualitystandards.pdf Guidance For Conducting Terminal Evaluations Of UNDP -Supported, Gef- 54.  Financed Projects, UNDP 2012 55.  Guidance For Conducting Midterm Reviews Of UNDP -Supported, Gef- Financed Projects, UNDP 2014 U NDP Assessment of Development Results (ADR). Assessment Of Development 56.  Results UNDP Evaluation Office, January 2007 Assessment Of Development Results: Evaluation Of Undp Contribution — 57.  Malawi. UNDP 2011 Comprehensive Evaluation Framework (CEF) and Three Step Approach. 58.  Evaluating Budget Support. Methodological Approach. OECD 2010 Impact Evaluation in Practice. Paul J. Gertler, Sebastian Martinez, Patrick 59.  Premand, Laura B. Rawlings, Christel M. J. Vermeersch. The International Bank for Reconstruction and Development / The World Bank 2011 60. Propensity score matching (PSM) URL: https://www.imf.org/external/pubs/ft/ wp/2014/wp14202.pdf 117 Оценка программ содействия социально-экономическому развитию Учебно-методическое пособие