OED 24614 EOD МОНИТОРИНГ И ОЦЕНКА Некоторые инструменты, методы и подходы МОНИТОРИНГ И ОЦЕНКА Некоторые инструменты, методы и подходы , www.worldbank.org/oed/ecd/ 2 ВЫРАЖЕНИя ПРИЗНАТЕЛЬНОСТИ Первое издание данного отчета было подготовлено Мэри Кларк и Рольфом Сарториусом (социальный эффект). Выражаем большую признательность специалистам Всемирного банка, которые внесли значительный вклад в подготовку отчета, включая Франсуа Биндера, Освальдо Файнштейна, Ронни Хаммада, Джоди Кьюсак, Линду Мора, Ритва Рейникка, Глорию Рубио и Элизабет Уайт. Данное второе издание включает результаты расширенного обсуждения оценки эффектов, подготовленного Майклом Бамбергером (консультантом). Руководителем задания по окончательной доработке данного отчета являлся Кит Макэй. Copyright © 2004 Междyнapoдный банк реконструкции и развития/ВСЕМИРНЫЙ БАНК 1818 H Street, N.W. Washington, D.C. 20433, U.S.A. Все права защищены. Произведено в Соединенных Штатах Америки. Мнения, выраженные в данном отчете, не обязательно представляют взгляды Всемирного банка или стран, которые являются его членами. Всемирный банк не гарантирует точность данных, включенных в данную публикацию, и не несет ответственности за какие-либо последствия их использования. Границы, цвета, названия и иная информация, показанная на каких-либо картах в данном томе, не выражает мнение Группы Всемирного банка относительно правового статуса территорий либо одобрение или принятие таких границ. 3 СОДЕРЖАНИЕ Обзор М&О .................................................................. 5 Показатели результативности ...................................... 6 Подход на логической основе..................................... 8 Оценка на основе теории ........................................10 Официальные обследования........................................12 Методы быстрой оценки ...........................................15 Методы совместной работы .......................................17 Обследования по отслеживанию государственных расходов..........................................19 Анализ затрат и результатов и анализ экономической эффективности ...............................21 Оценка эффектов........................................................23 Дополнительные ресурсы по мониторингу и оценке.......................................................................28 5 Обзор М&О НЕКОТОРЫЕ ИНСТРУМЕНТЫ, МЕТОДЫ И ПОДХОДЫ К ПРОВЕДЕНИЮ МОНИТОРИНГА И ОЦЕНКИ ЦЕЛЬ Мониторинг и оценка (М&О) деятельности в области развития предоставляет государственным чиновникам, менеджерам по развитию и представителям гражданского общества лучшие способы обучения на основе опыта прошлых лет, улучшения качества предоставляемых услуг, планирования и распределения ресурсов, а также демонстрации результатов в рамках ответственности ключевых участников. В развивающемся обществе большое внимание уделяется результатам ­ это помогает объяснить растущий интерес к М&О. Тем не менее, зачастую возникает путаница относительно того, что входит в М&О. Целью Обзора М&О является расширение информированности и интереса к М&О, а также разъяснение того, что под этим подразумевается. В данной работе Вашему вниманию предлагается обзор примеров, методов и подходов М&О, включая их цель и использование; необходимые затраты, навыки и время; а также ключевые ресурсы. В работе проиллюстрированы методы сбора данных, аналитические основы, а также типы оценки и изучения. В разделе Обзор М&О обсуждается следующее: Показатели результативности Подход на логической основе Оценка на основе теории Официальные обследования Методы быстрой оценки Методы совместной работы Обследования по отслеживанию государственных расходов Анализ затрат и результатов и анализ экономической эффективности Оценка эффекта Данный список не является и не должен быть исчерпывающим. Некоторые из перечисленных здесь методов и подходов являются дополнительными; некоторые же применяются для замены других. Одни имеют широкую сферу применения, тогда как применение других достаточно ограниченно. Выбор того, какие методы применять в определенных условиях, будет зависеть от ряда соображений. К ним относятся сферы, в которых предполагается использовать М&О, основные участники, заинтересованные в результатах М&О, срочность потребности в информации, а также стоимость. 6 Показатели результативности Что это такое? Показатели результативности ­ это показатели исходных затрат, процессов, продуктов, результатов и эффектов проектов, программ или стратегий развития. Если они сопровождаются сбором основательных данных, ­ для чего, возможно, потребуется проведение официального обследования ­ анализом и отчетностью, то такие показатели могут дать возможность менеджерам отслеживать продвижение, показывать результаты и принимать корректирующие меры для улучшения предоставления услуг. Важно, чтобы в определении показателей принимали участие ключевые лица, так как в таком случае они скорее воспримут и будут применять показатели для управления процессом принятия решений. Для чего мы можем их использовать? Планирование показателей результативности и оценка успеха их достижения. Выявление проблем при помощи системы раннего предупреждения, что позволяет принять корректирующие меры. Указание того, нужна ли глубокая оценка или изучение. ПРЕИМУЩЕСТВА: Эффективные методы определения успешного выполнения задач. Проводит контрольные сравнения между различными организационными единицами и областями в разрезе времени. НЕДОСТАТКИ: Слабо определенные показатели не являются хорошим мерилом успеха. Тенденция к определению слишком многих показателей, либо же без доступа к источникам данных делает систему дорогостоящей, непрактичной и не полностью использованной. Зачастую существует компромисс между выбором оптимальных или желательных показателей и необходимостью принять показатели, которые можно определить с использованием существующих данных. 7 СТОИМОСТЬ: Может варьироваться от низкой до высокой в зависимости от количества собранных показателей, периодичности и качества необходимой информации, а также полноты системы. НЕОБХОДИМЫЕ НАВЫКИ: Для развития навыков определения практических показателей рекомендуется несколько дней обучения. Для внедрения систем мониторинга результативности необходимы навыки сбора данных, анализа и отчетности, а также работы с системой информации по управлению (MIS). НЕОБХОДИМОЕ ВРЕМЯ: От нескольких дней до нескольких месяцев в зависимости от степени активного процесса, применяемого для определения показателей и сложности программы. Внедрение систем мониторинга результативности может продлиться 6-12 месяцев. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: Всемирный банк (2000). Справочник ключевых показателей результативности. Вашингтон, округ Колумбия. Хатри, Х. (1999). Определение результативности: Получение результатов. Урбан Институт, Вашингтон, округ Колумбия. 8 Подход на логической основе Что это такое? Подход на логической основе (LogFrame) помогает разъяснять задачи проекта, программы или политики. Он также оказывает помощь в определении ожидаемых случайных связей ­ «логики программы» ­ в следующей последовательности получения результатов: исходные затраты, процессы, продукты, (включая охват групп бенефициариев), результаты и эффекты. Он приводит к определению показателей результативности на каждом этапе данной последовательности, а также рисков, которые могут препятствовать выполнению задач. Подход LogFrame также является инструментом организации партнеров с целью разъяснения задач или построения работы. На этапе реализации LogFrame является полезным инструментом определения прогресса и принятия корректирующих мер. Для чего мы можем использовать этот подход? Улучшение качества построения проекта и программы за счет более четкого определения задач, использования показателей результативности и оценки рисков. Подведение итогов комплексных действий. Помощь в подготовке детальных планов работы. Обеспечение объективной основы для проверки, мониторинга и оценки действий. ПРЕИМУЩЕСТВА: Способствует тому, чтобы лица, ответственные за принятие решений, задавали всесторонние вопросы и анализировали предположения и риски. Организует основных участников в процессе планирования и мониторинга. При динамичном использовании это является эффективным инструментом управления для процессов реализации, мониторинга и оценки. 9 НЕДОСТАТКИ: При жестком управлении подавляет творческий и инновационный подход. Если не обновлять в ходе реализации, то этот инструмент может быть нединамичным, что не позволит ему отражать изменяющиеся условия. Зачастую необходимы обучение и доработка. СТОИМОСТЬ: От низкой до средней в зависимости от степени и глубины активного процесса, используемого для поддержки данного подхода. НЕОБХОДИМЫЕ НАВЫКИ: Минимум 3-5 дней обучения для организаторов; дополнительные организационные навыки необходимы для осуществления совместного планирования и управления. НЕОБХОДИМОЕ ВРЕМЯ: От нескольких дней до нескольких месяцев в зависимости от охвата и глубины активного процесса. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: Всемирный банк (2000). Справочник по подходу на логической основе (Logframe), Всемирный банк: http://wbln1023/OCS/Quality.nsf/Main/ MELFHandBook/$File/LFhandbook.pdf GTZ (1997). ZOPP: Планирование проекта с учетом задач: http:// www.unhabitat.org/cdrom/governance/html/books/zopp_e.pdf 10 Оценка на основе теории Что это такое? Оценка на основе теории имеет схожие черты с подходом LogFrame, но она дает более детальное понимание процессов программы или деятельности ­ «теория программы» или «логика программы». В частности, для этого не нужны допущения о простых линейных причинно-следственных связях. Например, успех государственной программы по повышению уровня грамотности за счет увеличения численности учителей может зависеть от ряда факторов. К ним относятся наличие аудиторий и учебников, возможные реакции родителей, директоров школ и учеников, навыки и моральные нормы учителей, районы, куда будут направлены дополнительно выделенные учителя, надежность государственного финансирования и т.д. Определяя основополагающие или случайные факторы, значимые для достижения успеха, а также способы их взаимодействия, можно принять решения о том, какие этапы необходимо отслеживать по мере развития программы для того, чтобы увидеть, как же они на самом деле подтверждены. И если данные показывают, что эти факторы не достигнуты, то можно прийти к обоснованному выводу о маловероятности того, что программа успешно выполнит поставленные задачи. Для чего мы можем ее применять? Планирование комплексных действий. Улучшение планирования и управления. ПРЕИМУЩЕСТВА: Предоставляет на начальном этапе обратную информацию относительно того, что работает, а что нет, и почему. Позволяет на начальном этапе принимать меры по устранению проблем по мере их возникновения. Помогает в определении неумышленных побочных эффектов программы. Помогает определять приоритетность того, какие вопросы необходимо более глубоко исследовать, возможно, с использованием более сконцентрированного сбора данных или более сложных методов М&О. Обеспечивает основу для оценки возможных эффектов программ. 11 НЕДОСТАТКИ: Может легко стать чрезмерно сложной при крупном масштабе деятельности или при сборе всестороннего списка факторов и предположений. Участники могут не согласиться относительно того, какие основополагающие факторы, по их мнению, являются важными, что может отнять много времени. СТОИМОСТЬ: Средняя ­ в зависимости от глубины анализа и особенно детализации собираемых данных, которые необходимы для изучения процесса программы. НЕОБХОДИМЫЕ НАВЫКИ: Минимум 3-5 дней обучения для организаторов. НЕОБХОДИМОЕ ВРЕМЯ: Может существенно варьироваться в зависимости от глубины анализа, продолжительности программы или деятельности, а также охвата работы по М&О. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: Вайс, Кэрол Х. (1998). Оценка. Прентис Холл, Нью-Джерси, Второе издание. Вайс, Кэрол Х. (2000). «Оценка на основе теории: теории изменений для программ по сокращению уровня бедности.» В сборнике О. Файнштейна и Р. Пиччиотто (авт.), Оценка и сокращение уровня бедности. Департамент оценки операций. Всемирный банк. Вашингтон, округ Колумбия. Мэйн, Джон (1999). Рассмотрение применимости с точки зрения анализа вклада: Разумное использование показателей результативности. Рабочий доклад Офиса Главного аудитора Канады, Оттава: http://www.oag- bvg.gc.ca/domino/other.nsf/html/99dp1 _e.htmI 12 Официальные обследования Что это такое? Формальные исследования можно использовать для сбора стандартизиро- ванной информации от тщательно отобранных групп населения или семей. Зачастую обследования собирают сопоставимую информацию по отно- сительно большой численности людей в определенных целевых группах. Для чего они используются? Предоставление базовых данных, относительно которых можно сравнивать результаты стратегии, программы или проекта. Сравнение различных групп в определенный момент времени. Сравнение изменений с течением времени в одной группе. Сравнение фактических условий с запланированными показателями программы или проекта. Описание условий в определенном сообществе или группе. Предоставление ключевых исходных данных для официальной оценки эффекта программы или проекта. Оценка уровней как основы для подготовки стратегий сокращения уровней бедности. ПРЕИМУЩЕСТВА: Результаты, полученные от опрошенных людей, можно применить к более широкой целевой группе или ко всему населению в целом. Можно делать количественные оценки по величине и распределению эффектов. НЕДОСТАТКИ: За исключением CWTQ, часто нет результатов в течение длительного времени. Данные обработки и анализа могут быть основными препятствиями для проведения более крупных обследований даже при наличии компьютеров. LSMS и обследования семей являются дорогостоящими обследованиями, которые занимают много времени. В ходе официальных обследований сложно получить многие виды информации. СТОИМОСТЬ: Варьируется примерно от 30-60 долларов США на семью при проведении CWIQ до 170 долларов США на семью при проведении LSMS. Затраты будут значительно выше, если для страны нет типового шаблона выборки. 13 НЕОБХОДИМЫЕ НАВЫКИ: Необходимы значительные технические и аналитические навыки для построения образцов и анкеты, анализа и обработки данных. НЕОБХОДИМОЕ ВРЕМЯ: Зависит от величины выборки. CWIQ можно завершить в течение 2 месяцев. Как правило, для проведения LSMS необходимо от 18 месяцев до 2 лет. Некоторые виды исследований Обследование семей по мно- категорий населения, а гим аспектам (которое также при ежегодном повторении называется Обследованием по ­ мониторинга результатов определению уровня жизни деятельности. Предварительные ­ LSMS) ­ это многопредметное результаты по обследованию интегрированное обследование, CWIQ можно получить в течение которое обеспечивает способы 30 дней. сбора данных по ряду аспектов Обследование удовлетворения уровня жизни, необходимых для клиентов (или предоставления выработки политики. Эти аспекты услуг) используется для охватывают следующее: расходы, оценки результативности состав семей, образование, государственных услуг на основе медицинское обслуживание, опыта клиентов. Обследования занятость, уровень рождаемости, проливают свет на препятствия, питание, сбережения, сельскохо- с которыми сталкивается клиент зяйственная деятельность и другиев оценке государственных источники дохода. Обследование услуг, их мнение относительно семей по одному аспекту более качества и соответствия подробно рассматривает более услуг, а также реакцию узкий круг вопросов. государственных чиновников. Анкета по основным Такие обследования обычно показателям благосостояния проводятся министерствами или (CWLQ) ­ это обследование государственными агентствами. семьи, определяющее изменения Обследования с в социальных показателях для использованием отчетных различных групп населения карточек граждан проводились ­ особенно показатели доступа НПО и учеными нескольких и пользования, а также удовле- стран. Аналогично обследования творения социальными и эконо- предоставления услуг, они также мическими услугами, Это изучали степень коррупции, с быстрый и эффективный которой сталкиваются обычные инструмент улучшения постро- граждане. Отличительной чертой ения деятельности, целевой является широко распространяемая направленности услуг для бедных публикация результатов. 14 ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: Сапсфорд, Р. (1999). Исследование обследований. Сейдж, Ньюберри-Парк, Калифорния. Анкета основных показателей благосостояния: http://www4.worldbank.org/ afr/stats/cwiq.cfm LSMS: http://www.worldbank.org/lsms/ Обследования по удовлетворению клиентов: http://www4.worldbank.org/afr/ stats/wbi.cfmsds Отчетные карточки граждан: http://lnweb18.worldbank.org/ESSD/sdvext.nsf/ 60ByDocName/CitizenReportCardSurveysANoteontheConceptandMethodology/ $FILE/CRC+SD+note.pdf 15 Методы быстрой оценки Что это такое? Быстрыми методами оценки являются быстрые, недорогие способы сбора мнений и комментариев бенефициариев и других заинтересованных лиц для того, чтобы привести в соответствие потребности в информации лиц, ответственных за принятие решений. Для чего мы можем их применять? Предоставление быстрой информации для принятия решений в области управления, особенно на уровне проекта или программы. Обеспечение качественного понимания комплексных социально- экономических изменений, интерактивных социальных ситуаций или ценностей, мотиваций или реакций людей. Обеспечение контекста и интерпретации для количественных данных, собранных более официальными методами. ПРЕИМУЩЕСТВА: Низкая стоимость. Можно быстро провести. Обеспечивает гибкость применения новых идей. НЕДОСТАТКИ: Как правило, результаты соответствуют конкретным сообществам или местностям ­ поэтому сложно проводить обобщения на основе полученных результатов. Менее ценные, надежные и достоверные, чем официальные обследования. СТОИМОСТЬ: От низкой до средней в зависимости от масштаба применяемых методов. НЕОБХОДИМЫЕ НАВЫКИ: Ненаправляющие интервью, создание групп, наблюдения на местах, ведение записей и базовые статистические навыки. НЕОБХОДИМОЕ ВРЕМЯ: От четырех до шести недель в зависимости от охвата и местоположения опрашиваемого населения, а также количества наблюдаемых объектов. 16 Методы быстрой оценки Опрос ключевых обсуждение на встрече, в информаторов ­ серия которой могут принять вопросов открытого типа, участие все члены сообщества; задаваемых отдельным лицам, интервьюер соблюдает выбранным из-за их знания последовательность тщательно и опыта по интересующей подготовленной анкеты. теме. Качественные, детальные Непосредственные и полусистематизированные наблюдения ­ использование интервью, которые проводятся формы подробных наблюдений в соответствии с руководствами для записи увиденного по проведению интервью, или услышанного на месте содержащие определенные темы проведения программы. или вопросы. Информация может касаться Обсуждение в фокусной текущей деятельности, процессов, группе ­ организованное обсуждений, социального обсуждение в составе 8-12 взаимодействия и наблюдаемых тщательно отобранных участников результатов. с одинаковым уровнем Мини-обследование образования. Участниками систематизированная анкета могут быть бенефициарии или, с ограниченным количеством например, работники программы. вопросов закрытого типа, Организатор использует которую распространяют руководство по проведению среди 50-75 человек. Выбор обсуждения. Отдельный персонал респондентов может быть ведет записи комментариев и случайным или намеренным наблюдений. (опрос участников в таких Групповые опросы местах, как поликлиника при сообщества ­ серии вопросов и проведении обследования организованное медицинских услуг). ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: ЮСАИД. Способы мониторинга и оценки результативности, #s 2, 4, 5, 10: http://www.usaid.gov/pubs/usaid_eval/#02 К. Кумар (1993). Методы быстрой оценки. Всемирный банк, Вашингтон, округ Колумбия. 17 Методы совместной работы Что это такое? Методы совместной работы обеспечивают активное вовлечение в принятие решений тех лиц, которые принимают участие в проекте, программе или стратегии и создают ощущение информированности о результатах и рекомендациях М&О. Для чего мы можем их применять? Изучение местных условий, а также перспектив и приоритетов местного населения способствует более ответственному последовательному участию. Определение проблем и их устранение в ходе реализации. Оценка проекта, программы или политики. Предоставление знаний и навыков для оказания поддержки бедным слоям населения. ПРЕИМУЩЕСТВА: Рассматривают значимые вопросы путем вовлечения ключевых участников в процесс разработки. Создают партнерства и информированность местного населения относительно проектов. Расширяют обучение, возможности управления и навыки местного населения. Предоставляют своевременную и надежную информацию для принятия решений в области управления. НЕДОСТАТКИ: Иногда считаются менее объективными. Занимают много времени, если ключевые участники действительно задействованы значимым образом. Возможность доминирования и злоупотребления со стороны некоторых участников для защиты собственных интересов. СТОИМОСТЬ: От низкой до средней. Затраты в значительной степени варьируются в зависимости от охвата и глубины применения и от того, насколько ценится вклад местных ресурсов. НЕОБХОДИМЫЕ НАВЫКИ: Обучение для организаторов, по крайней мере, в течение, нескольких дней. 18 НЕОБХОДИМОЕ ВРЕМЯ: В значительной степени варьируется в зависимости от охвата и глубины применения. Широко распространенные методы совместной работы Анализ участников ­ это соответствующие меры, зачастую отправная точка для большей используя визуальные методы части совместной работы таким образом, чтобы могли и социальных оценок. Он участвовать неграмотные люди. используется для развития Оценка бенефициариев понимания взаимоотношения включает систематические сил, влияния и интересов консультации с бенефициариями различных людей, участвующих проекта и другими участниками в определенной деятельности, в определении и разработке а также для определения того, инициатив развития, основных кто должен принимать участие и препятствий для участия, а также когда. предоставлении обратной реакции Совместная сельская оценка с целью улучшения услуг и ­ это подход к планированию деятельности. на основе совместного обучения Совместный мониторинг и местного населения, как оценка включает участников на городского, так и сельского, а различных уровнях, совместно также посторонних лиц. Это работающих над определением дает возможность менеджерам проблемы, сбором и анализом по развитию и местному информации, а также населению совместно оценивать подготовкой рекомендаций. и планировать ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: Гуит, И. и Дж. Гавента (1998). Совместный мониторинг и оценка. Институт исследований в области развития, Сассекский университет, Брайтон, Великобритания: http://www.ids.ac.uk/ids/bookshop/briefs/ brief12.html http://www.worldbank.org/participation/partme.htm 19 Обследования по отслеживанию государственных расходов Что это такое? Обследования по отслеживанию государственных расходов (PETS) отслеживают поток государственных средств и определяют то, какой объем ресурсов фактически получает целевая группа. Данные обследования изучают способ, объемы, а также сроки ресурсов, выделяемых для различных уровней государственного управления, особенно структурам, ответственным за предоставление социальных услуг, таких как здравоохранение и образование. Зачастую PETS проводят в рамках более крупных обследований предоставления услуг и соответствующих организаций, которые концентрируют внимание на качестве услуг, характеристиках предоставляющих услуги организаций, их управлении, создании стимулов и т.д. Для чего мы можем их использовать? Количественное выявление проблем в предоставлении услуг. Предоставление подтверждений задержек средств, их утечек и коррупции. ПРЕИМУЩЕСТВА: Способствует отчетности при наличии ограниченной финансовой информации. Улучшает управление, точно определяя местонахождение бюрократических препятствий в потоке средств, направляемых на предоставление услуг. НЕДОСТАТКИ: Государственные агентства могут неохотно предоставлять доступ к своим бухгалтерским книгам. Значительная стоимость. СТОИМОСТЬ: Может быть высокой до того, как будут созданы возможности для их проведения на государственном уровне. Например, первое обследование PETS в Уганде стоило 60 000 долларов США для сектора образования и 100 000 долларов США для сектора здравоохранения. 20 НЕОБХОДИМЫЕ НАВЫКИ: Значительные технические и аналитические навыки для сбора данных и разработки анкеты, анализа и обработки данных, а также хорошее понимание ситуации в секторе, в котором будет проводиться оценка. НЕОБХОДИМОЕ ВРЕМЯ: Пять-шесть месяцев (само обследование занимает 1-2 месяца). ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: http://www1.worldbank.org/publicsector/pe/trackingsurveys.htm 21 Анализ затрат и результатов и анализ экономической эффективности Что это такое? Анализ затрат и результатов и анализ экономической эффективности ­ это инструменты, используемые для оценки того, оправданы ли затраты на определенный вид деятельности с точки зрения ее результатов и эффектов. Анализ затрат и результатов определяет как исходные затраты, так и результаты в денежном выражении. Анализ экономической эффективности определяет исходные затраты в денежном выражении и результаты в неденежном количественном выражении (такие, как улучшение навыков чтения у учащихся). Для чего мы можем их использовать Подкрепление информацией решений о наиболее эффективном распределении ресурсов. Определение проектов с наиболее высокими ставками прибыли на инвестиции. ПРЕИМУЩЕСТВА: Подходы хорошего качества для определения эффективности программ и проектов. Делают явными экономические допущения, которые, в противном случае, могут остаться скрытыми, либо которые можно упустить из виду на этапе разработки. Полезны для убеждения лиц, ответственных за выработку политики и финансирование, в том, что выгода оправдывает данный вид деятельности. НЕДОСТАТКИ: Очень техничные методы, требующие достаточных финансовых и человеческих ресурсов. Может не быть необходимых данных для анализа затрат и результатов, и прогнозируемые результаты могут в большой степени зависеть от сделанных допущений. Нужно с осторожностью интерпретировать результаты, в частности, в проектах, где сложно определить пользу в количественном выражении. 22 СТОИМОСТЬ: В значительной степени варьируется в зависимости от охвата анализа и наличия данных. НЕОБХОДИМЫЕ НАВЫКИ: Порядок, используемый в обоих видах анализа, зачастую высокотехничен. Для этого необходимы навыки экономического анализа и наличие соответствующих экономических и затратных данных. НЕОБХОДИМОЕ ВРЕМЯ: В значительной степени варьируется в зависимости от охвата анализа и наличия данных. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: Белли, П. и др. (2000). Экономический анализ инвестиционных операций: Аналитические инструменты и практическое применение. Всемирный банк, Вашингтон, округ Колумбия. НАИБОЛЕЕ УДАЧНЫЕ ПРИМЕРЫ АНАЛИЗА ЗАТРАТ И РЕЗУЛЬТАТОВ: http://kms.worldbank.org/edunet/TEN_DIMENSIONS/DIM_4/cb_ce.htm 23 Оценка эффектов Что это такое? Оценка эффектов ­ это систематическое определение воздействия ­ положительного или отрицательного, преднамеренного или нет ­ на отдельные семьи, организации и окружающую среду, вызванного определенной деятельностью в области развития, например, программой или проектом. Оценка эффектов помогает нам лучше понять степень достижения данной деятельностью бедных слоев населения и величину эффекта на благосостояние людей. Оценки эффектов могут варьироваться от крупномасштабных выборочных обследований, при которых проводится сравнение проектного населения и контрольных групп до начала проекта и после его окончания, и, возможно, в некоторые моменты в ходе проведения программы; до небольших быстрых оценок и совместных оценок, где эффект определяется сочетанием данных, полученных в ходе групповых интервью, от ключевых информаторов, практических примеров и существующих вспомогательных данных. Для чего мы можем ее использовать? Определение результатов и эффектов деятельности и отделение ее влияния от влияния, вызванного другими внешними факторами. Помощь в разъяснении того, оправданы ли затраты на определенную деятельность. Подкрепление информацией решений о необходимости расширения, изменения или ликвидации проектов, программ или политики. Получение опыта для улучшения разработки и управления будущей деятельностью. Сравнение эффективности альтернативных мер. Укрепление ответственности за результаты. ПРЕИМУЩЕСТВА: Обеспечивает расчеты величины результатов и эффектов для различных демографических групп, регионов, или через определенный промежуток времени. Дает ответы на некоторые наиболее важные вопросы в области развития ­ до какой степени мы проводим различие? Каковы результаты на местах? Как мы можем улучшить ситуацию? Систематический анализ и точность могут добавить уверенности менеджерам и лицам, ответственным за выработку политики при принятии решений. 24 НЕДОСТАТКИ: Некоторые подходы очень дорогостоящи и занимают много времени, хотя также используются и более быстрые и экономные подходы. Снижает полезность, когда лицам, ответственным за принятие решений, нужна срочная информация. Сложности в определении соответствующих контраргументов. СТОИМОСТЬ: Стоимость ряда оценок эффектов, которые проводились Всемирным банком, варьируется от 200 000 до 900 000 долларов в зависимости от величины программы, ее сложности и сбора данных. Более простые и быстрые оценки можно проводить в пределах 100 000 долларов, а в некоторых случаях ­ и 10 000-20 000 долларов США. НЕОБХОДИТМЫЕ НАВЫКИ: Сильные технические навыки в проведении местных научно- технических исследований, управлении, анализе и отчетности. В идеале, баланс качественных и количественных навыков исследований у группы специалистов, проводящих оценку. НЕОБХОДИМОЕ ВРЕМЯ: Может занимать до 2 лет и более. Быстрые оценки можно зачастую проводить менее чем за 6 месяцев. ПРИМЕРЫ ПЛАНОВ ОЦЕНКИ ЭФФЕКТОВ Планы рандомизированной оценки, включая сбор информации по проектным и контрольным группам в два или более момента времени, обеспечивают наиболее точный статистический анализ эффектов и вклада проекта или иных факторов. Но на практике редко когда существует возможность использовать эти планы для ограничений по стоимости, времени, методологических или этических ограничений. Поэтому большинство оценок эффектов используют планы менее дорогих и менее точных оценок. В приведенной ниже таблице описаны четыре подхода к планам оценки эффектов при проведении оценки развития. Первый пример ­ это план рандомизированной оценки; второй ­ это квази-экспериментальный план, при котором выбирается «неэквивалентная» контрольная группа, которая должна максимально соответствовать характеристикам проектного населения; в третьем примере проектное население сравнивают с неэквивалентной контрольной группой после реализации проекта; а четвертый пример ­ это быстрая оценка, сочетающая групповые интервью, ключевых информаторов, практические примеры и вспомогательные данные. Каждая последующая модель теряет методологическую точность, в обмен на что происходит значительное сокращение необходимых затрат и времени. 25 ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: Бейкер, Дж. (2000). Оценка воздействия проектов на уровень бедности: Пособие для практиков. Всемирный банк, Вашингтон, округ Колумбия. http://www.worldbank.org/poverty/library/impact.htm Веб-сайт Всемирного банка по оценке эффектов: http://www.vvorldbank.org/poverty/impact/ Рош, С. (1999) Оценка эффектов для агентств развития; От обучения к изменению стоимости. Оксфам, Оксфорд. 26 4 Модели оценки эффектов - 1. Рандоми- Субъекты (семьи, школы, Водоснабжение и 1-5 лет в зированная сообщества и т.д.) канализация или зависимости от оценка до выбираются случайно в предоставление времени, которое и после проектные и контрольные иных услуг, таких должно пройти реализации группы. В обеих группах как жилищная или до того, как проекта. используются анкеты или муниципальная будут заметны иные инструменты для сбора инфраструктура эффекты. данных (антропометрические и т.д., когда Стоимость может данные, школьные показатели спрос превышает варьироваться от и т.д.) до начала и после предложение, а 50 000 до 1 млн. окончания проекта. В бенефициарии долларов США в ходе реализации проекта выбираются лоте- зависимости от также можно проводить реей. Пример: со- величины и дополнительные наблюдения. циальные работ- сложности изуча- ники в Боливии. емой программы. 2. Квази- Если невозможна рандоми- Эти модели Стоимость экспери- зация, выбирается контроль- применялись и сроки ментальный ная группа, которая макси- Всемирным банком аналогичны план до мально соответствует харак- при проведении Модели 1. начала теристикам проектной груп- низкозатратных и после пы. Иногда выбирается тип жилищных завершения сообществ, из которых будут программ в сравнений привлекаться участники Сальвадоре, проектного проекта. Если реализация Замбии, Сенегале и контроль- проекта состоит из несколь- и на Филиппинах. ного ких этапов, участники, выби- населения. раемые для последующих этапов, могут использоваться для контроля проектной группы первого этапа. 3. Факти- По бенефициариям проекта Оценка эффектов 50 000 долларов ческое собираются данные, а программ микро- США и выше. сравнение неэквивалентная контрольная кредитования в Как правило, проектной группа выбирается так Бангладеш. Дерев- стоимость и неэквива- же, как и для Модели 2. ни, где проводились составляет от лентной Данные собираются только программы микро- одной трети группы. после окончания реализации кредитования, до половины проекта. Зачастую сравнивались с сопоставимого применяется многомерный аналогичными исследования с анализ для статистического деревнями без использованием контроля различий в таких программ Моделей 1 или применении обеих групп. кредитования. 2. 27 4. Опре- Одни оценки касаются Оценка проектов 25 000 долларов деление только обследуемых групп, управления США и выше эффекта на которых повлиял местным (стоимость быстрых проект, тогда как другие водоснабжением в исследования оценок. включают соответствующие Индонезии. в Индонезии требованиям контрольные была 150 000 группы. Можно применять долларов методы совместной работы США). Одни для определения изменений исследования в результате проекта, того, завершаются кто получил выгоду, а кто в течение 1- нет, и каковы были сильные 2 месяцев, для и слабые стороны проекта. других нужен Для сравнения групповой год или более. информации с мнениями ключевых информаторов и информации, полученной из вспомогательных источников, используют метод триангуляции. Можно разработать практические примеры по отдельным лицам или группам для более глубокого понимания процессов или изменений. 28 Дополнительные ресурсы по мониторингу и оценке Веб-сайты Улучшение оценки, мониторинга и качества Всемирного банка: http://www.worldbank.org/evaluation/ Развитие возможностей мониторинга и оценки: http://www.worldbank.org/oed/ecd/ Новости мониторинга и оценки: http://www.mande.co.uk/ 1818 H Street, N.W. Washington, D.C. 20433, U.S.A. Telephone: 202-477-1234 Facsimile: 202-477-6391 Telex: MCI 64145 WORLDBANK MCI 248423 WORLDBANK Internet: www.worldbank.org Operations Evaluation Department Knowledge Programs and Evaluation Capacity Development Group (OEDKE) E-mail: eline@worldbank.org Telephone: 202-458-4497 Facsimilie: 202-522-3125