Статья для журнала "Проектирование, мониторинг и оценка" 2011. № 1. C. 23-51

Беляев А.Н., Дерман Д.О., Цыганков Д.Б.

Национальный исследовательский университет
«Высшая школа экономики»

г. Москва

Введение

Оценка регулирующего воздействия (ОРВ) к настоящему моменту имеет более чем 30летнию историю, десятки стран с разной степенью успешности ввели ее (Radaelli, 2010).

Цель ОРВ – повышение качества нормотворческих решений за счет детального прогнозирования их последствий на базе расчетов и выбора оптимального варианта в ходе публичных консультаций. В ходе ОРВ дается детальное описание решаемой проблемы (включая развернутые качественные и количественные характеристики), целей и вариантов решения проблемы, расчета издержек и выгод всех сопричастных лиц для основных вариантов решения проблемы. Особое внимание уделяется консультациям с заинтересованными адресатами регулирования. В ходе консультаций уточняется масштаб проблемы, выявляются возможные негативные эффекты от тех или иных вариантов ее решения. Кроме того, процедуры отслеживающей и ретроспективной ОРВ позволяют оптимизировать процесс принятия решений на всех стадиях государственноуправленческого цикла.

За последние 20 лет ОРВ хорошо зарекомендовала себя в США, Европе, Австралии, других странах, входящих в Организацию экономического сотрудничества и развития (ОЭСР), в том числе – в Швейцарии и Франции, где процедура ОРВ закреплена на уровне Конституций. ОРВ внедрена в ряде стран Восточной Европы и СНГ. В России на данном этапе ОРВ рассматривается многими сопричастными лицами прежде всего как механизм, позволяющий не допустить возникновения новых административных барьеров для предпринимательской деятельности или «снести» наиболее «вредоносные» подзаконные акты (Цыганков, 2010).

Именно проведение оценки регулирующего воздействия предусмотрено в настоящее время Регламентом Правительства РФ, а также Правилами подготовки нормативных правовых актов федеральных органов исполнительной власти и их государственной регистрации (с 15.05.2010 г.). В августе 2010 года начал работу Департамент оценки регулирующего воздействия Минэкономразвития РФ. Последовательно были приняты документы, обеспечивающие прогнозную ОРВ и экспертизу действующих актов, принятых федеральными органами исполнительной власти.

В ближайшие годы в России предлагается распространить ОРВ на этап проектирования нормативных актов. В 2011 году была подготовлена почва для внедрения ОРВ уже не на стадии экспертизы проектов нормативных актов (как сейчас), а на стадии их разработки. При этом ОРВ будет проводиться разработчиком нормативного акта («доказывание» необходимости регулирования), а за Минэкономразвития РФ предлагается закрепить функции проверки качества ОРВ и методического обеспечения этой работы. Также предполагается проведение работ по апробации ОРВ в практике принятия решений и публичных обсуждений на уровне субъектов Российской Федерации и муниципальных образований.

После запуска процедуры ОРВ на федеральном уровне и с учетом опыта работы Департамента ОРВ Минэкономразвития РФ все большую актуальность приобретает вопрос обеспечения качества подготавливаемых заключений об ОРВ (в настоящее время – силами Департамента ОРВ, в будущем – силами органов-разработчиков нормативных актов на этапе их проектирования).

С учетом вышесказанного, механизм мета-оценивания (мониторинга) качества заключений об ОРВ должен быть интегрирован в систему оценки регулирующего воздействия.

Международный опыт анализа качества ОРВ

Подходы к оценке качества оценки регулирующего воздействия

Для того чтобы перейти к описанию элементов системы анализа качества ОРВ, необходимо, прежде всего, определить, что в социальных науках понимается под «качеством оценки регулирующего воздействия». Агрегируя точки зрения различных экспертов (Radaelli, 2004; Kirkpatrick, 2004), можно сказать, что ОРВ может считаться качественной в случае, если соответствует следующим критериям:

-проведена с учетом требований к оценке регулирующего воздействия, установленных в Порядке проведения ОРВ и иных нормативных актах соответствующей страны;
-результатом ОРВ является понятный, полный, соответствующий требованиям Порядка проведения ОРВ документ (заключение об ОРВ / отчет по ОРВ);
-информация, на базе которой сделаны выводы (расчеты), является достоверной;
-прогноз воздействия нормативного акта, сделанный в рамках ОРВ, соответствует действительности.

Решающим показателем качества оценки регулирующего воздействия является именно последний пункт из вышеперечисленных. Одна из важнейших целей оценки регулирующего воздействия, как следует из ее названия, – спрогнозировать воздействие регулирования таким образом, чтобы в дальнейшем эту информацию использовать при принятии решений. Однако, для того чтобы оценить соответствие ОРВ данному показателю, необходимо ввести в действие предложенное регулирование; подождать несколько лет, пока оно действует; собрать необходимую для оценки его влияния информацию; провести ex-post анализ влияния регулирования и сравнить полученные результаты с прогнозом, который был дан в заключении об ОРВ. Естественно, что полученные в этот момент выводы относительно качества ОРВ, проведенной несколько лет назад, представляют собой преимущественно академическую ценность.

На более ранних стадиях для оценки качества ОРВ (например, чтобы быть уверенным в качестве проведенной ОРВ при принятии решения об утверждении/отклонении проекта акта) обычно используются первые три критерия. Именно такое понимание качества, как правило, ложится в основу разработки механизма анализа качества ОРВ.

Подходы к разработке структуры анализа качества ОРВ

Цель анализа качества ОРВ – не переделать заключение об ОРВ, а лишь выявить, соответствует ли проведенная оценка установленным требованиям. Анализ качества, особенно если он проводится сразу после подготовки заключения об ОРВ и до принятия окончательного решения о дальнейшей судьбе регулирования, должен быть максимально простым, быстрым в реализации и не требующим излишних финансовых затрат. С другой стороны, под рукой у «центральной» структуры, контролирующей качество, должен быть и механизм более детальной оценки качества для того, чтобы в зависимости от важности и политической остроты анализируемого регулирования глубина анализа могла варьироваться.

Таким образом, система анализа качества ОРВ должна быть достаточно гибкой, чтобы имелась возможность «настройки» глубины анализа под каждый конкретный случай. Возможно, именно поэтому почти все эксперты, описывающие подходы к системе анализа качества ОРВ, представляли ее как сложную структуру, состоящую из нескольких уровней или тестов анализа качества проведения ОРВ. Каждый тест включает проверку процесса ОРВ по одному или нескольким параметрам качества и предполагает использование различных механизмов проведения этого анализа.

Так, старший специалист по инвестиционной политике Департамента оценки инвестиционного климата Всемирного Банка, участвовавший во внедрении ОРВ в Сербии, Македонии и Словакии, Питер Лэдегаард (Ladegaard) предложил комплексный подход к анализу качества заключений, состоящий из трех уровней (Ladegaard, 2007). Первый уровень, тест соответствия (англ. – compliance test), сравнивает содержание заключения об ОРВ с предварительно установленным стандартом, включающим требования к наличию тех или иных составляющих заключения, а также требования к их содержанию. Обычно такой стандарт формируется на основе принятого в стране Руководства по подготовке заключений.

Также возможно использование предварительно разработанного эталона структуры заключения с перечислением обязательных требований к содержанию каждой части этой структуры. Правда, как справедливо заметил канадский эксперт по оценке регулирующего воздействия Kарсон Данлоп (Dunlop), при наличии утвержденного Порядка подготовки ОРВ использование иной структуры для проведения теста на соответствие структуре ОРВ не совсем корректно (Dunlop, 2006). Полученные результаты скорее будут сигнализировать о недостатках требований к проведению ОРВ, а не о низкой эффективности работы государственных служащих, проводящих ОРВ.

Таким образом, первый тест вообще не рассматривает валидность и достоверность данных, правдивость и адекватность сделанных предпосылок, качество и уместность используемых аналитических механизмов при оценке издержек/выгод. Его цель – показать, отражены ли эти и множество других составляющих ОРВ в итоговом Заключении, и насколько это сделано качественно.

Второй тест, тест качества процедур (англ. - performance test), направлен на анализ качества аналитических механизмов, используемых в процессе ОРВ. Для проведения данного теста, как отмечает Питер Лэдегаард, необходим фиксированный перечень требований к наиболее важным аналитическим инструментам, применяемым при проведении ОРВ (Ladegaard, 2007). Обычно к ним относят дизайн расчета издержек/выгод, а также механизм проведения публичных консультаций.

Наконец, третий тест, тест результативности ОРВ (function test), направлен на оценку достоверности результатов ОРВ (того, насколько полученные в результате ОРВ выводы и оценка издержек-выгод, соответствуют действительности), а также на анализ влияния ОРВ на процесс принятия итогового решения относительно внедряемого регулирования. Влияние ОРВ на процесс принятия итогового решения может быть относительно несложно оценено путем вычисления доли проектов регуляторных актов, окончательное решение по которым отличается от рекомендаций, зафиксированных в заключениях об ОРВ. А вот для оценки достоверности результатов необходимо проведение ретроспективной ОРВ, которая зачастую является еще более дорогостоящей и сложной процедурой. В идеале, как отмечает автор, желательно использовать все три теста.

История внедрения анализа качества в процедуру проведения ОРВ

С точки зрения сложности внедрения, оценка регулирующего воздействия является лидером среди механизмов, обеспечивающих «обратную связь» по качеству проекта нормативного акта, к которым, согласно «A UNICEF Guide for monitoring and evaluation» также относятся инспекция, мониторинг реализации программ и аудит. Проблема качества оценки регулирующего воздействия возникла перед странами-пионерами внедрения ОРВ практически через несколько лет после начала ее использования. Координатор программ по реформированию регулирования ОЭСР (OECD Program on Regulatory Reform) в 1995-2001 гг. американский консультант Скотт Джекобс (Jacobs) приводит два объяснения возникновению проблем такого рода (Jacobs, 2006).

Во-первых, в начале 90-х гг. проблема повышения эффективности регулирования вышла на первый план и в европейских странах, и в США. Развернувшаяся в международном экспертном сообществе дискуссия относительно эффективности тех или иных подходов к проведению ОРВ, обмен опытом использования оценки в различных странах – все это привело к существенному повышению качества стандартов проведения ОРВ и сложности аналитических инструментов, используемых при ее проведении. Те подходы, которые раньше оценивались как качественные, обеспечивающие достоверность результатов и приемлемые при проведении ОРВ, перестали быть таковыми. Требования к содержанию готовящихся заключений также возросли.

Во-вторых, возросший интерес к данному инструменту вызвал значительное увеличение количества готовящихся заключений, что, в свою очередь, привело к дефициту квалифицированных госслужащих. Естественно, что в короткие сроки подготовить и переподготовить достаточное количество компетентных чиновников не представлялось возможным. Даже неизменные с содержательной точки зрения заключения показывали гораздо худший результат при анализе на соответствие изменившимся стандартам проведения ОРВ, так как требования к качеству таких документов существенно повысились. В итоге, внедрение новых стандартов проведения ОРВ и расширение практики ее использования привело к фиксированию в различных исследованиях существенного ухудшения качества ОРВ (хотя в действительности, повторимся, снижение качества не было настолько драматичным).

Отвечая на этот вызов, страны ОЭСР провели беспрецедентную кампанию по обучению госслужащих новым подходам к проведению оценки, а также начали применять на государственном уровне различные механизмы анализа качества ОРВ. Необходимость в обучении понятна – нужно было подготовить новых специалистов и адаптировать к изменившемуся механизму старых. Анализ качества ОРВ, в свою очередь, минимизировал риск подготовки формальных некачественных заключений уже обученными и квалифицированными госслужащими. Таким образом, качество готовящихся заключений существенно выросло, и кризис 90-х годов был преодолен.

С. Джекобс приходит к выводу, что такое «U-образное» изменение качества ОРВ во времени характерно для большинства стран, успешно прошедших этап внедрения механизма оценки в государственное управление, а также носит цикличный характер. Действительно, похожая ситуация повторилась для стран ОЭСР и в начале 2000-х. К этому моменту позитивный импульс реформ 90-х в области оценки регулирующего воздействия иссяк. Усложнившийся характер регулирования, а также продолжающееся увеличение количества подпадающих под ОРВ проектов регулирования требовали для проведения оценки все больше и больше ресурсов. В ответ на это министерства и ведомства, ответственные за подготовку ОРВ, опять стали снижать качество проводимой оценки, в том числе проводить ее формальным образом (т.н. box-ticking-effect).

Так, исследования качества заключений в Австралии и Новой Зеландии, проведенные соответственно Стивеном Агри (Agry) и Мэтттью Джонсоном (Johnson) в 2003 году (Jacobs, 2006) и Департаментом ОРВ Новой Зеландии в 2005 году, выявили отрицательную динамику качества готовящихся заключений. В частности, в обеих странах хуже всего дело обстояло с выявлением альтернатив и количественной оценкой влияния регулирования. При этом большинство заключений в указанном выше отношении не соответствовало утвержденному Порядку проведения ОРВ. Как и в предыдущий раз, основные усилия государств по выводу механизма ОРВ из кризиса были сосредоточены на улучшении процедуры анализа качества проведения оценки.

По результатам данных исследований было принято решение о формальном закреплении анализа качества ОРВ как обязательной процедуры для всех проводимых ОРВ в следующих редакциях Порядка подготовки ОРВ. В обеих странах это было сделано путем включении специального раздела, регламентирующего процесс оценки качества готовящихся заключений об ОРВ. В частности, был внедрен механизм оценки соответствия структуры заключений базовой структуре ОРВ, описанной в Руководствах. Новые Руководства вступили в действие в 2008 и 2010 гг.

Многочисленные недостатки, а также отрицательная динамика качества были выявлены и в заключениях, подготовленных в ЕС, США и Великобритании в период с 1998 по 2002 гг. [Lee, 2004] В это время существенно (в 1,7 раза – в случае Великобритании) увеличился объем подготовленных заключений ОРВ, с чем эксперты и связывали отрицательный тренд. В результате на государственном уровне также были предприняты шаги, направленные на усиление роли анализа качества проведения ОРВ в этих странах.

Так, Совет по ОРВ (англ. – Impact Assessment Board, далее – IAB) -центральный орган, ответственный за организацию ОРВ в Европейском Союзе – в 2009 году существенно расширил свои полномочия по контролю качества процесса проведения ОРВ, получив согласно новому Руководству по проведению ОРВ до 4 недель на оценку качества подготовленных Секретариатами Европейской Комиссии заключений, а также возможность возвращения заключения об ОРВ на доработку в Секретариат.

В США Служба по регуляторной политике (англ. – Office for Information and Regulatory Affairs, далее – OIRA), являющаяся структурным подразделением Административно-бюджетного управления США, всегда имела право вето при утверждении любой нормы регулирования. Без утверждения Заключения об ОРВ Службой по регуляторной политике ни одно ведомство в США не имеет права опубликовать проект планируемой нормы регулирования. Тем не менее, только во время президентства Дж. Буша-мл., OIRA де-факто стала применять данное полномочие. Согласно данным исследования, проведенного ОЭСР, только в первый год его президентства OIRA вернула на доработку Заключений больше, чем за 8 предыдущих лет своего существования.

Наконец, в Великобритании пошли еще дальше. Во-первых, был образован Комитет по регулятивной отчетности (Better Regulation Executive). Он был наделен полномочиями по отклонению предложений о регулировании в случае, если для них отсутствуют необходимые расчеты издержек и выгод. Во-вторых, согласно рекомендациям Комитета по государственному бюджету (англ. – Committee of Public Accounts), начиная с 2002 года, ежегодно Национальным Аудиторским Управлением Великобритании (англ. – National Audit Office) проводится анализ качества всего процесса подготовки ОРВ. Наконец, заключение об ОРВ лично подписывается Министром, чье ведомство проводит оценку, в котором тот «с открытыми глазами» берет на себя ответственность, что понесенные адресатами регулирования издержки будут оправданы совокупными потенциальными выгодами. Такая мера приводит к усиленному внутреннему контролю качества заключений, и является дополнительной гарантией качества готовящегося заключения.

Итак, для стран Западной Европы и США именно создание и развитие системы анализа качества ОРВ стало тем фактором, который оказал неоценимую поддержку в процессе совершенствования механизма ОРВ и помог преодолеть кризисы доверия, связанные с расширением использования ОРВ и переходом на новые стандарты качества при ее проведении. Описанные изменения окончательно определили место анализа качества в процедуре проведения ОРВ. Для анализа нынешней роли механизма в оценке обратимся к наиболее успешному опыту проведения ОРВ в ЕС и в США.

Место и роль анализа качества ОРВ в настоящее время

В ЕС в процессе проведения ОРВ участвуют как минимум три стороны: (1) органразработчик проекта нормативного акта, ответственный за проведение ОРВ; (2) Совет по ОРВ (IAB) в качестве центрального органа ОРВ; и (3) Европейская комиссия, принимающая окончательное решение об утверждении проекта нормативного акта и его вынесении на рассмотрение в Совет ЕС и Европарламент.

Проведение ОРВ в ЕС включает несколько стадий. На первой стадии органразработчик проекта нормативного акта готовит краткий документ, описывающий суть планируемого регулирования. На втором этапе осуществляется анализ нормативного акта и проводится серия публичных консультаций с заинтересованными сторонами. Наконец, на основе полученных данных готовится заключение об ОРВ (третий этап).

На этапе подготовки документа орган-разработчик вправе запрашивать методологическую помощь у IAB, а также передавать ему промежуточные версии заключения для анализа качества. Тем не менее, основной анализ качества подготовленного заключения происходит после подготовки его финальной версии. В случае неудовлетворительных результатов анализа IAB может порекомендовать доработать заключение об ОРВ. Следовать рекомендациям или нет – решение остается за органом-разработчиком регулирования. В любом случае, в IAB представляется финальная версия заключения, и на ее основании формируется документ под названием «IAB opinion», в котором описывается позиция центрального органа по ОРВ ЕС в отношении качества представленного заключения ОРВ. Независимо от содержания «IAB opinion», проект нормативного акта идет дальше, но уже в связке с обязательными документами: заключение об ОРВ и «IAB opinion». Этот пакет документов и рассматривается при межведомственном согласовании (inter-service consultation) и затем Европейской Комиссией.

Таким образом, в ЕС орган-разработчик регулирования проводит ОРВ, а центральный орган ОРВ осуществляет анализ качества проведенной оценки. При этом его выводы носят рекомендательный характер и могут приниматься или не приниматься в дальнейшем. Более серьезную роль играет анализ качества в процессе проведения ОРВ в США.

В США проведение ОРВ также является задачей органа-разработчика проекта нормативного акта. На первом этапе орган-разработчик проводит предварительную оценку воздействия, заключающуюся в описании предлагаемого регулирования, предложении нескольких альтернатив и их обязательном сравнении с альтернативой «статус-кво», то есть ситуацией, при которой существующее положение дел в регулируемой сфере сохранится. Таким образом, на выходе получается предварительная оценка регулирующего воздействия, включающая в себя описание нескольких альтернатив и «грубую оценку издержек/выгод» (Renda, 2006). В дальнейшем, данная оценка выносится на публичное обсуждение.

По результатам консультаций орган-разработчик дорабатывает заключение и выносит его на суд Службы по регуляторной политике (OIRA). В полномочиях OIRA заключено важнейшее отличие между процедурами анализа качества ОРВ в ЕС и США. По итогам проведенного анализа качества OIRA может одобрить результаты ОРВ или отправить заключение на доработку. При этом процесс утверждения регулирования приостанавливается до тех пор, пока не будут устранены все недостатки в оценке, выявленные OIRA. Таким образом, получение положительного анализа качества является обязательным этапом на пути проекта регулирования в Конгресс.

Многие исследователи, в том числе профессор Геттингенского университета Килиан Бизер (Bizer) (Bizer, 2010) и ведущий научный сотрудник Центра исследований европейской политики в Брюсселе Андреа Ренда (Renda) (Renda, 2006), критикуют наделение OIRA правом приостановки процесса утверждения регулирования. Тем не менее, принятая в США схема успешно работает, и по некоторым показателям (в частности по качеству результатов анализа издержек/выгод) выглядит существенно лучше, чем аналогичная система в ЕС.

На основе вышеприведенного анализа процесса проведения ОРВ в двух странах можно сделать несколько выводов. Так, анализ качества ОРВ является основным механизмом минимизации риска конфликта интересов при проведении оценки органом-разработчиком регулирования. При этом административная сила анализа качества может варьироваться. Главное, чтобы он проводился независимым органом и обязательно до этапа утверждения регулирования. Таким образом, анализ качества играет ключевую роль в данном процессе и является основной (наряду с методологической поддержкой) обязанностью центрального органа ОРВ.

Обобщенный подход к системе анализа качества ОРВ

Структура анализа качества

Основываясь на сравнительном анализе зарубежных подходов, и принимая во внимание существующую процедуру проведения ОРВ в России, мы выделили в системе анализа качества ОРВ 6 модулей, каждый из которых направлен на оценку какого-то конкретного параметра качества ОРВ.

Данные модули могут объединяться в необходимой конфигурации и формировать оценочные тесты качества ОРВ. Составленные тесты должны варьироваться по уровню сложности. В зависимости от содержащихся в тесте модулей, он должен иметь четко определенный механизм проведения анализа.

Наиболее оптимальной группировкой модулей, на наш взгляд, будет их объединение в четыре теста: (1) тест полноты заключений, (2) тест качества заключений, (3) углубленный тест качества ОРВ и (4) тест результативности ОРВ. Рассмотрим содержание каждого теста подробнее.

Тест полноты заключения ОРВ включает в себя два модуля оценки полноты заключения ОРВ: проверку наличия требуемых элементов заключения и проверку использования требуемых аналитических инструментов. Тест направлен на оценку качества заключения об ОРВ. Основная цель данного теста – определить, содержит ли анализируемый текст заключения ОРВ все требуемые элементы и присутствует ли описание применения основных аналитических инструментов. Преимуществом теста полноты заключения является максимальная простота его проведения, минимальный объем ресурсов, необходимый для анализа. Недостатком теста является то, что как самостоятельный инструмент анализа качества, он не несет в себе особой ценности, так как не направлен на оценку содержания, написанного в заключении. Данный тест нужно использовать только совместно с другими, более сложными тестами.

Таким образом, рассматриваемый тест является первым, базовым этапом анализа качества ОРВ. Тест должен проводиться абсолютно для всех заключений об ОРВ. Тест полноты позволяет сразу же отсеять заключения с наиболее грубыми нарушениями. В связи с легкостью и быстротой его проведения, он может проводиться центральным органом ОРВ без привлечения внешних экспертов на этапе до принятия решения относительно дальнейшей судьбы предполагаемого регулирования (ex-ante).

Исходя из лучшего зарубежного опыта, наиболее удобным механизмом проведения теста полноты заключений является использование чек-листов.

Второй тест, тест качества заключения ОРВ, состоит из трех модулей:

- модуль оценки качества каждого элемента заключения (на уровне базовой оценки качества);
- модуль оценки качества применяемых аналитических инструментов (на уровне базовой оценки качества);
- модуль оценки достоверности информации (в части оценки достоверности используемой информации).

Данный тест проводится после первого теста и нацелен на базовую оценку качества тех элементов заключения и аналитических механизмов, которые были зафиксированы в заключении по результатам теста полноты заключения. Его основная задача – сформировать у контролирующей стороны однозначное мнение о качестве и достоверности содержания заключения ОРВ, выявить слабые части заключения ОРВ либо явные противоречия в логике документа. Фактически, он должен оценивать соответствие каждого элемента заключения базовым требованиям к качеству, обычно описанным в Руководствах по проведению ОРВ. При этом, данный тест должен быть составлен таким образом, чтобы позволять быстро, с минимальными затратами и, желательно, силами сотрудников центрального органа ОРВ оценить весь массив заключений, прошедших фильтр первого теста. Тест должен проводиться ex-ante, и именно на основе его результатов в обычных случаях должна формироваться итоговая позиция центрального органа ОРВ относительно качества проведенной оценки регулирующего воздействия. Таким образом, при разработке дизайна теста качества заключения перед разработчиками стоит задача нахождения оптимального соотношения между глубиной оценки качества заключения и временем, которое необходимо для его проведения.

В общем случае, тест должен быть достаточно подробным, чтобы снять все сомнения и сформировать четкую позицию относительно качества большинства заключения, но не требовать проведения серьезного научного исследования для получения результатов. Обычно для проведения теста качества заключения разрабатывается подробный оценочный лист со специальным набором вопросов по каждому из модулей анализа. Тест качества заключений может также применяться внешним органом для итогового оценивания эффективности деятельности центрального органа ОРВ за отчетный период.

Для небольшого же (в идеале) числа заключений необходима более тщательная проверка. Для них и проводится третий тест предлагаемой системы оценки качества оценки – углубленный тест качества ОРВ.

Углубленный тест качества ОРВ представляет собой индивидуальный анализ заключения об ОРВ, результатом которого является своеобразная рецензия на заключение, включающая следующие модули:

- углубленная оценка качества элементов заключения;
-углубленная оценка качества применяемых аналитических инструментов;
-оценка достоверности информации;
-экспертная оценка достоверности выводов и результатов ОРВ.

Цель углубленного теста качества – осуществление экспертного анализа достоверности и правдивости используемой в процессе оценки регулирующего воздействия информации, принятых допущений и описанных в заключении прогнозируемых результатов регулирования. Фактически, углубленный тест представляет собой анализ содержания имеющегося заключения, проведение дополнительных исследований влияния регулирования (от проведения дополнительных публичных консультации вплоть до проведения мини-ОРВ) независимым пулом экспертов и формирование их собственной позиции относительно качества и достоверности первоначального заключения.

Несмотря на сложность и длительность данного теста, он необходим на этапе ex-ante, до принятия решения относительно анализируемого регулирования. Это исходит из роли теста в системе анализа качества ОРВ – только данный тест может выявить на стадии разработки политики истинное качество заключения об ОРВ. Принимая во внимание важность проведения данного теста, а также небольшое количество заключений, которые должны подпадать под такой анализ, мы считаем целесообразным при принятии решения о его проведении расширять период проведения анализа качества ОРВ на определенное (фиксированное) время.

Таким образом, три описанных выше теста формируют систему ex-ante анализа качества ОРВ в стране. Первый тест является базовой проверкой всех заключений на их полноту, второй – основным инструментом оценки содержания заключения и достоверности используемой в нем информации, третий – дополнительным, сложным инструментом анализа, применяемым в форс-мажорных ситуациях. Четвертый же тест, тест результативности ОРВ, направлен на ретроспективную оценку эффективности использования ОРВ в стране.

Тест результативности ОРВ включает в себя следующие модули:

- модуль оценки достоверности полученных результатов ОРВ (через сравнение прогнозов влияния регулирования, сделанных на этапе ОРВ, с реальным влиянием регулирования);
- модуль оценки влияния ОРВ на принятие решения о регулировании.

Использование теста результативности ограничено серьезным недостатком, а именно запретительной дороговизной проведения ex-post оценки воздействия в том случае, если такая оценка проводится только для анализа качества ОРВ. Проведение теста результативности целесообразно только в том случае, если в стране разработан и функционирует механизм ex-post оценки влияния регулирования, и такая оценка проводится для регулирования, по которому существует заключение об ОРВ. Тогда сравнение прогнозов получается побочным, но оттого не менее важным результатом ex-post анализа. Проведение же ex-post оценки только ради того, чтобы ретроспективно оценить качество работы системы подготовки ОРВ в стране, не дает столь ощутимых выгод, позволяющих оправдать возникающие издержки.

В том же случае, если сравнение результатов ex-ante и ex-post анализа невозможно, а внешняя оценка деятельности центрального органа ОРВ предусмотрена процессом проведения ОРВ (как, например, в Великобритании), тогда для внешней ex-post оценки качества может использоваться тест качества заключения (для всех или нескольких заключений, подготовленных в отчетный период, в зависимости от предполагаемой глубины оценки).

Подводя итог, можно отметить, что представленная структура, состоящая из четырех тестов различного уровня сложности, отвечает всем требованиям к гибкости и вариативности механизма анализа качества ОРВ, позволяет охватить весь спектр готовящихся заключений и относительно быстро, без необоснованной задержки законотворческого процесса, сформировать достоверные выводы о качестве проведенного анализа. Кроме того, проведение теста результативности ОРВ в возможном сочетании с тестом качества заключения позволяет осуществлять ex-post анализ качества ОРВ или контроль деятельности центрального органа ОРВ внешним проверяющим органом. Агрегированная таблица характеристик каждого теста представлена в Таблице 1.

Таблица 1. Основные характеристики тестов качества ОРВ.

	Тест полноты заключения	Тест качества заключения	Углубленный тест качества ОРВ	Тест результативности ОРВ
Содержание	1. Проверка наличия требуемых элементов заключения 2. Проверка использования требуемых аналитических инструментов в процессе проведения ОРВ	1. Базовая оценка качества элементов заключения 2. Базовая оценка качества применяемых аналитических инструментов 3. Оценка достоверности источников информации	1. Углубленная оценка качества 2. Углубленная оценка качества применяемых аналитических инструментов 3. Оценка достоверности источников информации 4. Оценка достоверности информации 5. Экспертная оценка достоверности выводов и результатов ОРВ	1. Сравнение прогнозов влияния регулирования с реальным влиянием регулирования 2. Оценки влияния результатов ОРВ на принятие решения о регулировании
Метод проведения	Чек-лист	Оценочный лист	Индивидуальный анализ заключения; экспертная оценка заключения (peer-review)	Общий анализ результатов ОРВ
Субъект проведения	Центральный орган ОРВ	Центральный орган ОРВ/внешний орган	Центральный орган ОРВ/привлеченные эксперты	Внешний орган
Объект анализа	Все заключения	Заключения, прошедшие первый тест	Заключения, прошедшие второй тест, по которым есть необходимость в углубленном анализе	Общая статистика использования механизма ОРВ/результаты ОРВ и результаты ex-post оценки регулирования
Время проведения анализа	Ex-ante	Ex-ante/ex-post	Ex-ante	Ex-post

Дизайн тестов анализа качества ОРВ

Начнем с рассмотрения теста полноты заключений. Дизайн этого теста во всех странах одинаков: берется структура заключения об ОРВ, описанная в Порядке подготовки ОРВ (Руководстве), выделяются основные элементы (обычно не больше 10) и создается простой чек-лист с перечислением этих элементов. В случае наличия хоть какого-то упоминания о данном элементе в анализируемом документе, в чек-листе отмечается плюс, в случае отсутствия -минус.

В России, как было уже отмечено выше, пока официального руководства по проведению предварительной оценки влияния нормативно-правовых актов (НПА) еще не принято, хотя до конца 2011 г. . в рамках НИРа в интересах Минэкономразвития РФ . соответствующие методические рекомендации должны быть разработаны экспертами. Единственное, от чего в настоящее время можно отталкиваться, – перечисление основных элементов оценки в Положении о порядке подготовки заключений об оценке регулирующего воздействия, утвержденном Приказом Минэкономразвития №398 от 31.08.2010. В соответствии с пунктом 12 Положения углубленная оценка регулирующего воздействия должна включать в себя установление:

- целей предусмотренного проектом акта правового регулирования;
- проблемы, на решение которой направлено регулирование;
- основных групп участников общественных отношений, интересы которых будут затронуты регулированием;
- издержек и выгод основных групп от правового регулирования;
- рисков не-достижения целей правового регулирования;
- расходов бюджетов бюджетной системы.

Представленный перечень в общих чертах повторяет содержание стандартных западных заключений об ОРВ, однако для целей анализа качества мы его переструктурируем. Так, первая переменная оценочного листа, описание проблемы, полностью соответствует пункту Положения. Вторая переменная, описание регулирования, включает в себя «цели предусмотренного проектом акта правового регулирования», но кроме того подразумевает наличие краткого описания регулирования. Третья переменная, влияние регулирования, содержит «основные группы участников общественных отношений, интересы которых будут затронуты регулированием», а также подразумевает описание позитивного и негативного влияния на каждую группу. Оценка влияния регулирования содержит «издержки и выгоды основных групп от правового регулирования», а также «расходы бюджетов бюджетной системы». При этом для целей данного теста не имеет значения, каким образом проведена оценка: с использованием количественных или качественных методов. Представление альтернатив регулирования, на первый взгляд, отсутствует среди требований к углубленному заключению, перечисленных в Положении. Однако требование по описанию «рисков не-достижения целей правового регулирования» фактически представляет собой анализ альтернативы «статус-кво». Таким образом, как минимум одна альтернатива в тексте Заключения должна присутствовать. Необходимость проведения публичных консультаций, наличие или отсутствие которых показывает одноименная переменная в чек-листе, также прописана в Положении (Пункт 14 Положения о Порядке подготовки заключений об оценке регулирующего воздействия). Наконец, последняя переменная, выводы оценки, оценивает наличие в заключении каких-либо выводов относительно проанализированного регулирования и рекомендации относительно рассматриваемого проекта НПА (принять, принять после доработки, отвергнуть).

Таким образом, можно с уверенностью утверждать, что, несмотря на отсутствие принятого Руководства по проведению ОРВ, тест полноты заключения направлен на выявление наличия или отсутствия в заключении об ОРВ только тех элементов оценки, которые официально включены в порядок проведения углубленной ОРВ Департамента оценки регулирующего воздействия Минэкономразвития РФ.

Тест качества заключений обычно структурно повторяет первый базовый тест, просто расширяя и углубляя анализ качества каждого элемента. Элементы теста качества присутствуют практически во всех системах анализа качества ОРВ. В процессе разработки дизайна теста нами были рассмотрены официальные оценочные листы Великобритании, Канады и ЕС, а также оценочные листы, представленные в работах итальянца Андреа Ренды (Renda, 2006), американца Роберта Хана (Hahn, 2000) и британца Колина Киркпатрика (Kirkpatrick, 2004).

Для собственного теста качества заключений мы выбирали только такие критерии, которые требовали однозначного ответа, могли быть оценены силами сотрудников центрального органа и исключали возможность двоякой оценки, то есть не несли в своей формулировке оценочного суждения. Например, этим критериям соответствует формулировка «Модель расчета издержек/выгод описана», но не формулировка «Модель оценки расчета издержек/выгод детально описана, соответствует анализируемой сфере и позволяет с высоким уровнем точности рассчитать все выявленные издержки».

В первом случае мы отмечаем, что для расчетов использовалась специально разработанная модель, что сигнализирует об определенном качестве расчетов. Как минимум, мы можем быть уверены, что итоговые цифры взяты не произвольно, а имеют определенную связь с первичными статистическими данными. Поэтому наличие модели с определенным уровнем допущения (достаточным для данного теста) является одним из критериев качества переменной «оценка влияния регулирования».

Во втором случае формулировка критерия оставляет у оценщика множество вопросов: как определить «соответствие анализируемой сфере», что понимается под «высокой точностью» расчета? Либо нужно давать какие-то рекомендации для ответа на данные вопросы, что на порядок увеличивает сложность теста, либо оставлять все на откуп субъективному мнению сотрудника, проводящего анализ качества, что на порядок снижает степень достоверности и объективности теста. Поэтому более рационально оставлять такие критерии качества для углубленного теста качества ОРВ.

Исходя из таких принципов отбора критериев анализа качества был сформирован чек-лист для проведения теста качества заключений, состоящий из 8 частей. Семь из них повторяют структуру теста полноты заключений, а восьмая (дополнительная) часть направлена на оценку ясности текста заключения и оценку достоверности информации, используемой в заключении. Структура каждой части чек-листа представлена в Таблице 2.

Таблица 2. Типовой чек-лист оценки качества Заключения

1.Описание проблемы
1.1. Проблема, на решение которой направлено действие проекта НПА, описана
1.2. Доказательства наличия проблемы (правовые основания, мнение отраслевых экспертов, аналитические исследования) представлены
1.3. Необходимость вмешательства государства (введение нового государственного регулирования) доказана
2. Описание регулирования
2.1. Цели и задачи регулирования описаны
2.2. Краткое содержание регулирования, описанного в проекте НПА, представлено
2.3. Связь между внедрением регулирования (то есть достижением целей и задач) и решением описанной проблемы зафиксирована
3. Описание влияния регулирования
3.1. Основные целевые группы, которые подпадают под влияние, выявлены и описаны
3.2. Позитивные и негативные эффекты влияния определены и описаны для каждой целевой группы и для существенных процессов (конкуренция, состояние окружающей среды и т.п.)
4. Оценка влияния регулирования (проводится для предлагаемого регулирования и всех представленных в Заключении альтернатив)
4.1. По каждой целевой группе:
4.1.1. Качественная оценка издержек проведена
4.1.2. Количественная оценка издержек проведена
4.1.3. Качественная оценка выгод проведена
4.1.4. Количественная оценка выгод проведена
4.2. Все издержки/выгоды разделены на единовременные и постоянные
4.3. Источники данных для количественной оценки издержек/выгод указаны
4.4. Модель расчета издержек/выгод описана (в случае использования)
4.5. Суммарная оценка издержек/выгод представлена.
5. Альтернативы регулирования
5.1. Альтернатива «статус-кво» описана
5.2. Другие варианты регулирования представлены
5.2.1. Если да, основные регуляторные различия между альтернативами описаны
5.3. Оценка влияния регулирования для альтернативного варианта проведена
5.3.1. Если да, проводим анализ качества этой оценки (часть 4 чек-листа)
5.4. Сравнение альтернатив проведено, сделан вывод об оптимальности представленного в проекте НПА варианта регулирования
6. Публичные консультации
6.1. Публичные консультации проведены
6.2. Основные стороны, участвующие в консультациях, перечислены
6.3. В консультации участвовали представители всех целевых групп
6.3.1. Если нет, указана причина их отсутствия
6.4. Вклад публичных консультаций в проведение ОРВ отражен, а именно:
6.4.1. Описано, чьи мнения были учтены и в какой степени
6.4.2. Описано, чьи мнения не были учтены и почему
7. Ясность текста заключения
7.1. Объем заключения не превышает 25-30 страниц
7.2. Заключение структурировано, разделы документа «отражают» основные этапы ОРВ
7.3. Представленные таблицы и графики подробно пояснены в тексте
7.4. Дана расшифровка всем специальным терминам, моделям и концепциям, использованным в заключении
8. Выводы
8.1. Результаты анализа издержек/выгод обобщены
8.2. Определено, решит ли предложенное регулирование поставленные перед ним задачи
8.3. Сделан вывод относительно обоснованности регулирования

Ниже будет показано, как два разработанных теста анализа качества ОРВ были использованы нами для анализа заключении об ОРВ, подготовленных Департаментом ОРВ Минэкономразвития РФ.

Качественный анализ заключений об ОРВ

Данный раздел статьи базируется на исследовании, которое проводилось в марте 2011 г. одним из соавторов статьи, А.Н. Беляевым, в рамках мини-проекта Всемирного Банка, когда для анализа качества департаментом ОРВ Минэкономразвития РФ было предоставлено три заключения об ОРВ в отношении следующих проектов нормативных правовых актов:

- На проект Федерального закона «О ветеринарии» -Заключение от 12.01.2010 г. №71-ОФ;
- На проект Федерального закона «О сохранении осетровых рыб и регулировании оборота продукции из них» -Заключение от 04.02.2011 г. №1857-ОФ;
- На проект Постановления Правительства Российской Федерации «О внесении изменений в Правила перевозок пассажиров и багажа автомобильным транспортом и городским наземным электрическим транспортом» -Заключение от 20.10.2010 г. №19720-АП.

С учетом анализа лучшего опыта, были сформулированы следующие направления оценки качества подготовленных заключений об ОРВ:

1. Анализ состояния исходной проблемы;
2. Анализ основных положений, целей и задач введения НПА;
3. Анализ прогнозных эффектов НПА для различных целевых групп;
4. Монетизированная оценка эффектов НПА;
5. Заключение о целесообразности принятия НПА;
6. Проведение публичных консультаций.

Исследование показало, что проанализированные заключения об ОРВ следуют различной структуре и логике изложения, внутри одного заключения ОРВ зачастую одни и те же вопросы рассматриваются во многих местах заключения; в проанализированных заключениях ОРВ отсутствуют тематические подразделы; неочевидна логика изложения материала. Это ведет к сильному ухудшению читабельности и восприятия исходных посылок и заключений – даже при включении в заключение ОРВ в достаточном объеме необходимой информации и выводов.

В то же время, оценка регулирующего воздействия представляет собой социальноэкономическое исследование, дающее ответ на строго определенные и неизменные исследовательские вопросы, и тем самым имеющее определенную структуру изложения.

Примеров такой структуры заключения об ОРВ может являться подход Европейской Комиссии (отражающий алгоритм policy cycle):

1. Описание проблемы, в целях решения которой вводится НПА.
2. Определение целей, которые должны быть достигнуты введением регулирования.
3. Описание основных регуляторных вариантов достижения целей.
4. Справка о ходе и результатах публичных консультаций.
5. Проведение анализа, расчетов и сравнение различных регуляторных вариантов достижения цели.
6. Дорожная карта отслеживания исполнения акта и оценки его эффективности.

В проанализированных заключениях об ОРВ отсутствует внятное заключение о целесообразности либо нецелесообразности введения нормативного акта (в том числе в связи с тем, что не производится сравнение издержек и выгод «до» и «после» введения нормативного правового акта). Указанная ситуация выхолащивает смысл проведения оценки регулирующего воздействия, так как «качественная» аргументация «за» или «против» нормативного акта может быть разработана любым экспертом соответствующей отрасли. Одновременно, оценка целесообразности не может проводиться произвольно или же исходить исключительно из баланса сравнения издержек и выгод.

Проанализированные заключения об ОРВ включают достаточно существенные разделы, посвященные анализу юридической техники представленных НПА и выявлению противоречий в нормативной правовой базе, не разрешенных проектом НПА. Такой анализ выходит за рамки целей и задачи ОРВ (выявление социально-экономических последствий введения НПА), частично пересекается с компетенцией иных органов государственной власти и/или структурных подразделений Минэкономразвития России. Кроме того, во многих случаях проведенный анализ недостаточно точен, что может стать поводом для критики института ОРВ в целом и деятельности Департамента ОРВ в частности.

Представленные заключения об ОРВ написаны достаточно сложным юридическим языком, в то же время, назначением ОРВ является выявление и коммуникация последствий введения НПА широкому заинтересованному кругу сторон. Излишняя сложность текста (при отсутствии внятной структуры) затрудняет понимание заключений ОРВ бизнесом (в особенности малым и средним), журналистами, которые могли бы – в связи с принципиальным общественным характером заключений об ОРВ – обеспечить широкую общественную поддержку деятельности на поле оценки регулирующего воздействия.

Предлагается заменить юридически-техническую экспертизу описанием проблем и последствий в рамках общеупотребительного языка правотворчества (англ. -plain legal writing).

Все проанализированные заключения об ОРВ включают в себя выводы о том, что представленные проекты НПА содержат существенные риски создания административных барьеров. Также существенное число выводов проанализированных заключений об ОРВ основано на предпосылке низкого качества правоприменения и необходимости учета этого при анализе последствия введения нормативного правового акта. В то же время ни в одном из заключений об ОРВ не дана экономическая оценка соответствующих потерь, а ее проведение связано с признанием фактической стоимости коррупционных практик и недостатков системы правоприменения. В связи с этим, рекомендуется определить и утвердить принципы проведения ОРВ в следующих отношениях:

- Учет либо не-учет при проведении анализа издержек (рисков) коррупционного бремени на субъекты предпринимательства.
- Учет либо не-учет при анализе эффективности предлагаемых механизмов фактически сложившихся практик и эффективности правоприменения по различным направлениям.

Для всех проанализированных ОРВ характерно либо полное отсутствие, либо недостаточное качество проведенных расчетов издержек и выгод введения НПА, что связано с отсутствием необходимой исходной информации. В целях решения указанной проблемы надо обеспечить формирование внутренней базы данных исходной информации для расчетов ОРВ.

С учетом характера ряда оцениваемых нормативных актов (например, проект Федерального закона «О сохранении осетровых рыб и регулировании оборота продукции из них») в заключениях об ОРВ можно также рекомендовать вводить в НПА механизмы ограниченного действия во времени – либо определенный срок, либо наступление условий (англ. -sunset legislation). Данные механизмы правовых экспериментов в настоящее время в Российской Федерации практически не применяются, однако, являются частью концепции формирования «умного регулирования» ЕС.

Количественный анализ качества заключений Департамента ОРВ Минэкономразвития РФ

В данной части статьи описаны результаты теста полноты заключений и теста качества заключений, подготовленных Департаментом ОРВ Минэкономразвития РФ. Были проанализированы все заключения об ОРВ, подготовленные и размещенные на официальном сайте Департамента за первый год его работы: с момента размещения первого заключения (17 сентября 2010 года) по 17 сентября 2011 года. Всего за это время было размещено 194 заключения об ОРВ (хотя, по утверждениям представителей Департамента, за этот период было подготовлено на несколько десятков заключений больше). Однако мы считаем правильным оценивать именно тот объем заключений, который был «открыт» для общественности.

Перед рассмотрением результатов проведенного анализа необходимо более подробно остановиться на одной особенности проведения ОРВ в России. Согласно пункту 6 Положения о порядке подготовки заключений об оценке регулирующего воздействия, утвержденного Приказом Минэкономразвития №398 от 31.08.2010 г., «при подготовке заключения об оценке регулирующего воздействия проводятся:

а) предварительная оценка регулирующего воздействия акта;
б) углубленная оценка регулирующего воздействия проекта акта и публичные консультации по нему».

Предварительная оценка, согласно пункту 9 Положения, рассматривает проект акта на предмет того, подпадает ли он в принципе под процедуру проведения ОРВ, а также «предусматривает ли проект акта положения, которыми изменяется содержание прав и обязанностей субъектов предпринимательской и иной деятельности». По результатам предварительной ОРВ должно быть определено, приведет ли предлагаемое регулирование к возникновению у сторон регулирования «существенных расходов при осуществлении предпринимательской и иной деятельности» или «невозможности исполнения возложенных на них обязанностей».

В случае, если проект акта подпадает под процедуру ОРВ, и по результатам предварительной оценки ухудшения положения сторон регулирования не выявлено, готовится заключение. В нем делается вывод «о том, что проект акта не предусматривает новое правовое регулирование» и не оказывает отрицательного влияния ни на одну из затрагиваемых регулированием сторон.

Из рассмотренных нами 194 заключений половина (97 заключений) была подготовлена по итогам предварительной ОРВ (см. Рис. 1).

В связи с существующим порядком подготовки заключений, заключения по итогам предварительной ОРВ не содержат никаких элементов оценки, кроме констатации вывода об отсутствии отрицательного влияния на какую-либо из сторон регулирования. В связи с этим, мы приняли решение не учитывать долю «предварительных» заключений при анализе. Все равно они по всем переменным чек-листа показывают отрицательные результаты и ведут к почти двукратному ухудшению итогов анализа. Таким образом, для формирования выводов мы рассматривали результаты анализа только 97 полновесных заключений об ОРВ, подготовленных Департаментом ОРВ Минэкономразвития, начиная с сентября 2010 года.

Рис. 1. Количество заключений, подготовленных Департаментом ОРВ МЭР РФ по итогам предварительной и углубленной ОРВ

Результаты теста полноты заключений

Тест полноты заключений показал сильный разброс в наличии различных элементов заключений (см. Рис. 2).

Рис. 2. Результаты теста полноты заключения

Наилучшие результаты -у описания регулирования и упоминания проведения консультаций. В 93% заключений описывается содержание регулирования. Хотя одноименный раздел обычно в заключении отсутствует. Вместо этого читатель постепенно получает информацию о регулировании в процессе рассмотрения того или иного недостатка проекта акта. Это не позволяет получить цельную картину предлагаемого регулирования, снижает ясность текста. Тем не менее, формально краткое описание содержания регулирования в большинстве заключений приводится.

В 96% заключений упоминается процедура проведения публичных консультаций. Для целей данного теста мы фиксировали наличие элемента даже в том случае, если в заключении просто упоминалось, что публичные консультации были проведены – без каких-либо дальнейших пояснений и описания результатов процедуры. Последняя углубленная ОРВ без публичных консультаций была описана в феврале (Заключение об оценке регулирующего воздействия на проект приказа Минсельхоза России «Об утверждении Административного регламента исполнения Министерством сельского хозяйства Российской Федерации государственной функции по принятию решения об установлении ограничительных мероприятий (карантина)»).

Чуть меньшее количество заключений (86%) содержит выводы. Как и в случае с содержанием регулирования, в тексте нет конкретного раздела, посвященного итоговым выводам и итоговой оценке проекта акта. Вместо этого в процессе рассмотрения различных положений регулирования даются промежуточные выводы. Они обычно гласят, что та или иная позиция проекта акта может или не может привести к необоснованным издержкам различных сторон, подпадающих под влияние регулирования. В конце документа дается общая формулировка, определяющая, приводит или не приводит регулирование к необоснованным издержкам. Наличие в тексте такой формулировки являлось индикатором того, что выводы в заключении присутствуют.

Влияние регулирования описано в 51% случаев. Такой высокий процент обусловлен тем, что мы сознательно положительно оценивали даже те случаи, где описывалось влияние какого-то аспекта регулирования хотя бы для одной целевой группы. При более жестком подходе итоговая цифра стремилась бы к нулю.

Хуже обстоит дело с оставшимися тремя переменными чек-листа: описанием проблемы, оценкой регулирования и анализом альтернатив.

Проблема, на решение которой направлен проект регулирования, описывается только в 43% заключений. При этом в большинстве случаев оценщики переносят (это указывается в тексте заключения) в заключение описание проблемы из пояснительной записки к проекту акта, предоставленной органом-разработчиком регулирования. Неизвестно, почему оценщики не прилагают собственных усилий для идентификации проблемы, на которую направлено регулирование или не просят экспертов определить проблему в процессе проведения публичных консультаций. Сложно представить, как без понимания проблемы можно качественно оценить содержание регулирования.

С другой стороны, как отмечал 24 мая 2011 г. тогдашний директор департамента ОРВ А.И. Херсонцев во время выступления в РИА «Новости» на открытом заседании экспертной группы №4 «Укрепление различных институтов. Обеспечение стабильности условий собственности и развития конкуренции, стимулирование малого предпринимательства» по обновлению «Стратегии-2020», посвященной развитию механизмов ОРВ в России, часть проектов актов, поступающих в департамент ОРВ для оценки, не направлены на решение какой–бы то ни было проблемы, а просто обеспечивают возможность реализации органом-разработчиком полномочий, уже возложенных на него принятыми нормативно-правовыми актами. В качестве примера он приводил проект акта, утверждающего формат отчетности, которую необходимо готовить для исполнения требований по уже принятому регулированию. На наш взгляд, даже в указанных случаях возможно и необходимо описывать проблему регулирования, на решение которой направлен проект НПА (например, отсутствие необходимых форм в данном примере).

Хоть какая-то оценка влияния регулирования дается в 36% заключений. Данная цифра была получена с использованием максимально лояльного критерия. Мы отмечали наличие оценки регулирования в тех случаях, когда хотя бы для какой-то части регулирования и относительно хотя бы одной целевой группы приводились качественные или количественные расчеты. Если в заключении не просто констатировалось, что та или иная норма влияет на ту или иную целевую группу отрицательно или положительно, а хотя бы грубо описывалось, в каком виде это влияние выражается (например, необходимость прохождения процедуры сертификации не менее двух раз в пять лет), мы фиксировали наличие оценки влияния.

Наконец, наиболее проблемная зона заключений об ОРВ – описание альтернатив регулирования. Всего в 7% заключений были описаны иные варианты регулирования, отличные от варианта, предлагаемого органом-разработчиком. Это несколько неожиданный результат, так как обычно в заключении об ОРВ фигурирует, как минимум, описание альтернативы «статус-кво». Именно на основе сравнения предполагаемого регулирования с существующим положением вещей делаются выводы относительно обоснованности регулирования. В проанализированных заключениях косвенно сравнение с существующим регулированием происходит, но никакого описания, никакого расчета издержек/выгод для сохранения статус-кво не дается. Мы фиксировали наличие описания альтернатив в случае, когда давалось хотя бы краткое описание статус-кво, или предлагался комплекс мер – вместо или в дополнение к представленному органомразработчиком регулированию.

Таким образом, тест полноты заключений, показал, что с удовлетворительной степенью частоты в заключениях об ОРВ встречается описание содержания и влияния регулирования, упоминаются консультации и представлены выводы. Кроме консультаций, пожалуй, выделенные содержательные части заключения не несут в себе особой ценности. Экономический анализ предлагаемых мер, а также рассмотрение альтернатив регулирования – то, что представляет «добавленную стоимость» ОРВ, выделяет процедуру на фоне других аналитических инструментов – очень слабо представлены в текстах заключений. Самое печальное, что такой вывод можно сделать уже по итогам первого базового теста, даже не знакомясь с содержанием самих расчетов. Обычно их в тексте нет, подавляющее большинство заключений представляют собой сочетание юридического анализа текста с содержательным анализом того, заставляют ли новые нормы делать что-то новое (ведь любая активность – это возникающие издержки). А возникающие иногда выгоды (особенно если они больше относятся к иным от представителей бизнеса целевым группам или являются общественным благом) фиксируются, но никоим образом не измеряются. Оправдывается это тем, что необходимые данные для расчетов не предоставлены органом-разработчиком.

Формальным результатом теста является определение количества заключений, в которых представлены все необходимые части. Повторимся, что тест полноты заключений составлен таким образом, чтобы полностью отражать требования к заключению об ОРВ, сформированному по результатам углубленной процедуры ОРВ. Данные требования прописаны в утвержденном Положении о порядке подготовки заключений об ОРВ.

Таким образом, из 97 углубленных заключений, подготовленных Департаментом за год работы и размещенных на сайте Минэкономразвития РФ² только 3 содержат все требуемые элементы (см. Табл. 1).

Таблица 1. Список заключений Департамента ОРВ Минэкономразвития РФ за первый год работы (2010/2011), успешно «преодолевших» тест полноты заключений

№	Наименование заключения об ОРВ
1.	Заключение об оценке регулирующего воздействия на проект федерального закона «Об обязательном страховании гражданской ответственности за причинение вреда в результате пожара»
2.	Заключение об оценке регулирующего воздействия на проект федерального закона «О карантине растений»
3.	Заключение об оценке регулирующего воздействия на проект постановления Правительства Российской Федерации «О внесении изменений в некоторые постановления Правительства Российской Федерации о Федеральной службе по ветеринарному и фитосанитарному надзору»

По идее, следующий тест, тест качества заключений, можно и нужно проводить по трем заключениям, прошедшим первую ступень отбора. Но так как целью нашего исследования являлся не только анализ качества заключений департамента ОРВ, но и апробирование разработанных методических подходов, мы решили провести второй тест для всех отобранных заключений. Хотя, повторим, для формирования основных содержательных выводов в данном случае достаточно и первого уровня анализа качества.

Результаты теста качества заключений

Как уже отмечалось выше, на семь восьмых структура теста качества заключений повторяет предыдущий тест. Новый, восьмой блок, направлен на оценку ясности теста заключения. Рассмотрим результаты анализа качества заключений для каждого блока.

Первый блок, анализ описания проблемы, состоит из трех критериев качества. Положительная оценка по всем критериям позволяет утверждать, что проблема не только описана, но также доказано ее существование (или ее отсутствие) и обосновано, почему без вмешательства государства не обойтись (либо показано, каким образом можно ее решить без вмешательства государства). Как показывают результаты анализа, только в 9 заключениях (9%) описание проблемы удовлетворяет всем трем критериям (см. Рис. 3). Это в четыре раза меньше, чем результат, продемонстрированный в предыдущем тесте.

Рис. 3. Анализ качества описания проблемы

Второй блок посвящен описанию регулирования. Кроме фиксирования наличия или отсутствия краткого описания регулирования, анализ нацелен на выявление целей и задач регулирования. Кроме того, в заключении должно быть показано, каким образом предлагаемое регулирование решит описанную проблему. Результаты теста показывают, что большинство заключений, включает помимо краткого содержания (в 93% заключений) еще и цели с задачами регулирования (67%) (см. Рис. 4). А вот наличие связи между предлагаемым регулированием и решением проблемы, на которое это регулирование направлено, встречается значительно реже – в 24% случаев. На наш взгляд, это в первую очередь связано с недостаточными усилиями по выявлению проблемы, на которую должно быть направлено регулирование.

Рис. 4. Анализ качества описания регулирования

Третий блок, анализ качества эффектов влияния (см. Рис. 5), состоит всего из двух показателей – описания эффектов влияния и четкого определения основных целевых групп, которые подпадают под это влияние. Если к оценке по первому критерию мы подходили достаточно лояльно (сознательно оценивали положительно даже те случаи, где описывалось влияние хотя бы какого-то аспекта регулирования хотя бы для одной целевой группы, затрагиваемой регулированием), то для целевых групп использовался более строгий порядок. Для получения положительного результата необходимо, чтобы границы целевой группы были каким-либо образом очерчены (например, выделена сфера деятельности для бизнеса, уровень бюджета для госрасходов или определенная социальная группа для населения). При этом мы не требовали от текста, чтобы в нем в обязательном порядке приводилась количественная оценка состава участников группы. Тем не менее, целевые группы были выделены только в трети заключений, оба фактора нашли свое отражение в 28% заключений.

Рис. 5. Анализ качества описания влияния регулирования

Изначально предполагалось, что элементы следующего блока (см. Рис. 6), направленного на анализ качества оценки влияния регулирования, будут оцениваться для каждой целевой группы отдельно. Однако в силу слабой представленности оценки издержек/выгод в заключениях, нами было принято решение, что для идентификации переменной достаточно наличия в тексте оценки хотя бы какой-то части регулирования для любой из целевых групп. Такая частичная количественная оценка издержек присутствует в 30 заключениях (31%).

Рис. 6. Анализ качества оценки влияния регулирования

Даже при таком лояльном подходе, мы выявили всего четыре заключения, где давалась количественная оценка выгод от внедрения регулирования. Низкий показатель сигнализирует о серьезном недостатке процесса проведения ОРВ – игнорировании выявления выгод от потенциального регулирования. Все усилия оценщиков концентрируются на описании возникающих издержек для представителей бизнеса (как мы уже отмечали), тогда как явные положительные эффекты регулирования только фиксируются, но не происходит никакой попытки вычисления выгод и их сравнения с издержками. Например, проект акта вводит ограничения на максимальный вес грузовых машин, осуществляющих перевозки по России. ОРВ регулирования выявляет затраты бизнеса, связанные: со снижением максимального объема перевозимых товаров; с нечетко прописанной процедурой взвешивания машин; даже с существующей погрешностью весов, используемых для такого взвешивания в России. Положительное влияние регулирования на состояние дорог, на период их износа при этом никак не оценивается. Зачастую такие заключения выглядят однобокими и не позволяют доверять результатам оценки.

Очень редко (в 2% случаев) в заключениях встречается и разделение издержек на единовременные и постоянные издержки. Выявление типов издержек не является сложной задачей, но существенно помогает, например, при разработке компенсационных мер для наиболее «пострадавших» от регулирования целевых групп. Чуть лучше обстоит дело с описанием источников данных. В 12% заключений указывается, откуда были взяты данные для расчетов. В остальных случаях либо вообще не указываются источники расчетов, либо дается расплывчатая формулировка (цифры получены по расчетам экспертов или бизнеса без возможности какой-либо идентификации источника). Выявленные в 10% заключений «модели расчета издержек», указывают только на наличие четкого описания уравнения для расчета. Никакие сложные модели для расчетов в заключениях не используются. Наконец, показатель «суммарная оценка издержек/выгод» в нашем случае сигнализирует о наличии объединенной оценки издержек.

К сожалению, ни одно заключение не удовлетворяет всем критериям качества оценки влияния регулирования. Исходя из общего уровня проведения оценки влияния, нами было принято решение, что все заключения, где (1) присутствует количественная оценка издержек или выгод, а также (2) указаны источники информации, используемой для их расчета, были признаны (по этому блоку) отвечающими требованиям качества. Таких заключений насчитывается 10.

Анализ качества представления в заключениях альтернатив регулирования показал удовлетворительные результаты для одного из семи заключений, где эти альтернативы присутствуют (см. Рис. 7).

Рис. 7. Анализ качества выявления альтернатив регулирования

Обычно полным считается такое представление альтернатив, где рассмотрено несколько опций (среди которых обязательно должна быть опция «статус-кво»); показано различие между вариантами; для каждой опции проведена оценка влияния; и на основании проведенного анализа представлено сравнение альтернатив. Четыре заключения показывают положительные результаты по трем из пяти критериев. Полученный результат еще раз подтверждает, что сотрудники Департамента при проведении ОРВ, как правило, не акцентировали свое внимание на разработке и анализе альтернатив, хотя во всем мире основной выигрыш от ОРВ связан с выявлением новых, менее затратных вариантов регулирования в процессе проведения ОРВ. Если в России ОРВ больше направлено на разрешение дилеммы «принимать/не принимать акт НПА», то за рубежом ОРВ пытается найти наиболее эффективный вариант достижения целей регулирования («принимать, но наиболее эффективный»).

Оценка качества проведения консультаций базируется на том, что недостаточно просто провести публичные консультации. Необходимо, чтобы в них участвовали представители всех заинтересованных групп, а результаты публичных консультаций были отражены в заключении об ОРВ: основные позиции должны быть либо приняты, либо должно быть объяснено, почему они не учитываются. Как уже указывалось выше, тест полноты заключений показал высокую долю заключений, в процессе подготовки которых консультации проводились. Однако их качество оставляет желать лучшего (см. Рис. 8).

В 96% случаев консультации проводились, в 75% заключений перечислены участники этих консультаций. Однако только при подготовке двух заключений (2%) в публичных консультациях участвовали представители всех целевых групп. Это связано с определенной Департаментом стратегией проведения консультаций.

Обычно материалы для консультаций рассылаются представителям четырех крупнейших бизнес-ассоциаций России: Торгово-промышленной палате РФ, Общероссийской общественной организации малого и среднего предпринимательства ОПОРА России, Общероссийской общественной организации «Деловая Россия» и Российскому союзу промышленников и предпринимателей. Предполагается, что эти объединения передадут их компаниям, представители которых являются членами организаций и подпадают под рассматриваемое регулирование. Кроме того, объявление о проведении публичных консультаций вывешивается на сайте Департамента, что позволяет всем заинтересованным сторонам принять участие в консультации.

Рис. 8. Анализ качества проведения публичных консультаций

Как показывает текст подавляющего числа заключений, второй канал привлечения участников публичных консультаций не работает. Что касается самих бизнесассоциаций, то из заключения невозможно определить, какие конкретно компании, входящие в эти ассоциации, давали отзывы на проект регулирования. Таким образом, становится невозможным оценить репрезентативность и степень понимания регулируемой сферы участниками консультаций. Тем не менее, участие всех заинтересованных сторон зависит не только от действий оценщиков, но и от активности представителей этих внешних сторон. Более показательны значения следующего индикатора, а именно отражение результатов публичных консультаций в заключении. Напрямую было описано, чьи мнения учтены и в какой степени только в 7 заключениях (~7%). На наш взгляд, это наиболее значимый из предложенных индикаторов, так как он позволяет выявить наиболее важный результат консультаций -их влияние на итоговую оценку заключения. Таким образом, публичные консультации, которые соответствуют трем из четырех критериев (кроме «участия всех целевых групп»), могут считаться качественными.

С ясностью текстов заключений дело обстоит еще хуже, чем с описанием альтернатив (см. Рис. 9).

Единственный показатель, которому соответствуют абсолютно все заключения, объем текста, абсолютно технический и в случае российских заключений – легкодостижимый (так как наши заключения намного менее содержательные, чем зарубежные). Результаты же остальных трех показателей стремятся к нулю. И если низкие показатели пояснения таблиц и графиков не совсем объективны (так как отнюдь не в каждом заключении искомые таблицы или графики присутствуют), то отсутствие пояснения моделей и (особенно) терминов – очень серьезный недостаток. Заключение об ОРВ – публичный документ. Он должен быть понятен широкому кругу заинтересованных сторон, а не только отраслевым экспертам, погруженным в проблему регулирования. Использование специальной терминологии без хотя бы краткого пояснения ее содержания не позволяет достичь данной цели. По мнению американских экологов Чарльза Алтона (Alton) и Бенджамина Андервуда (Underwood), разработавших перечень требований к тексту заключений об ОРВ с точки зрения их простоты и ясности, заключения об ОРВ должны быть написаны таким образом, «чтобы на их основании и без использования дополнительных источников можно было написать статью в экономическом журнале» (Alton and Underwood, 2003). Отдельно необходимо остановиться на результатах оценки структурированности текста. Формально, часть заключений можно назвать структурированными. Текст разбит на несколько частей, каждая часть имеет собственный подзаголовок. Однако разделение идет не по элементам ОРВ, а по выявляемым в процессе анализа недостаткам написания той или иной части акта.

Рис. 9. Анализ ясности текста заключений об ОРВ

Наконец, анализ выводов показал (см. Рис. 10), что обычно в заключениях все заканчивается констатацией того, приведет ли рассматриваемый проект НПА к необоснованным издержкам или не приведет (есть в 86% заключений).

Рис. 10. Анализ качества выводов в заключениях об ОРВ

При этом выводы относительно того, действительно ли предложенное регулирование может решить поставленные перед ним задачи, даются в среднем лишь в одном из восьми заключений. А такая сугубо техническая процедура, направленная на улучшение восприятия текста, как обобщение результатов анализа издержек/выгод, представление их в одной таблице, была проведена всего в трех заключениях. Мы также решили не учитывать результаты оценки на соответствие последнему критерию и качественными считали те заключения, в которых сделан вывод относительно обоснованности регулирования и одновременно указано, решит ли предложенное регулирование поставленные перед ним задачи. Результат теста по этому блоку – 12% качественных заключений.

Таким образом, тест качества заключений показал, что в среднем только 15% блоков, выявленных в результате теста полноты заключений (см. Рис. 11), представлены в тексте заключений с надлежащим уровнем качества. И это при том, что были выбраны наиболее простые, базовые легкодостижимые критерии качества из тех, что обычно используются в сходных тестах за рубежом. Ни одно из трех заключений, прошедших предыдущий тест, не справилось с тестом качества (даже если не учитывать результаты блоков «Альтернативы» и «Ясность»). Это еще раз наглядно демонстрирует невысокое качество процесса проведения ОРВ в стране. В связи с этим можно утверждать, что внедрение механизма анализа качества в процесс проведения ОРВ необходимо не только в связи с планируемой передачей полномочий по проведению ОРВ на уровень органа-разработчика, но и для улучшения качества готовящихся сейчас заключений об оценке регулирующего воздействия.

Рис. 11. Сравнение результатов теста полноты заключений и теста качества заключений

Выводы

Итак, проведенный анализ показал, что в настоящее время в России механизм ОРВ дефакто все еще находится в пилотной фазе, на стадии «пробы пера» – и именно этим объясняется небольшое количество действительно качественных заключений об ОРВ, подготовленных Департаментов ОРВ Минэкономразвития РФ в первый год существования.

Такой результат не сильно отличает Россию от других стран с переходной экономикой, с ОРВ, «формально» встраиваемой в госуправление (Staronova, 2010), так что потребуются значительные усилия, чтобы «не сорваться» в нижнюю точку U-образной модели, описанной в свое время Скоттом Джекобсом.

Конечно, можно просто понадеяться, что после подготовки пакета методических документов к концу 2011 года и накоплению опыта работы качество заключений постепенно начнет расти. Возможно, будет внедрена та или иная форма мониторинга качества ОРВ как одно из условий дальнейшего развития этого механизма.

Однако в условиях глобальной «конкуренции юрисдикций» Россия просто не имеет 10-15 лет на пошаговое развитие. Необходим прорыв, «революция в умах», и поэтому на уровне отдельного министерства ничего, кроме некоторого улучшения взаимодействия ведомств, добиться вряд ли удастся.

Авторы статьи считают, что на фоне финансово-экономического кризиса надо обратить самое пристальное внимание на то, что в странах ОЭСР еще в 2010 году была провозглашена ориентация на «умное регулирование» (англ. -«smart regualtion»), что является усовершенствованием системы «качественного регулирования» (англ. -«better regulation»). И если «министериальная» система ОРВ была скорее характерна для эпохи better regulation, то подвижка головного органа ОРВ «ближе» к центральному уровню принятия решений, на наш взгляд, отражает тренд smart regualtion.

Напомним, что концепция smart regulation является академической разработкой конца 1990-х гг. -начала 2000-х гг., направленной на преодоление разрыва между сторонниками расширения государственного контроля и надзора, с одной стороны, и сторонниками дерегулирования – с другой; изначально она была сформулирована в области экологической политики (Gunningham, 2004).

Долгое время концепция оставалась частью академических дебатов (критиковалась, дополнялась) и, скорее, находилась в «garbage can», вплоть до «открытия окна возможностей» – вышеупомянутого финансового кризиса 2008-2009 гг. Эксперты подсказали председателю Европейской комиссии Ж.-М. Баррозу (в момент его подготовки к избранию на второй срок) новый, удачный слоган для «ребрендинга» концепции better regulation и усиления ее базового элемента – оценки воздействия, и тем самым -встраивания идеологии «умного регулирования» в Стратегию Европейского Союза до 2020 года.

«Умное регулирование», ядром которого является комплексная система оценки регулирующего воздействия, предполагает интеграцию всех заинтересованных лиц в процессе принятия и реализации решений по государственному регулированию в целях достижения максимальных экономических и общественных выгод при осуществлении государственного вмешательства на всех уровнях государственного управления. Помимо прогнозных расчетов, механизм включает процедуры отслеживания фактического воздействия нормативных правовых актов, ретроспективный анализ эффектов нормативных правовых актов, обязательные публичные консультации, другие формы общественного обсуждения.

Согласно меморандуму Европейской комиссии (октябрь 2010 г.) «умное регулирование» состоит из трех компонентов – (а) комплексной системы оценки регулирующего воздействия на всех этапах государственно-управленческого цикла: от проектирования актов, принятия решений, до ретроспективной расчистки и упрощение действующего законодательства; (б) институтов кооперации исполнительных, законодательных и контрольных органов стран-членов ЕС; (в) систем участия групп интересов и граждан, в том числе с использование ресурсов Web 2.0. (портал «Your Voice for Europe»). Оно также включает требования по использованию понятного и доступного языка нормотворчества.

Еще раз подчеркнем, что четвертым элементом этой системы является переход от "министериальной" организационной модели ОРВ к модели Советов по оптимизации регулирования при центральных органах управления. Это означает, что для улучшения регуляторики уже недостаточно существующих департаментов ОРВ в отдельных министерствах (Цыганков, 2011). Более того, эти Советы в настоящее время координируют свои усилия - как на уровне методических разработок, так и продвижении институтов «умного регулирования».

Таким образом, в ходе институционального проектирования системы «умного регулирования» в России необходимо создать Рабочий орган по улучшению регулирования со статусом Национального совета при Президенте РФ, основными задачами которого будут обеспечение синхронизации развития нормативной правовой базы в экономической сфере с целями и задачами экономической политики, достижение баланса издержек и выгод регулирования предпринимательской деятельности, сокращение неоправданных регуляторных издержек всех адресатов норм, снижение нестабильности «правил игры», постепенное повышение доверия к российским рыночным институтам и привлечение экспертного сообщества к выработке важнейших решений в сфере нормативного регулирования.

К предмету компетенции Нацсовета в области ОРВ авторы считают правильным отнести те группы регуляторных актов, в отношении которых не предполагается проведение в Минэкономразвития России прогнозной ОРВ и/или ретроспективной экспертизы. Это позволит обеспечить более качественную экспертизу масштабных (комплексных) регуляций и привлекать внимание первых лиц государства к наиболее существенным для бизнеса, госорганов и граждан проблемам регулирования.

Не в последнюю очередь, Национальный совет имеет шанс внести решающий вклад в развитие стандартов подготовки заключений об ОРВ согласно лучшим мировым практикам, что в свою очередь повлияет на повышение качества принятия решений на всех уровнях власти и – в долгосрочной перспективе – улучшит положение России в глобальной экономической конкуренции.

Литература

Цыганков Д.Б. Внедрение оценки регулирующего воздействия в Российской Федерации – на пути к «умному» регулированию? / Коллоквиум «Оценивание программ и политик: методология и применение»: сборник материалов, Вып. V // под ред. Д.Б. Цыганкова. М., 2010. C. 214 -237.

Цыганков Д.Б. Опыт работы Национального Совета по контролю норм Германии / Коллоквиум "Оценивание программ и политик: методология и применение": сборник материалов, Вып. VI // под ред. Д.Б. Цыганкова. Москва, 2011. С. 141 -149.

Alton, C.C., P.B. Underwood. Let us make impact assessment more accessible / Environmental Impact Assessment Review. – 2003, Volume 23, Issue 2. – p. 141-153.

Assessing the impact of proposed new policies. Report by the comptroller and Auditor General. National audit office. – London, 2010.

Bizer, K., S. Lechner, M. Fuhr. Improving the Integrated European Impact Assessment?. – Society for Institutional Analysis, University of Gottingen. – 2010. – p. 51.

Dunlop, C.A. “Impact assessment in the EU: the state of art and the art of the state” (Renda), ERA – Forum Number 1. 2006.

DG MARKT Guide to evaluation legislation. – European Commission, Brussels. – 2008.

Delivering high quality Impact Assessments. -Report by the comptroller and Auditor General. National audit office. – London, 2009.

Evaluation of regulatory Impact Assessment compendium report 2003-2004. Report by the comptroller and Auditor General. -National audit office. – London, 2004.

Evaluation of regulatory Impact Assessment 2006-07. Report by the comptroller and Auditor General. -National audit office. – London, 2007.

A Guide to Regulation: second edition. – Office of Regulation Review, Australia. – 2008.

Gunningham, N., P. Grabosky. Smart Regulation Designing Environmental Policy. -Oxford University Press, 2004.

Hahn, R.W., J. K. Burnett. Assessing the Quality of Regulatory Impact Analysis. -AEI-Brookings Joint Center for regulatory studies. – 2000.

HC Committee of Public Accounts, Better Regulation – Making Good Use of Regulatory Impact Assessments, Twenty-Sixth Report of Session 2001-02, HC 682, April 2002.

Impact Assessment Guidelines. -European Commission – SEC(2009)92. – 15.01.2009.

Independent Quality Assurance of Regulatory Impact Statement: Guidance for agencies. – New Zealand Government. – 2010.

Jacobs, S. Current trends in regulatory impact analysis: the challenges of mainstreaming RIA into Policy-making. -The International Trade Center, Washington DC. – 2006. – p. 7.

P. Ladegaard. Measuring RIA quality and performance, in: / ed. by C. Kirkpatrick and D. Parker, Regulatory Impact Assessment: Towards Better Regulation? – Cheltenham: Edward Elgar, 2007. p. 56-71.

Lee, N., C. Kirkpatrick. A pilot study of the quality of European Commission Extended Impact Assessments. – Institute for Development Policy and Management, University of Manchester. – 2004.

Nationaler Normenkontrollrat Bericht (Jahr 2010), "Mit Buerokratieannau zu moderner Gesetzgebung". -Berlin, 2010. S. 54-55.

Rend, A. Impact Assessment in the EU: the State of the Art and the Art of the State. – Centre for European Policy Studies, Brussels. – 2006.

Radaelli, C.M., A.C.M. Meuwese. Impact assessment indicators. Measuring the quality of impact assessment. – Centre for European Governance, Department of Politics, University of Exeter. – 2007.

Radaelli, C.M., F. de Fabrizio. Regulatory Impact Assessment / The Oxford Handbook of Regulation // ed. by М. Cave, R. Baldwin, M. Lodge. -Oxford University Press, 2010. -p. 279-301.

Regulatory impact analysis: a tool for policy coherence. – OECD reviews or regulatory reform. – 2009. – p. 35.

RIAS Writer’s Guide. – Treasure Board of Canada Secretariat. – 2009

Smart Regulation in the European Union -Commission communication, COM(2010)543 (8 October 2010).

Staronov, K. Regulatory Impact Assessment: Formal Institutionalization and Practice / Journal of Public Policy (2010), 30: 117-136.

A UNICEF Guide for Monitoring and Evaluation. Making a difference? http://preval.org/documentos/00473.pdf

Источник - журнал «Проектирование, мониторинг и оценка», № 1 (2011)

---

¹ © Беляев А.Н., Дерман Д.О., Цыганков Д.Б., 2011. Данное исследование выполнено в рамках реализации гранта ректора ВШЭ № 10-04-0010 «Дальнейшее развитие в ГУ-ВШЭ научно-исследовательского направления "Оценка программ, политик и регулирующего воздействия» (2010-2011).

² http://www.economy.gov.ru/minec/activity/sections/ria/