Аудит процесса валидации внутренних моделей для оценки кредитного риска

В соответствии с определением Письма № 192-Т внутренняя валидация рейтинговых систем — это оценка кредитной организацией методов, моделей и процедур, используемых в рейтинговой системе, на соответствие рекомендуемым минимальным требованиям регулятора, направленная на подтверждение корректности и точности их функционирования, а также оценки степени интеграции рейтинговых систем в процесс выдачи кредитов. Минимальные требования к процессу внутренней валидации наложены в гл. 14 Положения № 483-П.

По аналогии с аудитом процесса разработки выборку моделей для проверки процесса внутренней валидации целесообразно составлять на основе риск-ориентированного подхода.

В ходе аудита необходимо провести анализ соответствия процесса внутренней валидации моделей на предмет соответствия минимальным требованиям Положения № 483-П. В табл. 8.5 приведены основные требования Положения № 483-П в части внутренней валидации моделей, а также основные контрольные процедуры, которые рекомендуется провести аудитору.

Таблица 85

Требования к валидации моделей и контрольные процедуры

в рамках аудита

Требования из гл. 14 Положения № 483-П

Контрольные процедуры в рамках аудита

14.1. Банк определяет во внутренних документах порядок оценки методов, моделей и процедур, используемых в рейтинговых системах, а также рассчитанных банком значений компонентов кредитного риска (далее — внутренняя валидация рейтинговых систем).

В ходе внутренней валидации оценивается корректность и точность функционирования рейтинговых систем, а также оценка степени использования в процессе принятия кредитных решений.

  • 14.2. В рамках проведения внутренней валидации банк должен:
    • • не реже одного раза в год осуществлять сопоставительный анализ рассчитанных значений вероятности дефолта, полученных в результате применения моделей, используемых

в рейтинговой системе, с фактической частотой реализованных дефолтов заемщиков (далее — сопоставительный анализ);

• отражать в соответствующих отчетах результаты сопоставительного анализа;

1. Проанализировать наличие внутренних нормативных документов кредитной организации по валидации моделей количественной оценки кредитных рисков (PD, LGD, EAD и др.).

Рекомендуется, чтобы общие подходы кредитных организаций к валидации (в том числе к составу количественных и качественных тестов) соответствовали лучшим практикам АРБ (Комитета по стандартам Базель II)[1].

  • 2. Проверить отчеты по результатам внутренней валидации па предмет соответствия примененных подходов/исполь- зованных тестов требованиям внутренних нормативных документов кредитной организации.
  • 3. Проанализировать отчеты по результатам внутренней валидации на предмет качества проведения количественных тестов, оценивающих корректность и точность функционирования рейтинговых систем, и качественных тестов, оценивающих степень использования моделей в процессе принятия кредитных решений.
  • 4. Проанализировать отчеты по результатам внутренней валидации на предмет соблюдения ежегодной периодичности.

Продолжение табл. 8.5

Требования из гл. 14 Положения № 483-П

Контрольные процедуры в рамках аудита

  • • при проведении сопоставительного анализа использовать внутреннюю статистическую информацию за период времени, охватывающий как минимум один полный цикл деловой активности;
  • • в случае недостаточности внутренней статистической информации использовать внешнюю статистическую информацию;
  • • отражать во внутренних документах и обновлять как минимум раз

в год данные для проведения сопоставительного анализа; в случае если фактическая частота реализованных дефолтов заемщиков, отнесенных к одному разряду рейтинговой шкалы, выходит за рамки рассчитанных по модели значений, анализировать причины таких отклонений и принять меры по их устранению, зафиксировав их в отчете. Порядок сопоставительного анализа и дальнейших действий в таких случаях должен быть отражен во внутренних документах банка. Этот порядок учитывает фазу цикла деловой активности;

• в случае использования III IBP осуществлять сопоставительный анализ в отношении количественных оценок уровня потерь при дефолте

и величины кредитного требования, подверженной риску дефолта. При выявлении отклонений фактических значений уровня потерь при дефолте и величины кредитного требования, подверженной риску дефолта, от их прогнозных значений должны применяться процедуры, указанные в абз. 7 настоящего пункта;

• осуществлять сопоставительный анализ рассчитанных значений параметров риска с внешними данными. Для этого банк разрабатывает методику сравнительного анализа компонентов кредитного риска, которая содержит обоснование таких сопоставлений и оценку результатов данного анализа;

  • 5. Проанализировать качество выборки статистических данных, использованных в ходе валидации моделей, в том числе:
    • • сопоставить статистику дефолтов, использованную при валидации моделей, с альтернативными источниками данных кредитной организации (ИТ-системы, формы управленческой и статистической отчетности);
    • • проанализировать статистику на предмет охвата как минимум одного цикла деловой активности;
    • • проверить, что при первичной валидации использовались выборки «out-of-sample» (за пределами исходной выборки при разработке);
    • • проверить, что при ежегодной валидации использовались выборки «out-of-time» (за пределами временного интервала, на котором разрабатывались модели).
  • 6. В случае использования ППВР провести анализ отчетов но результатам валидации внутренних моделей LGD и EAD.
  • 7. Провести анализ качества внешних данных, использованных в рамках валидации моделей. В том числе проверить наличие в кредитной организации методологии для сопоставления рассчитанных значений параметров риска с внешними данными.
  • 8. Дать оценку независимости подразделения валидации в процессе управления внутренними моделями количественной оценки кредитного риска корпоративных клиентов Банка, в том числе:
    • • проанализировать организационно-распорядительную документацию на предмет идентификации роли и места подразделения валидации в рамках организационной структуры Банка;
    • • проанализировать, самостоятельно ли подразделение валидации ведет процесс по формированию выборок статистических данных для проведения первичной и ежегодной валидации моделей. Если данные формируются подразделениями — разработчиками и сопровождающими модели, то используются ли какие-либо механизмы контроля за качеством и достоверностью предоставляемой информации.

Требования из гл. 14 Положения № 483-П

Контрольные процедуры в рамках аудита

  • • обеспечить организационную независимость подразделений, отвечающих за разработку, внутреннюю валидацию и использование рейтинговых систем. Банк может привлекать внешних (независимых) экспертов для внутренней валидации рейтинговых систем;
  • • осуществлять анализ критериев и процедур отнесения заемщиков (финансовых инструментов) по разрядам рейтинговой шкалы;
  • • осуществлять внутреннюю валидацию рейтинговых систем не реже одного раза в год, а также после каждого изменения внешней среды и (или) внутренних процессов кредитования, которые банк считает существенными;
  • • проводить силами службы внутреннего аудита проверку качества внутренней валидации рейтинговых систем не реже одного раза в год.
  • 14.3. Методы и стандарты проведения внутренней валидации, включая статистические тесты, используемые для количественной оценки корректности функционирования моделей, не меняются в зависимости от фазы цикла деловой активности. Все изменения должны быть отражены во внутренних документах банка.
  • 9. Проанализировать, определены ли во внутренних нормативных документах кредитной организации по внутренней валидации критерии существенности изменений условий внешней среды и внутренних бизнес-процессов, которые должны являться предпосылками к проведению внеплановой валидации моделей. Проверить, наблюдались ли в анализируемом периоде факты существенных изменений условий внешней среды и внутренних бизнес-процессов и проводилась ли в связи с этим внеплановая валидация моделей.
  • 10. Проанализировать отчеты по результатам валидации на предмет идентификации моделей, по которым формировались рекомендации ПВВ о необходимости доработки/переработки модели. Проверить, выполнялись ли рекомендации подразделения валидации, указанные в отчете,

и осуществлялся ли контроль со стороны подразделения валидации за ходом выполнения указанных рекомендаций и за возможностью ввода модели в эксплуатацию только после соответствующих доработок.

  • 11. Проанализировать стабильность применяемых тестов в рамках валидации моделей по отношению к фазам экономического цикла.
  • 12. Проанализировать методологию и отчеты по результатам валидации на предмет наличия тестов, оценивающих корректность технической реализации моделей и их имплементации в кредитный процесс

  • [1] Комитет АРБ по стандартам Базель II и управлению рисками. Валидация. 2013.Декабрь.
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >