Препятствий для построения моделей с помощью технологий искусственного интеллекта и машинного обучения нет

На сегодняшний день большинство мировых финансовых институтов охвачены трендом развития технологий искусственного интеллекта (ИИ) и машинного обучения. Многие банки и страховые компании уже инвестировали в это направление: создаются кадровые резервы, исследовательские институты, в которых прорабатываются алгоритмы ИИ.

Существенную прикладную ценность технологии ИИ и машинного обучения демонстрируют при автоматизации процессов кредитования и заключения сделок с финансовыми инструментами, моделировании кредитного скоринга и подготовке данных. В России такие кредитные организации, как Сбербанк, «Райффайзенбанк», «Ренессанс Кредит», в последние годы вкладывают много сил и средств в развитие лабораторий данных и центров Data Science, готовят соответствующих специалистов.

Модели машинного обучения уже на протяжении пяти лет применяются российскими финансовыми организациями для оценки кредитного риска и валидации моделей. О том, насколько регуляторы готовы работать с моделями на базе технологий ИИ и машинного обучения, и пойдет речь в данном интервью.

Интервьюеры: В 2017 г. в России стартовала национальная программа «Цифровая экономика», рассчитанная на период до 2030 г. В рамках этой программы в качестве одного из основных выделен вопрос создания нормативной базы для развития технологий ИИ и машинного обучения. Соответственно, регуляторы также начинают подключаться к рабочим группам, связанным с алгоритмами и разработками технологий. Вы планируете присоединяться к этому общемировому тренду? Расскажите о ваших планах, проектах, которые связаны с развитием ИИ и машинного обучения.

Михаил Бухтин: Мы рассматриваем присоединение к этому тренду в качестве задачи, которая состоит из двух направлений. Во-первых, как регулятору нам важно понять, как мы будем взаимодействовать с банками и кредитными организациями, которые используют методы ИИ и машинного обучения. У нас идет дискуссия о том, как контролировать применение банками модельного подхода. Например, наше подразделение работает над проектом создания новой платформы — интегрированной системы валидации и надзора (далее — ИСВН) за применением банками количественных моделей оценки кредитных рисков с использованием подхода на основе внутренних рейтингов (ПВР) по стандартам «Базель II», «Базель III».

Во-вторых, нам тоже нужно понять, как использовать эти инструменты для организации нашей работы внутри ЦБ. Мы обдумываем создание проекта по обмену данными с банками для надзора за применением банками моделей ПВР с использованием технологии машинного обучения. Это проект «Модель данных», который развивается в нескольких департаментах и в рамках которого должны быть созданы определенные технологии обмена данными, их автоматического анализа и настройки взаимодействия и обработки. Главное преимущество этой модели в том, что обмен данными будет осуществляться не через формы отчетности по Указанию Банка России №4927-У, а через шлюзы обмена данными, с помощью которых наше информационное хранилище и платформы на стороне банка будут обмениваться данными напрямую по определенным настраиваемым форматам. Мы пришли к выводу, что Указание Банка России №4927-У стало настолько неуправляемым (оно включает примерно 1000 листов), что обмен «большими данными» и их анализ уже не укладываются в стандартные таблицы и графы отчетности, поэтому будем пытаться решить этот вопрос на уровне платформы.

И.: Если говорить о первом направлении — взаимодействии с банками, сталкивается ли департамент банковского регулирования ЦБ РФ уже сейчас с результатами применения технологий ИИ и машинного обучения российскими коммерческими финансовыми организациями, с необходимостью их верификации, например, в рамках процедур валидации заявок на применение банками ПВР (483-П)?

М.Б.: Мы встречаемся с данными технологиями при валидации розничных моделей в одном из крупных банков, который уже на ПВР. При проведении валидации мы столкнулись с проблемой: некоторые аппликативные модели для нас непрозрачны, потому что базируются на сложном дереве решений. С их применением проводятся различные процедуры проверок, связанные с достоверностью документов и профилем клиента из разных источников. Мы решили, что не будем погружаться в процедуру отбора клиентов для принятия решения и рассматривать все ветви дерева, поскольку этот механизм относится к области оперативного управления банком и его рыночной стратегии, вмешиваться в которую в соответствии с Законом «О Центральном банке Российской Федерации» №86-ФЗ у Банка России нет компетенций. Это принципиальное решение нашего департамента. Мы будем анализировать модель оценки кредитного риска только в части ссуд, которые уже приняты на баланс банка.

Когда ссуда проходит последнюю стадию отбора, тогда рассчитывается итоговый скоринговый балл, который подставляется в уравнение для расчета вероятности дефолта (Probability of Default, PD). После этого мы наблюдаем за ссудой, изучаем скоринговый балл, полученный на входе. По мере распределения качества скорингового итогового балла и статистики выпадения в дефолт в зависимости от их диапазона и расчетных параметров PD у нас будут проводиться тесты точности моделей, т.е. предсказательной силы расчета PD по модели к фактической частоте дефолтов в рамках конкретного разряда рейтинговой шкалы или пула однородных кредитных требований.

С нашей точки зрения, искусственный интеллект — это алгоритмы, которые используются организациями для управления бизнесом. Это ноу-хау коммерческой составляющей самой организации, ее конкурентное преимущество. Валидировать и проверять ее нет смысла, поскольку валидация предполагает определенные надзорные действия. Какие надзорные действия можно осуществлять, если нам не нравится механизм отбора принятия клиентов? Мы не можем сказать: «Теперь отбирайте по-другому» или «Теперь этому фактору давайте больший вес», — получится, что мы вмешиваемся в конкурентную среду.

Банки должны развивать собственные компетенции в риск-менеджменте и конкурировать на рынке с помощью моделей, брать ответственность за принятие риска на себя, а не ссылаться в случае провала на надзорные указания. Наша задача — предъявлять требования к системам оценки величин принятого риска для определения размера резервов на покрытие ожидаемых потерь и капитала на покрытие непредвиденных потерь, оценивать их соответствие этим требованиям. По результатам оценки уполномоченный орган — Комитет банковского надзора Банка России — принимает надзорное решение о соответствии или несоответствии банка этим требованиям и в случае необходимости может определить условия дальнейшего применения банками ПВР- моделей, в том числе и в виде надбавок к требуемому капиталу, рассчитанному с их применением, чтобы стимулировать банк улучшать свои модели, подводить его к созданию и развитию собственных компетенций по адекватной оценке принимаемых рисков.

И.: Означает ли это, что сейчас банк, допустим, делая заявку на ПВР, может использовать нейронную сеть, а не логистическую регрессию?

М.Б.: Да. У нас нет требования, что нам нужна именно логистическая регрессия. В Положении Банка России №483-П применяемые банками методы построения модели описаны достаточно обтекаемо, и мы настроены на развитие и цифровизацию методов моделирования. Пока никто не подавал заявку на валидацию модели, построенную на базе нейронных сетей, но есть банки, заинтересованные в этом. Если подадут, то мы примем заявку в работу и посмотрим, как ведет себя их так называемый черный ящик. Мы будем принимать суждения о качестве черного ящика по тестированию его результатов на выходе и при выдаче разрешения на применение будем устанавливать контрольные показатели качества выходных результатов модели. Если после нашей проверки внутри черного ящика банки что-то поменяют, то мы увидим это — изменятся значения контрольных показателей качества модели. Например, если обнаружится, что на момент выдачи у нас было одно распределение портфелей по конкретным разрядам рейтинговой шкалы, отражавшееся в определенном значении показателя стабильности, а потом показатель стабильности на срезах (выборках) других дат изменился, то мы сделаем вывод: изменилось что-то внутри скоринга черного ящика — и будем требовать перекалибровать модель и снова подать ее на проверку и валидацию или установим надбавку за возникшую недооценку величины кредитного риска.

И.: Если сейчас банки подали на проверку модель с логистической регрессией, а потом захотят заменить ее на нейронную сеть, то им нужно будет объяснять, почему старая модель не подходит и чем новая лучше?

М.Б.: Все верно.

И.: А те, кто еще не подал модели на валидацию, могут сразу прийти с нейронной сетью и начать исследование этого вопроса?

М.Б.: Дело в том, что банки не готовы нам ее подать, потому что перед подачей к нам им нужно пройти внутреннюю валидацию и внутренний аудит проверки ее качества. На данный момент внутренняя валидация не имеет соответствующих инструментов, кроме того, их сначала тоже стоит показать нам.

У иностранных регуляторов есть такая практика: внешняя валидация регулятора базируется на отчетах внутренней. Если регулятор доверяет внутренней валидации, тогда внешняя проходит в мягком режиме, если не доверяет, то внешняя идет по жесткому пути: регулятор сам все перепроверяет и пересчитывает. Тогда валидация может затянуться на годы, и основной возникающий при этом фактор задержки — это подготовка данных по запросам для проведения тестов, поэтому, даже если банки подадут нейронную сеть на проверку сейчас, валидация будет долгой.

И.: Получается, если банк готов, у него есть построенные модели в нейросетях, инструменты созданы и проверены, аудит валидации тоже пройден, то препятствий нет?

М.Б.: Препятствий нет. Прежде чем подать модель, проводятся предварительные встречи, на которых представители банка рассказывают нам о подходах к построению модели и об инструментах внутренней валидации. Мы оцениваем модель, ее характеристики и допущения, необходимые требования. Четыре основных характеристики, которые мы проверяем: стабильность, интерпретируемость, аудируемость и точность. На сайте ЦБ РФ в разделе «Вопросы и ответы» есть более подробное описание того, как проходит валидация и какие группы тестов проводятся. Эти ответы помогут банкам подготовиться к проверке. Не исключено, что к моменту подачи первой такой заявки мы успеем включить дополнительные требования к этим видам моделей в Положение Банка России №483-П.

И.: Помимо 483-П планируете ли вы более широко перерабатывать нормативные базы и акты в связи с развитием технологий ИИ и машинного обучения?

М.Б.: Да, когда банки будут готовы поделиться своими наработками. Под их новые модели и характеристики мы подготовим дополнительные требования. В основном будут требования к внутренней валидации и мониторингу, а не к характеристикам, там ведь будет черный ящик. К мониторингу мы добавим контроль отклонений от установленных по итогам валидации значений контрольных показателей качества и быстрого реагирования на отклонения путем перекалибровки модели, а также пользовательские тесты. Кредитные организации должны создать механизм постоянно действующего мониторинга — без него невозможно внедрить новую модель. Если это будет сделано, то мы будем принимать и дорабатывать акты по мере развития технологий.

И.: Из вашего ответа следует, что основным валидационным инструментом будет мониторинг результатов применения ИИ и машинного обучения. По сути, это механизм контроля качества и управления модельным риском и данными, положенными в основу этих моделей. Поступят ли с вашей стороны рекомендации, как банкам выстраивать эту систему? Будет ли это фокус на внутренней системе или некий внешний шаблон, который как минимум должен будет обязательно исполняться?

М.Б.: Чтобы задать внешний шаблон, нужно иметь перед собой его прототип. Поскольку прототипа нет и его нельзя создать искусственно, мы пойдем по пути установки требований к внутреннему мониторингу: определенным показателям качества моделей, качеству данных, периодичности калибровки, контрольным значениям допущений модели, отклонениям и реагированиям на отклонения. Мы будем исходить из организационно-процедурных требований. Когда банки предоставят нам на проверку две-три модели и они начнут работать в тестовом режиме, то еще до выдачи разрешения мы обнаружим недостатки, и при этом у нас создастся описание качественного прототипа. Когда мы увидим, как все функционирует, то выработаем видение и отразим его в нормативном акте или в рекомендациях, если в этом у отрасли появится потребность. Мы также посмотрим на готовность более широкого числа банков к переходу на ПВР: если большинство банков будут оставаться на стандартизированном подходе, то это означает, что у них нет потребности в подаче своих моделей на валидацию регулятора.

И.: ЕЦБ выпустил рекомендацию о необходимости системы управления модельным риском. То же самое встречается в других странах. ЦБ РФ не считает, что банкам нужна подобная система?

М.Б.: Мы не можем составить стандарт или рекомендацию, а затем не проверять их выполнение, иначе наши юристы перед изданием стандарта спросят нас: «И что дальше? Как нам реагировать, если данные рекомендации не будут соблюдаться?» Более того, в нашей стране есть разные группы банков: высокотехнологичные, онлайн-интерактивные без офлайн-офисов, традиционные универсальные без больших вложений в IT и средние региональные банки, готовые соблюдать только обязательные минимальные регуляторные требования. Высокотехнологичные банки, может быть, и воспримут рекомендацию, а другие банки скажут нам: «Это опять регуляторная нагрузка». Получается, такую рекомендацию стоит распространять только на высокотехнологичные и интерактивные банки, но почему только на них? Может быть, нужно издать стандарты, рекомендации, их ждет определенная группа банков. У Банка России в прошлом был подобный опыт с рекомендациями в виде Т-писем: большинство банков не спешило их выполнять, т.к. они не были обязательными. В этом особенность отечественных банков — выполнять только то, что обязательно требуется нормативными актами под угрозой принятия мер. Когда приходила наша инспекция и замечала, что рекомендации не соблюдаются, в ответ представитель банка говорил: «Так это же рекомендация, это необязательно».

И.: Планируете ли вы привлекать внешних интеграторов или системных вендоров к стандартизации взаимодействия между регулятором и банками, как это происходит за рубежом?

М.Б.: Даже если регуляторы привлекают интеграторов для создания модели, процесс все равно строится на платформе регулятора с привлечением подрядчика. Когда мы придем к решению осуществлять подобный проект — создание платформы для обмена данными с кредитными организациями, мы, по всей видимости, будем привлекать IT-консультантов и подрядчиков путем открытия специального проекта. В Банке России установлен соответствующий порядок с использованием тендерных механизмов.

Об авторах

Оригинал опубликован в журнале «Управление финансовыми рисками»