Актуальность задач кластеризации в скоринговых технологиях

Актуальность задачи кластеризации в скоринговых кредитных банковских технологиях обусловлена следующими соображениями. Решение о выдаче кредита и схеме кредитования принимается на основе оценки кредитоспособности заемщика на базе построенной ранее (по ретроспективным данным) модели для совокупности «подобных» заемщиков. Термин «подобных» здесь интерпретируется как сходственность заемщиков в кластере по виду деятельности, финансово-экономическому состоянию, поведенческим качественным показателям в отношении дисциплины погашения кредита. Источником информации для построения ретроспективной логистической модели вида: при этом служит база данных из Российского национального бюро кредитных историй, а также стандартная публично доступная бухгалтерская отчетность.

Функция вычисляется по известным своим аргументам и с помощью адаптивной (обучаемой на примерах для различных объектов – корпораций) нейросетевой модели типа «Многослойный персептрон» (Multi Lаuеr Реrsерtrоn (MLР)) [8]: где оператор нейросетевого отображения «вход-выход»; – матрица настраиваемых в процессе обучения сети на примерах синаптических весов связей между нейронами. При этом в каждом обучающем примере должны быть известны как значения входных переменных где – дискретное время («временные срезы» наблюдений), так и значения выходной переменной число «временных срезов» наблюдений.

Банки занимаются кредитованием корпораций из различных отраслей экономики. Следовательно, для повышения объективности и качества принимаемых решений о кредитовании банки должны иметь спектр ретроспективных кластерных моделей оценки кредитоспособности заемщиков: для строительной отрасли, торговли, машиностроения, сельского хозяйства, транспортных компаний и др.

Особенности постановки задач классификации и кластеризации в аспекте байесовского подхода

Задача классификации ставится так. Имеется обучающая выборка данных где вектор - строки (объекты) снабжены метками (прецедентами) о принадлежности объектов к классам: . При этом число классов априори известно. Модель должна разбивать объекты на непересекающихся множеств (классов) оптимальным по выбранному критерию способом. Критерий разбиения должен быть построен так, чтобы расстояния, в частности евклидовы, между объектами внутри классов были как можно меньше, а из разных классов – как можно больше. Новый вектор , предъявленный обученной модели, должен быть отнесен к одному наиболее вероятному из классов .

Задачи кластеризации являются частным случаем задач классификации: в данных нет меток о принадлежности объектов к определенным классам и априори неизвестно число классов . Разбиение осуществляется на основе выбранного критерия, выражающегося через те или иные внутриклассовые и междуклассовые расстояния. При предъявлении новых объектов модель кластеризации перестраивается, и анализируемые объекты относятся к соответствующим кластерам.

Модели классификации и кластеризации могут строиться на основе традиционных методов параметрической статистики. Данная группа методов позволяет строить обоснованные модели кластеризации систем в случае большого набора экспериментальных данных (достаточного для доказательства статических гипотез о характере закона распределения) и при относительно равномерном их распределении в пространстве параметров. Однако при высокой стоимости экспериментальных данных, или невозможности получении достаточного их количества, их высокой зашумленностью, неполноте и противоречивости, нейросетевые модели оказываются более предпочтительными. Нейронная сеть как инструмент кластеризации оказывается избирательно чувствительной в областях скопления данных.

Карты Кохонена применяются в основном для двух целей. Первая из них – наглядное упорядочивание многопараметрической информации. На практике обычно используется одномерная и двумерная карты. Кластеры, задаваемые узлами карты, содержат группы в некотором смысле похожих наблюдений, которым может быть приписан групповой семантический смысл.

Применительно к моделированию экономических систем, карты Кохонена могут использоваться для выявления различий в режимах поведения системы. При этом могут выявляться аномальные режимы. Важно, что при этом могут быть обнаружены неожиданные скопления близких данных, последующая интерпретация которых пользователем может привести к получению нового знания об исследуемой системе.

Акцентируем внимание на общей постановке задачи кластеризации многомерных данных, особенно на двух ее особенностях: В данных в вектор-строках наблюдений, переменные (кластеризующие признаки) не разделяются на объясняющие и результативные. Соответственно не выделяются шумовая составляющая η в записи: , (1) где - измеренное значение результативного признака в i-ом наблюдении; - регулярная часть случайной величины Y в i-ом измерении; - функция шума; β – амплитуда шума.

Наиболее полным статистическим описанием наблюдаемых многомерных данных является совместная плотность распределения вероятности в n-мерном пространстве признаков.

Эти две особенности значительно расширяют возможности различных аналитических построений в рамках байесовского подхода к решению задачи кластеризации. Например, не надо делать никаких предположений о законе распределения шумовой составляющей в измерениях. Если дополнительно ввести допущение о гауссовом распределении векторов, то можно воспользоваться результатами теории байесовской кластеризации из [10].

Элементы теории классификации на основе байесовского подхода к принятию решений

Распределение Гаусса очень широко используется в связи с его вычислительным удобством и адекватностью во многих случаях. Рассмотрим многомерную плотность распределения вектора признаков : ,i=1, , (17) где - математическое ожидание случайного вектора в классе ;- матрица ковариации размерности для класса: ; (18) - определитель матрицы ковариации; здесь, - это векторы – столбцы, а - векторы-строки.

Требуется построить байесовский классификатор, если плотность распределения описывается (17). Рассмотрим логарифмическую дискриминантную функцию: . (19)

Подставляя в правую часть (19) выражение плотности вероятности согласно многомерному нормальному закону (17) и логарифмируя, получим ;

(20)

Таким образом, дискриминантная функция представляет собой квадратичную форму, т.е. разделяющая поверхность является гиперповерхностью второго порядка. Поэтому Байесовский классификатор для гауссовской смеси распределений вектора является квадратичным классификатором.

4.Оригинальный байесовский итерационный метод кластеризации на основе селекции признаков

Алгоритм метода (рис.1) содержит основную итерационную процедуру коррекции кластеризации, шаги которой обозначим верхним индексом S=1,2,…, и инициирующую эту процедуру селекцию признаков – компонент, j=1,2,…,n вектора по их информативности в аспекте различения законов распределения прецендентов в образованных кластерах. При этом внутри каждой s-ой внешней итерации коррекции разбиения при скалярной селекции признаков осуществляется перебор всех парных сочетаний классов и внутри каждого сочетания перебор всех признаков.

Опишем подробно все операции алгоритма на рис.1:

Шаг 1. На первом шаге внешних итераций (S=1) для исходных данных n-мерных векторов (объектов) {}, проводится кластеризация с помощью одного из методов: самоорганизующихся карт Кохонена (SOM)[4,12]; k –средних (k-means) [3]; байесовского метода из [10] для случаев, когда плотность вероятностей распределения векторов в классах можно приближенно рассматривать как гауссовские смеси распределений и др.[3].

Шаг 2. Пусть на первом шаге итерации S=1 образовано М кластеров (классов). Для каждого кластера вычислим критерий качества разбиения, например: , S=1,2,… , (21) где - кластер с номером m; - точка центра кластера в n – мерном пространстве признаков; d (,) – евклидово расстояние от объекта до центра m –го кластера.

Шаг 3.Производим сравнение критерия с желаемым экспертно заданным числом: (22) Пусть нас не устраивает полученное разбиение, т.е. неравенство (22) не выполняется, и мы желаем улучшить качество разбиения данных на кластеры.

Шаг. 4. Поскольку на первом шаге итерации (S=1) кластеры уже образованы, то принадлежность каждого объекта {}, к соответствующему кластеру (классу) определена, следовательно, возможна селекция признаков с целью уменьшения размерности вектора, в которой должны быть известны «метки» классов.

Определение. Процедура выделения из множества признаков меньшего подмножества с наилучшим сохранением информативности для классификации называется селекцией признаков [6].

Суть выбора признаков – это выделение признаков, которые приводят к большим расстояниям между классами и к малым внутри классов, т.е. минимизация критерия в (22).

Различают скалярную и векторную селекцию признаков. При скалярной селекции рассматривается отдельно один признак из данного множества – получим одномерную задачу. При векторной селекции одновременно исследуются свойства группы признаков. В предлагаемом методе используется только скалярная селекция признаков.

4.2. Скалярная селекция признаков

Суть метода скалярной селекции признаков [6] состоит в оценке дискриминантной способности каждого отдельного признака путем проверки соответствующих статистических гипотез о законах распределения плотности вероятности анализируемого признака в разных классах для содержащихся в них прецендентов. Если распределения плотности , совпадает для разных классов () при назначенной мере сходства, то признак не различает эти классы. Такова суть метода селекции на основе проверки статистических гипотез.

Теперь приведем количественные соотношения для алгоритма скалярной селекции. Для наглядности взято всего два класса:, хотя все соотношения, приводимые ниже, справедливы для любого конечного числа классов.

Примем следующие обозначения: пусть - анализируемый признак. Пусть известны прецеденты для этого признака, т.е. случайные его реализации из класса ; и для класса;, где - числа прецендентов в классах и. Методами математической статистики [3] оцениваются законы распределения плотности вероятности для и. Обозначим через две гипотезы: - значения признаков отличаются существенно в класса х и - значения признаков отличаются несущественно – нуль гипотеза.

Примем соглашение о том, что признаки при селекции нормализованы стандартным способом, т.е.: ; ; .(23)

Нормализация признаков преследует две цели: 1). Признаки, имеющие большие значения, могут влиять на классификатор сильнее остальных, что искажает правильность, классификации. Поэтому необходимо уменьшить их влияние путем нормализации. 2). Дисперсия нормализованных признаков равна 1, т.е. при проверке статистических гипотез она оказывается известной.

Итак, пусть известны дисперсии для нормированных прецендентов в классах. Тогда при селекции основная задача – проверить отличие средних значений признаков в двух классах и. Соответствующие гипотезы имеют вид: .(24)

Рассмотрим вначале общий случай нормирования признаков не стандартным способом. Соответствующие приемы нормирования описаны в [5]. Тогда задача проверки различия средних распадается на две задачи:

а). Проверки однородности двух дисперсий как мер рассеяния исследуемого признака внутри классов и. Здесь можно использовать критерий Фишера: ; ; (25) . (26) . (27)

Полученное значение критерия Фишера F сравнивается с табличным (критическим) значением, где - число степеней свободы числителя в (26); (k=1 если и k=2 в противном случае); - число степеней свободы знаменателя ( k =2, если); - принятый при проверке гипотезы уровень значимости. Если, то для данных условий проверки делается вывод об однородности дисперсий и их можно использовать далее в расчете критерия Стьюдента в задаче б).

б). В задаче о значимости различия средних используется критерий Стьюдента с числом степеней свободы: ;.(28)

Обоснованием к использованию t – распределения Стьюдента для проверки этой гипотезы служит центральная предельная теорема теории вероятностей Ляпунова [2], согласно которой закон распределение суммы конечного числа случайных величин (в нашей задаче) стремиться к нормальному закону распределения. Проверяем нуль-гипотезу: , (29) где - табличное значение критерия Стьюдента с принятым уровнем значимости - число степеней свободы для статистики Стьюдента.

Если неравенство (29) выполнено, то делается вывод о том, что статистически значимого различия в средних нет. Следовательно, анализируемый признак неинформативен в аспекте разделения данных на классы (кластеры) с принятым уровнем значимости и при имеющихся объемах прецендентов в двух классах. При конечном числе классов m; m=1,2,…,M. Описанная процедура селекции признаков проводится последовательно попарно для классов.

Шаг 6. На втором шаге итерации s=2 повторяем шаги 1…4 с использованием вектора признаков сокращенной размерности s=1.

Шаг 7. Контролируем качество нового разбиения для вектора размерности по критерию, s=2 по (21).

Если выполняется условие:,(30) то селекцию признаков на шагах 1- 4 считаем успешной.

Шаг 8. Для нового (скорректированного) разбиения признаков на кластеры (классы) повторяем процедуру селекции признаков j=1,2,…,() по алгоритму шага 4, т.е. получаем новый усеченный вектор признак, (s=2).

Шаг 9. Находим новое разбиение на кластеры (классы) с использованием вектора признаков, (s=2) и т.д.

Критерием остановки итераций коррекции разбиения, связанной с селекцией признаков, служит условие: .(31)

Фильтрация критериев качества разбиения объектов на кластеры по (21) – (31) с последующим осреднением этих критериев на отфильтрованном ансамбле (14) дает более достоверную оценку по сравнению с одной нейросетью, даже лучшей в ансамбле, по этому критерию. Следовательно, данная процедура ускоряет сходимость процесса внешних итераций коррекции разбиения на кластеры с селекцией признаков по схеме рис. 1, а также повышает устойчивость этого процесса в аспекте селекции признаков. Последнее означает, что на шагах 7 - 9 алгоритма коррекции разбиения (1) - (13) следует использовать усредненный на байесовском ансамбле критерий качества , по (14).

4.3. Оптимизация числа образуемых кластеров

Совершенно очевидно, что качество разбиения объектов на кластеры сильно зависят от числа М образуемых кластеров. Следовательно, задаваемое число кластеров обусловлено контекстом постановки задачи кластеризации. Применительно к банковским скоринговым технологиям задача оптимизации числа образуемых кластеров имеет смысл, если разбивать спектр кластерных моделей по отраслям экономики на подмодели и соответственно кластеры на подкластеры.

Например, для целей оценок кредитным аналитиком удобно задавать порядка 3…5 соответственно группирующих корпорации по градациям их финансово - экономического состояния (очень хорошее, хорошее, пограничное, близкое к банкротству, очень плохое).