Встроенные методы отбора признаков на основе байесовского подхода
Наиболее часто используемым встроенным методом отбора признаков является регуляризация. Основная идея заключается во включении в целевую функцию слагаемого (регуляризатора), который «штрафует» коэффициенты модели, устремляя их к нулю. При регуляризации вектор параметров w рассматривается как вектор случайных чисел с априорным распределением 𝑝(𝒘). Апостериорная плотность распределения параметров ищется по формуле Байеса: Так как
Используя принцип максимизации апостериорной плотности, получаем точечную оценку значений вектора параметров:
В формуле (5) второе слагаемое является вышеупомянутым регуляризатором или, так называемой, штрафной функцией. Обычно штрафная функция включается в модель с коэффициентом, с помощью которого можно контролировать количество отбираемых в модель признаков. Перечислим самые распространенные методы регуляризации: · Гребневая регрессия (ridge). В данном методе в качестве априорного распределения выбирается нормальное распределение. Штрафная функция будет выглядеть следующим образом:
Метод сжимает коэффициенты. Количество признаков не меняется, но понижается эффективная размерность задачи. · Метод Lasso. В данном методе в качестве априорного распределения выбирается закон Лапласа. Штрафная функция примет следующий вид:
Данный метод производит отбор признаков, но при этом если признаки сильно коррелированны, то отберется только один из них, что является недостатком. · Метод Elastic Net. Данный метод комбинирует два предыдущих: Основной целью его создания было желание преодолеть неспособность метода Lasso отбирать коррелируемые признаки в модель. Разработка модели При решении задачи бинарной классификации условное распределение зависимой переменной представляет собой распределение Бернулли: где а Тогда вероятности того, что заемщик принадлежит к классам «плохих» и «хороших» равны соответственно:
Можно записать это одним выражением:
Мы предполагали, что наблюдения в обучающей выборке независимы, поэтому функция правдоподобия будет выглядеть следующим образом:
Используя принцип максимума правдоподобия, получаем оценку вектора параметров:
Прологарифмируем функцию правдоподобия (14) и будем решать задачу минимизации:
В соответствии с (15) оценивают коэффициенты в классической нерегуляризованной логистической регрессии. Предположим, что априорной плотностью распределения параметра является нормальное распределение с нулевым матожиданием и дисперсией r. В модели дисперсия будет являться случайной величиной. Тогда совместное распределение вектора параметров будет иметь вид:
Параметры с малым значением Попробуем величины, обратные дисперсиям, использовать в качестве штрафных функций. Тогда предполагаем, что априорная плотность распределения величин обратных дисперсиям является гамма-распределением:
Из (17) видно, что обратная дисперсия зависит от двух параметров гаммараспределения 𝛼,𝛽. Для облегчения процесса подбора параметров предположим, что они являются функциями от одного и того же параметра 𝜇. Для случайной величины, имеющей гамма-распределение, известно: ● E ● Рассмотрим отношение ● Если сконцентрированы возле математического ожидания. Тогда можно сказать, что оцененные дисперсии практически фиксированы и равны единице при 𝛼 ≅ 𝛽. ● Если При Получается, что необходимо выполнение следующих требований:
Одним из наборов функций, удовлетворяющих требованиям, является:
С учетом всех предположений об априорных распределениях вектора параметров и гиперпараметров получаем следующую оценку вектора параметров:
Тогда получаем следующий критерий обучения:
Подставим в критерий выбранные функции для 𝛼 и 𝛽:
Этот критерий будем называть моделью логистической регрессии с регулируемой селективностью.
Популярное: Почему двоичная система счисления так распространена?: Каждая цифра должна быть как-то представлена на физическом носителе... Модели организации как закрытой, открытой, частично открытой системы: Закрытая система имеет жесткие фиксированные границы, ее действия относительно независимы... Почему люди поддаются рекламе?: Только не надо искать ответы в качестве или количестве рекламы... ![]() ©2015-2024 megaobuchalka.ru Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. (185)
|
Почему 1285321 студент выбрали МегаОбучалку... Система поиска информации Мобильная версия сайта Удобная навигация Нет шокирующей рекламы |