Аргумент весов в функции R gbm

Question

Что такое аргумент weights для функции R gbm? Использует ли он с учетом затрат ускоритель стохастического градиента?

Answer 1

Вы, возможно, уже читали это, но документация говорит, что параметр weights определяется следующим образом:

дополнительный вектор весов, которые будут использоваться в процессе подбора. Должен быть положительным, но его не нужно нормализовать. Если keep.data = FALSE в начальный вызов gbm, то ответственность пользователя за пополняется весом до gbm.more.

Таким образом, моя интерпретация будет заключаться в том, что они являются стандартными весами наблюдения, как в любой статистической модели.

Учитывается ли это? Хороший вопрос. Я впервые заметил, что одна из основных ссылок для упаковки:

B. Kriegler (2007). Cost-Sensitive Stochastic Gradient Boosting Within a Quantitative Regression Framework.

, так что я полагал, что это подразумевает экономическую чувствительность, но нет явного использования этого термина в виньетке, поэтому, если это не было очевидно.

Я сделал немного более глубокое погружение и нашел еще несколько ресурсов. Вы можете найти уравнения, описывающие веса в конце статьи this, в которой описывается пакет.

Я также нашел этот вопрос попросили way back in 2009 in a mailing list, и в то время не было никакого ответа, я наконец-то нашел в scholarly article обсуждали использование gbm и другие пакеты R для чувствительных к стоимости градиента повышающей.

Вывод состоит в том, что функция потери квантилей gbm является дифференцируемой и может использоваться в чувствительных к стоимости приложениях, где избыточная/недооценка имеет разные затраты на ошибки, однако могут потребоваться другие количественные функции потерь (кроме квантиля) соответствующий в некоторых приложениях повышения чувствительности к градиенту с учетом затрат.

Эта статья ориентирована на gbm, но также обсуждает другие пакеты, и если вы сосредоточены на повышении градиента с учетом затрат, вы можете посмотреть на другие, о которых они упоминают в статье.