Исключает ли бинарный логарифм одну часть уравнения на основе y?

Question

Предполагая, что уравнение потери бревна:

logLoss=−(1/N)*∑_{i=1}^N (yi(log(pi))+(1−yi)log(1−pi))

, где N является количество образцов, yi...yiN является фактическое значение зависимой переменной, а pi...piN является предсказанной вероятность того, из логистической регрессии

Как Я смотрю на него:

если yi = 0 то первая часть yi(logpi) = 0

В качестве альтернативы, если yi = 1 то вторая часть (1−yi)log(1−pi) = 0

Так что теперь, в зависимости от величины y одной части уравнения исключается. Я правильно понимаю это?

Моя конечная цель - понять, как интерпретировать результаты потери журнала.

Answer 1

Да, вы на правильном пути. Имея в виду, что p_i=P(y_i=1), в основном идея состоит в том, что функция потерь должна быть определена таким образом, чтобы она наказывала кортежи, для которых предсказание не соответствует фактической метке (например, когда y_i=1, но p_i является низким, позаботился о по части yi(logpi), или когда y_i=0, но p_i является высокой, позаботится о части (1-yi)log(1-pi)) и в то же время она не должна наказывать кортежи, для которых предсказание соответствует фактической метке (например, когда y_i=1 и p_i высока ИЛИ, когда y_i=0 и p_i низкий).

Функция потерь для логистической регрессии (cross entropy) точно соответствует вышеуказанному желаемому свойству функции потерь, как видно из следующего рисунка.