Преобразование между различными метками точности/ошибки

Question

Я пытаюсь сравнить точность модели между несколькими различными метриками измерения. Например, некоторые цитаты используют точность при другой ошибке использования. Это довольно очевидно, но есть много разных показателей, и я не совсем уверен, как сравнить некоторые из них и не потерять часть целостности отдельных показателей. Или можно ли вообще сравнивать некоторые из них. Список у меня есть:

Оценить

Ошибка - средняя абсолютная ошибка - Абсолютная погрешность - Log-Loss - Классификация Точность - Root Mean Squared Error - Классификация ошибок - F-Measure - площадь под кривой - Mean Test Error - Процент Ошибка - Ошибка неправильной классификации - Test Error - Mean Test Error

Так что мой вопрос заключается в том, как эффективно преобразовать между ними, и если невозможно прямое преобразование, сравнивать и оценивать значимым и точным способом.

Answer 1

1. Обычно вы не можете преобразовать эти показатели. Они измеряют тонко разные вещи. Но linear ошибка не совпадает с квадрат ошибка.

2. Победа в одном метрическом исполнении не означает выигрыш на другой метрике. Предположим, мы хотим обобщить одномерные данные на один номер. Среднее значение минимизирует квадратичную ошибку, среднюю линейную ошибку - поэтому у них есть разные оптимальные решения, и в зависимости от вашей оценочной меры вы можете получить разных победителей.

3. Не сравнивайте разные изделия. Они будут использовали различную предварительную обработку, особенность, выбор функций, нормализацию, подмножество, различные расколы для Перекрёстной Проверки и т.д.

Обычно, сравнивая такие цифры не будут работать.

Вам придется повторно запускать свои эксперименты самостоятельно, точно так же ввод и оценка.