Сравнение двух веб-страниц (тестирование A/B) - Тест на выборку двух проб

Question

У меня есть две изменения на моей веб-странице, но я контролирую кучу переменных. Так что я могу извлечь из моего эксперимента по мониторингу веб-сайта следующим образом:

Мне было интересно, просто ли тест на пробную часть образца. Возьмите каждый из контролируемых переменных и вычислить часть теста для оригинального и измененного решения.

Я не знаю, говорит ли он мне что-то об общем результате - если оригинальное решение лучше, чем решение с некоторыми изменениями или нет.

Есть ли что-то лучшее, что я могу использовать для этой цели. Я буду благодарен за ваш совет.

Answer 1

Звучит так, как будто вы смешиваете две вещи: интересную бизнес-метрику и тест на статистическую значимость. Первый - это бизнес-сфера, которую вы хотели бы измерить. Это могут быть продажи, конвертация, скорость подписки или многие другие. См. this paper для хорошего обсуждения опасностей использования неправильной метрики. Статистическая значимость - это тест, который говорит вам, достаточно ли количества измерений, которые вы видели до сих пор, чтобы обосновать утверждение о том, что разница между этими двумя событиями очень маловероятна. См. this paper для хорошего обсуждения.