A/B Статистика опроса

Question

Я пытаюсь сделать некоторый статистический анализ различных тестов A/B, чтобы увидеть, какая альтернатива лучше, и нашли противоречивую информацию об этом.

Во-первых, я заинтересован в несколько различных вещей:

• тесты, измеряющие успех путем подсчета событий, таких, как преобразования или электронные письма, отправленные
• Тесты, которые измеряют успех путем подсчета ДОХОДА
• тесты, которые имеют только две альтернативы (контрольные и новые)
• Испытания, которые имеют несколько альтернатив (управление и несколько новых)

Я надеялся найти простой набор формул или правил для этого анализа, но нашел больше вопросов, чем ответов.

This site говорит, что вы не можете сравнивать несколько альтернативных тестов; вы можете делать только парные сравнения и анализировать хи-квадрат, чтобы увидеть, является ли весь тест статистически значимым или нет.

This site Предлагает способ проведения тестирования A/B/C/D (начинается с слайда 74), анализируя результаты с использованием G-теста (который, как он говорит, связан с хи-квадратом), но не ясен детали использования коэффициента выдумки. Это также предполагает, что вы можете использовать подход A/B/C/D для устранения альтернатив до тех пор, пока не получите четкого победителя в сравнении A/B.

This site дает пример теста A/B/C/D (включая контроль) и показывает, как сравнить коэффициент конверсии для определения победителя. В отличие от this approach, он не рекомендует устранять альтернативы, а выбирает победителя сразу с места в карьер (с учетом статистически значимых результатов).

Возможно, я наивен, но я думаю, что к настоящему времени библиотека анализа статистики будет существовать, чтобы справиться с этой самой проблемой. Я также хотел бы получить дополнительную информацию о том, какие алгоритмы/уравнения необходимы для решения этих проблем. Прошло много времени с моего класса в области статистики.

Answer 1

Для сравнения событий, вы можете приблизиться к этому, используя Beta distributions. У каждой альтернативы есть некоторая ненаблюдаемая вероятность возникновения события. Если вы наблюдаете X положительные события из N, то ваша неуверенность в р может быть смоделирована Beta (X + 1, N-X + 1).

Вы можете сравнить два варианта, глядя на P (рА> рв), где пА и рв являются два бета-распределения. Методы вычисления вероятности неравенства можно найти в этом paper.

Вы также можете вычислить E [pA-pB], размер эффекта или вычислить его доверительные границы.