Google Web Optimizer - Как долго до выигрышной комбинации?

У меня был тест A/B, работающий в Google Web Optimizer в течение шести недель, и до сих пор нет конца. Google все еще говорит: «Мы еще не собрали достаточно данных, чтобы показать какие-либо существенные результаты. Когда мы собираем больше данных, мы сможем показать вам выигрышную комбинацию».Google Web Optimizer - Как долго до выигрышной комбинации?

Есть ли способ сообщить, насколько близко Google должен решить? (Кто-нибудь знает, какой алгоритм не использует, чтобы решить, если там было никаких «высоких победителей доверия»?)

Согласно справочной документации Google:

Иногда нам просто нужно больше данных, чтобы быть в состоянии достигают уровня доверия. Для тестируемой комбинации обычно требуется около 200 конверсий , чтобы судить о ее производительности с достоверностью .

Но все наши преобразования имеют более 200 разговоров на данный момент:

230/4061 (Original)
223/3937 (вариант 1)
205/3984 (вариант 2)
205/4007 (Вариант 3)

Сколько еще нужно будет запускать?

Спасибо за любую помощь.

источник

2010-06-11 Chuck Le Butt

Я африканец, у меня нет ответа на ваш вопрос, однако вопрос для вас, если все в порядке? !!! Как вы нашли isomg GWO, вы бы порекомендовали его? (т. е. легко развертывать любые проблемы с производительностью?) извините за то, что вы перепутали свой вопрос! – Haroldo

Да. Все идет нормально. Он чрезвычайно прост в использовании и чрезвычайно мощный. Тестирование A/B не столько «если», это скорее «когда», а GWO кажется хорошей системой - если бы я знал, когда закончится эксперимент!:) –

Я использую этот калькулятор, чтобы найти объем данных, который мне понадобится, чтобы получить signficance (хотя для расстояния он использует 90% вместо 95%) http://www.usereffect.com/split-test -calculator Так, например, Original или Variance 2, вам нужно еще 12 000 результатов, чтобы получить окончательный ответ. – Yahel

Есть ли способ сообщить, насколько близко Google должен решить?

Вы можете использовать калькулятор GWO, чтобы определить, сколько времени пройдет тест на основе ряда предположений, которые вы предоставляете. Имейте в виду, что возможно, что между вашей тестовой комбинацией нет существенной разницы, и в этом случае тест, чтобы увидеть, что лучше всего, займет бесконечное количество времени, потому что невозможно найти победителя.

(Кто-нибудь знает, какой алгоритм не использует, чтобы решить, если там было никаких «высоких победителей доверия»?)

That is a mystery, но большинство, если не все, статистические тесты, есть то, что называемое р-значением, которое является вероятностью получения результата столь же экстремальным, как тот, который наблюдается только случайно. Тесты GWO выполняются до тех пор, пока значение p не достигнет некоторого порога, вероятно, 5%. Чтобы быть более ясными, тесты GWO выполняются до тех пор, пока комбинация не будет значительно лучше, чем исходная комбинация, так что результат будет иметь 5% -ный шанс случайно возникнуть.

Для вашего теста, похоже, нет значительного победителя, это галстук.

источник

2010-06-13 09:00:09 erikvold

Я не могу поверить, что это будет продолжаться вечно :(Спасибо за информацию, Эрик! –

Интересно отметить, что на этой странице говорится о «неубедительных результатах», возможно, предполагая, что тесты могут закончиться без явного победителя? ? http://www.google.com/support/websiteoptimizer/bin/answer.py?hl=ru_RU&ctx=gwo-sal-%2Fsiteopt%2Freports&answer=55947 –

"возможно, что тесты могут закончиться без явного победителя?" no это говорит о том, что я говорю, это то, что тест может продолжаться вечно, пока вы что-то не сделаете. – erikvold

Google Web Optimizer - Как долго до выигрышной комбинации?

ответ

Смежные вопросы