Какая будет самая простая реализация системы тестирования A/B, работающей на платформе App?A/B тестирование на App Engine?
Я особенно заинтересован в производительности, связанной с использованием Datastore для back-end (с запросом времени looong) и дизайном базы данных.
Предполагая, что вы хотите протестировать разные версии вашего приложения, я бы предложил использовать простой бит связующего ПО WSGI. Создайте что-то, что направляет x% пользователей на одно приложение WSGI, а остальное - на другое, с учетом любых требований - идентификатора пользователя, IP-адреса и т. Д. Это должно быть довольно простым для реализации, и вы можете собрать все, что захотите, поверх него.
Удовлетворение, но слишком сложное. Прочитайте, насколько легко A/B-тестирование должно быть: http://www.bingocardcreator.com/abingo –
Возможно, что-то подобное возможно и в Python, и в рубине. Я пошел на более общий (хотя и более высокий накладной) подход.:) –
Тест A/B требует показать страницу A некоторым пользователям, а страница B - некоторым другим пользователям.
App Engine не имеет к этому никакого отношения. App Engine - это путь к . Разверните приложений, а не напрямую на страницах.
Это функция веб-фреймворка, которую вы используете для обслуживания той или иной страницы на основе пользовательского файла cookie/сессии.
В простой форме это может быть сделано, как это:
Затем в конкретных контроллерах/представлениях, на основе выбранных А или В, подавать/перенаправлять пользователя на страницу A или на страницу B. Записывать результат (независимо от вашего результата - продажи, регистрации и т. д.) в хранилище данных.
Это может быть сделано для любого веб-фрейма. Вы даже не сказали, какой из них вы используете;)
можно развернуть две версии приложения:
appcfg.py update -V "A" mysiteA/
appcfg.py update -V "B" mysiteB/
А затем создать третью версию, которая просто выбирает ли прокси-сервер пользователя в A.latest .mysite.appspot.com или B.latest.mysite.appspot.com.
Посмотрите на Gae/Bingo, это рамочная система A/B для App Engine, основанная на A/Bingo.
Дополнительная информация here.
Автор GAE/Bingo здесь -> мы потратили особенно долгое время на то, чтобы данные сохранялись в бэкэнд, не влияя на время pageload (сохраняющиеся данные через очереди задач в фоновом режиме и т. Д.). Проверьте ссылки systempuntoout для получения дополнительной информации. – kamens
@kamens хорошая работа там :) – systempuntoout
спасибо! Надеюсь, поможет – kamens
Теперь обычно доступны в SDK 1.6.3 как функция разделения трафика: http://code.google.com/appengine/docs/adminconsole/trafficsplitting.html
Чем больше я читаю ваш вопрос, тем меньше я понимаю. Как A/B относится к хранилищу данных? o_O Не могли бы вы показать нам пример теста, который вы бы сделали? –