Что такое реалистичное (но быстрое) бета-тестирование версий?

Question

Моя команда близка к развертыванию нашего приложения, и мы собираемся войти в закрытую бета-версию с некоторыми избранными клиентами. Мне интересно, каков реалистичный таймфрейм для создания новых бета-версий и сколько таких циклов мы могли бы реально ожидать, прежде чем мы сможем назвать первую версию, достаточно стабильную для выпуска.

Приложение само по себе является медицинским приложением для визуализации, поэтому оно абсолютно не может сбой или повреждение данных. Многие пользователи также будут использовать программное обеспечение не менее четырех-восьми часов в день, поэтому я ожидаю, что обычные пользовательские ошибки будут встречены достаточно быстро. Приложение привязано к определенной части аппаратного обеспечения, и если у них есть оборудование, для этого потребуется приложение или предыдущая версия приложения для запуска их оборудования.

Конечно, есть давление сверху, чтобы выпустить его сейчас, сейчас, сейчас! и поскольку они платят мои зарплаты, я обязан следовать их инструкциям, несмотря на любые опасения, которые могут возникнуть в отношении скоростных выпусков.

Я имею в виду, что следующие сценарии могут играть:

1. двухнедельного времени цикла. У нас есть избранная группа пользователей, скажем, от трех до пяти сайтов, и когда они сталкиваются с ошибками, мы их исправляем. Я думаю, что это время цикла является абсурдно быстрым, но я уже чувствую, что это будет то, как хотят, чтобы Powers That Be захотелось развернуть. Для этого подхода мы блокируем продукт для конкретной сборки, и любые ошибки, которые накапливаются, мы исправляем в следующем выпуске (который может быть пятьдесят сборок позже).
2. Шесть недельного времени цикла. У нас есть одна и та же избранная группа пользователей, но эта группа может расти, и по мере ее роста мы действуем так же, как в шаге 1. Не так быстро, как 1, но, конечно, более осторожно. Проблема заключается в том, что пользователи могут получить впечатление, что продукт чрезмерно глючит (если они сталкиваются с ошибками), и не будет иметь отклика на показ до тех пор, пока мы не выпустим еще одну версию, после чего они больше не будут заботиться. Поскольку в этом оборудовании я упоминал ранее, это впечатление от багги может просто перевести на мягкую ворчание, а не на потери продаж. Тем не менее, каждая новая бета-версия будет намного более проверенной, чем последняя.
3. С исправлением ошибок фиксируйте версии в руках пользователей. У нас есть сервер сборки, у нас есть несколько тестеров, и мы довольно быстро реагируем (вы можете даже сказать «подвижный»). Есть ли недостатки в том, чтобы просто выдавать исправления ошибок так же быстро, как мы исправляем ошибку, до тех пор, пока исправление не нарушит некоторые другие действия, которые необходимы программному обеспечению? Если мы примем такой подход, будем ли мы делать циклы или просто бета-период?

Я понимаю, что эти вопросы сильно отличаются от пользователя к пользователю, и что-то вроде бета-периода Blizzard или Gmail немного длиннее. Я все равно хотел бы получить общее представление о том, как я должен отвечать на постоянные вопросы руководства о том, как долго он должен быть в бета-версии.

Answer 1

В нашем случае мы позволяем обратной связи с клиентом диктовать наш цикл. Выпустив начальную бета-версию, мы выслушаем обратную связь. Иногда возникает катастрофическая ошибка, и мы останавливаем развертывание бета-версии, исправляем ее и возобновляем. В других случаях мы собираем ошибки на основе важности клиента, а затем развертываем обновление, как только жалобы умирают. В конечном счете, восприятие клиентом - это то, что наиболее важно здесь (со ссылкой на скорость), и поэтому балансирование их жалоб против того, что хочет менеджмент, является сложным аспектом. В нашем случае мы обычно идем где-то в диапазоне от 2 до 4 недель, исходя из того, сколько и сколько срочных ошибок.

Answer 2

Это похоже на вопрос, который наилучшим образом отвечает сразу после того, как ваша первая волна обратной связи приходит из первоначальной бета-версии. Если клиенты в целом довольны, а проблемы более косметичны, чем структурные, планируйте более короткую бета-сессию. Если вы считаете, что обратное истинно, подготовительное руководство готовится к более продолжительному бета-периоду.

Я не знаю точных особенностей вашего приложения, но я думаю, что расписание релизов будет проще для ваших клиентов. Когда клиент действительно находит проблему с высоким приоритетом, замечательно слышать, что разрешение включено, и оно будет в следующем выпуске через 2 недели или даже 6 недель, если это не месяцы. «Patching», если только чрезвычайно сложный, может вызвать больше проблем, чем он решает, поскольку у клиентов есть странные и сильно разные кодовые базы, что затруднит воспроизведение проблем.

Answer 3

Пойдите с номером 1. Без сомнения, это, вероятно, лучший способ пойти. # 2, очевидно, не идеальна из-за длительного времени цикла. # 3 заманчиво, и это вызовет у вас невероятное количество неприятностей. Вот почему: если вы развертываете исправления для тех, кому они нужны по мере необходимости, вы полностью теряете любую рациональную схему управления версиями и отслеживаете, какой клиент имеет какие исправления и какие версии в лучшем случае сложны.

Answer 4

Я видел одноразовые расписания выпуска. Первый релиз планируется, больше, включает в себя функции, aybe 6-8 недель или иногда больше. Второй - запланированное исправление, 2-недельный интервал. Поэтому каждые 10-12 недель у вас есть 2 релиза.