Рабочий процесс для разработки криволинейных приложений на amazon ec2/S3

Question

Многое было написано о развертывании приложений хруста для данных на EC2/S3, но я хотел бы знать, каков типичный рабочий процесс для разработки таких приложений?

Допустим, у меня есть 1 ТБ данных временных рядов, и мне удалось сохранить это на S3. Как написать приложения и провести интерактивный анализ данных для создания моделей машинного обучения, а затем написать большие программы для их тестирования? Другими словами, как же организовать настройку среды dev в такой ситуации? Я загружаю экземпляр EC2, разрабатываю программное обеспечение и сохраняю свои изменения и выхожу каждый раз, когда хочу сделать какую-то работу?

Как правило, я запускаю R или Pylab, считываю данные с локальных дисков и делаю свой анализ. Затем я создаю приложения, основанные на этом анализе, и позволяю им потерять эти данные.

На EC2 я не уверен, смогу ли я это сделать. Сохраняют ли данные данные локально для анализа и используют только EC2, когда у них есть большие задания моделирования?

Мне очень любопытно узнать, что делают другие люди, особенно начинающие, которые имеют всю свою инфраструктуру на базе EC2/S3.

Answer 1

Мы создаем базовую линию, custom AMI со всеми программами, которые мы знаем, мы всегда будем нуждаться в AMI.

Программного обеспечение мы разрабатываем (и постоянно) хранятся на внешнем накопителе (мы используем репозиторий Maven, но вы можете использовать что-нибудь, что хорошо работает с окружающей средой.

Затем мы запустим наш обычай AMI со всем нам нужно на него, развернуть самую последнюю версию программы с Maven, и мы хорошо идти

Так рабочий процесс:.

Настройка

Создание пользовательских AMI с вещами, мы всегда должны

Текущая

Разработка программного обеспечения локально Развертывание двоичных файлов на внешнем хранилище (Maven хранилище в нашем случае) запустим несколько экземпляров пользовательского AMI при необходимости Копирование двоичных файлов из внешнего хранилища в каждый экземпляр Запуск на каждом экземпляре

Answer 2

I-slash-У нас есть опыт, делающий то, что вы пытаетесь сделать. Что Эрик Дж. В основном суммировал. Но позвольте мне повторить,

1. Настройте репозиторий кода на сервере, который всегда вверх. Мы используем подрывную деятельность. Этот сервер не должен быть машиной ec2, или очень хорошо может быть ec2. Твой выбор.

2. Создайте пользовательский AMI; (a) Проверка базы кода на машине EC2. (b) Установка всех зависимостей кода на этом компьютере. (c) Сохранить изображение на s3.

3. В следующий раз загрузка с AMI сохраняется в 1.Сделайте свои эксперименты, измените код по своему усмотрению, проверьте изменения в подрывной деятельности, чтобы, когда вы вернетесь, вы сохранили его.

4. Альтернативой является использование объема EBS. Каждый раз, когда вы запускаете экземпляр EC2, присоедините свой том EBS к нему. Этот том может содержать ваш код и все остальное, что вам нужно для сохранения в облаке!