У меня есть каталог в моем ведомости S3, который содержит много файлов .CSV, все они отформатированы одинаково (First, Last, Location, Date).AWS Data Pipeline для копирования CSV из S3 в RDS MySQL
Я пытаюсь использовать Data Pipeline для заполнения таблицы базы данных RDS MySQL содержимым этих файлов CSV. К счастью, Amazon уже предлагает шаблон для этого действия.
«Загрузить S3 данные в RDS MySQL таблицы» http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-copys3tords.html
Я заполнил все соответствующую информацию, которую она просит.
Когда я активирую конвейер, он создает CopyActivity и ShellCommandActivity. Операция копирования копирует данные, а действие команды «Шелл» создает таблицу, если она думает, что ее еще нет. Командная команда Shell успешно подключается к моему RDS.
Однако проблема заключается в том, что ShellCommandActivity переключается на статус «FINISHED», фактически не создавая таблицу, а затем CopyActivity застревает в «WAITING_ON_DEPENDENCIES». Весь этот процесс занимает около 20 минут.
Все мои роли имеют полный доступ ко всем услугам.
Если у кого-то есть понимание, прокомментируйте. Я застрял в этом вопросе почти две недели.