amazon-data-pipeline

2зной

1ответ

Создание заголовков столбцов в файлах CSV/TSV с использованием AWS Data Pipeline?

Я создаю CSV & TSV-файлы с использованием AWS Data Pipeline. Файлы создаются просто отлично, но я не могу понять, как создавать файлы с заголовками столбцов. Сначала я ожидал, что заголовки будут авто

1зной

1ответ

AWS Data Pipeline RedshiftCopy activity Нет подходящих драйверов

Я пытаюсь выполнить redshift copyactivity от S3 до Redshift и получить следующую ошибку при запуске. 01 Feb 2017 04:08:38,467 [INFO] (TaskRunnerService-resource:[email protected]_2017-02-01T03:43:47-0

0зной

1ответ

Конвейер данных AWS - «Полная копия rds mysql table to s3» нет строки подключения в параметрах?

В настоящее время я работаю над своим первым конвейером, копируя данные с RDS на S3. Я следую рекомендациям Amazon (см. Ниже). Для моего случая не существует строки строки подключения RDS MySQL. Кто-н

0зной

1ответ

Настройка конвейера данных AWS на долговременном кластере EMR

Если у меня есть длительный период работы EMR-кластера, и после этого я хочу настроить Data Pipeline на что-то в этом кластере, как я могу это сделать? Я должен установить Task Runner на этом кластере

0зной

1ответ

Pipeline данных дампа для DynamoDb S3, удалось все время

я использовал инструкцию для установки отвалов DynamoDb: http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part2.html установка трубопровода данных было хорошо. Но посл

3зной

1ответ

Truncate DynamoDb или переписать данные через Data Pipeline

Существует возможность сбрасывать DynamoDb через Data Pipeline, а также импортировать данные в DynamoDb. Импорт идет хорошо, но все время данные добавляются к уже существующим данным в DynamoDb. На да

0зной

2ответ

Как обеспечить пароль базы данных Redshift в скрипте Python в Datapipeline AWS?

Я использую Redshift и должен написать некоторые пользовательские сценарии для создания отчетов. Я использую AWS datapipeline CustomShellActivity для запуска моей пользовательской логики. Я использую

3зной

1ответ

Использование конвейера даты Amazon для резервного копирования ведра S3 - как пропустить существующие файлы и избежать ненужной перезаписи?

Я использую трубопровод даты Амазонки для копирования и ведро S3 в другое ведро. Это довольно простая настройка и работает ночной. Тем не менее, каждый последующий запуск копирует одни и те же файлы с