В настоящее время я использую Amazon Redshift для хранения агрегированных данных из 50 - 100 ГБ (т. Е. Миллионов строк) файлов с разделителями табуляции, которые каждый день помещаются в ведро Amazon S3.Есть ли способ массовой вставки в Amazon Aurora RDS непосредственно из файлов с разделителями таможни Amazon S3 на C#?
Redshift делает это легко, предоставляя команду copy, которая может быть направлена непосредственно на ведро S3 для массовой загрузки данных.
Я хотел бы использовать Amazon Aurora RDS для этой же цели. Документация об Авроре сейчас тонкая, в лучшем случае. Есть ли способ массовой загрузки непосредственно от S3 в Aurora?
Насколько я могу судить,требует пути к файлу на диске, который, я полагаю, могу обойтись, загрузив tsv в экземпляр AWS и выполнив команду оттуда, хотя это не идеально ,
Я также попытался прочитать ЦС в память и построить несколько операторов insert. Это явно медленный и неуклюжий.
Идеи?
ОБНОВЛЕНИЕ 11/2016:
Как Аврора версии 1.8 теперь вы можете использовать следующие команды для навалочных данных нагрузки S3:
LOAD DATA FROM S3
или
LOAD XML FROM S3