[Amazon] (600000) Ошибка установки/закрытия соединения: сброс соединения с помощью одноранговой сети. [SQL State = HY000, DB ERRORCODE = 600000]

Question

При попытке копирования больших ТПЧ таблицы данных из S3 в моем случае AWS RDS я получаю следующее сообщение об ошибке:

An error occurred when executing the SQL command: 
copy orders from 's3://aqa-pat/tpchData/tpchRawData/100G/orders.tbl' 
credentials 'aws_iam_role=arn:aws:iam::183326689449:role/RedshiftRole' 
delimiter ... 

[Amazon](600000) Error setting/closing connection: Connection reset by peer. [SQL State=HY000, DB Errorcode=600000] 
1 statement failed. 

Execution time: 15m 3s 

Я бегу ТПЧ тесты и создали отдельные файлы таблиц с использованием инструментов dbgen TPC и получать эту ошибку соединения только при загрузке таблиц заказов и таблиц. Загружены другие таблицы.

Что мне делать для решения этой проблемы? Измените область моего экземпляра на область ведра S3?

Answer 1

Для ясности я загружал 100 ГБ данных в таблицу. Я предполагал, что RedShift сможет обрабатывать эту нагрузку; но вернулись к осколкам.

Я решил эту проблему, разделив мои таблицы на манифест JSON на документы AWS.

Вот что манифест выглядит следующим образом:

Copy 
{ 
    "entries": [ 
    {"url":"s3://mybucket-alpha/2013-10-04-custdata", "mandatory":true}, 
    {"url":"s3://mybucket-alpha/2013-10-05-custdata", "mandatory":true}, 
    {"url":"s3://mybucket-beta/2013-10-04-custdata", "mandatory":true}, 
    {"url":"s3://mybucket-beta/2013-10-05-custdata", "mandatory":true} 
    ] 
} 

А вот как ввезти проявляется в красном смещении:

copy customer 
from 's3://mybucket/cust.manifest' 
iam_role 'arn:aws:iam:::role/MyRedshiftRole' 
manifest; 

Вот являются документы для кого-либо еще с подобными проблемами:

http://docs.aws.amazon.com/redshift/latest/dg/loading-data-files-using-manifest.html