Загрузка файла Boto2 дает ConnectionResetError

Question

Я пытаюсь загрузить файлы в ведро S3, используя код с этого вопроса: https://stackoverflow.com/a/15087468/291372. Я использую boto2 (boto3 имеет слишком много зависимостей). Я пробовал много методов, но никто не работает для меня. CORS был проверен на ведро и установить, чтобы происхождение от «*»

Вот мой код:

# -*- coding: utf-8 -*- 

import boto 
import boto.s3 
import sys 
from boto.s3.key import Key 


AWS_ACCESS_KEY_ID = 'XXXXXXXXXXXXX' 
AWS_SECRET_ACCESS_KEY = 'YYYYYYYYYYYYYYYYYYYYYy' 
S3_BUCKET = 'ZZZZZZZZZZZZZZZZZZZZZZ' 

conn = boto.connect_s3(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY) 
bucket = conn.get_bucket(S3_BUCKET) 

testfile = "test.jpg" 
print('{}: Uploading {} to Amazon S3 bucket {}'.format(datetime.now().time().isoformat(), testfile, S3_BUCKET)) 

def percent_cb(complete, total): 
    print(datetime.now().time().isoformat(), complete, total) 
# sys.stdout.write('.') 
# sys.stdout.flush() 


k = Key(bucket) 
k.key = 'my test file' 
k.set_contents_from_filename(testfile, cb=percent_cb, num_cb=5) 

И вот результат можно увидеть в консоли:

19:40:19.760703: Uploading test.jpg to Amazon S3 bucket pickettagent-phase2 
19:40:21.394796 0 85937 
19:40:22.061834 24576 85937 
19:40:24.235959 0 85937 
19:40:24.973001 24576 85937 
19:40:27.542148 0 85937 
19:40:30.110295 0 85937 
19:40:38.648783 0 85937 
19:40:49.520405 0 85937 
19:41:12.959745 0 85937 
19:41:13.644785 24576 85937 
Traceback (most recent call last): 
...... 
ConnectionResetError: [WinError 10054] An existing connection was forcibly closed by the remote host 

Иногда первая колонка (complete) содержит только нули.

После этого код не с исключением ConnectionResetError: [WinError 10054] An existing connection was forcibly closed by the remote host

файла Я пытаюсь загрузить составляет около 85kb, поэтому он должен загрузить в секунду, но на самом деле весь процесс (от начала до исключения) занимает около 40-60 секунд.

Я пробовал другие решения (tinys3, flask-s3, flask-upload), и ничего не работает!

Как загрузить файлы в ведро S3? Может, я пропустил какие-то разрешения?

Answer 1

Попробуйте этот код, я использую его, чтобы загрузить много файлов (большинство из них> 1 Мб):

from boto.s3.connection import S3Connection 
from contextlib import contextmanager 

@contextmanager 
def connect_to_s3(): 
    conn = S3Connection(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY) 

    try: 
     yield conn 
    finally: 
     conn.close() 

with connect_to_s3() as conn: 
    bucket = conn.get_bucket(S3_BUCKET) 
    key = bucket.new_key() 
    key.set_contents_from_filename(file_name, cb=percent_cb, num_cb=5)