Чтение csv из S3 и вставка в таблицу MySQL с AWS Lambda

Question

Я пытаюсь автоматизировать загрузку csv в таблицу MySQL, когда она получена в ведро S3.

Моя стратегия заключается в том, что S3 запускает событие, когда оно получает файл в указанном ведре (назовем его «ведро-файл»). Это событие уведомляется о функции AWS Lambda, которая будет загружать и обрабатывать файл, вставляя каждую строку в таблицу MySql (назовем ее «target_table»).

Мы должны принять во внимание, что RDS находится в VPC.

Текущая конфигурация разрешения ведра:

{ 
    "Version": "2008-10-17", 
    "Statement": [ 
     { 
      "Sid": "PublicReadForGetBucketObjects", 
      "Effect": "Allow", 
      "Principal": { 
       "AWS": "*" 
      }, 
      "Action": "s3:GetObject", 
      "Resource": "arn:aws:s3:::bucket-file/*" 
     } 
    ] 
} 

Я создал роль со следующей политикой, AmazonS3FullAccess и AWSLambdaVPCAccessExecutionRole прикрепленной к функции AWS лямбда.

Код лямбда:

from __future__ import print_function 
import boto3 
import logging 
import os 
import sys 
import uuid 
import pymysql 
import csv 
import rds_config 


rds_host = rds_config.rds_host 
name = rds_config.db_username 
password = rds_config.db_password 
db_name = rds_config.db_name 


logger = logging.getLogger() 
logger.setLevel(logging.INFO) 

try: 
    conn = pymysql.connect(rds_host, user=name, passwd=password, db=db_name, connect_timeout=5) 
except Exception as e: 
    logger.error("ERROR: Unexpected error: Could not connect to MySql instance.") 
    logger.error(e) 
    sys.exit() 

logger.info("SUCCESS: Connection to RDS mysql instance succeeded") 

s3_client = boto3.client('s3') 

def handler(event, context): 

    bucket = event['Records'][0]['s3']['bucket']['name'] 
    key = event['Records'][0]['s3']['object']['key'] 
    download_path = '/tmp/{}{}'.format(uuid.uuid4(), key) 

    s3_client.download_file(bucket, key,download_path) 

    csv_data = csv.reader(file(download_path)) 

    with conn.cursor() as cur: 
     for idx, row in enumerate(csv_data): 

      logger.info(row) 
      try: 
       cur.execute('INSERT INTO target_table(column1, column2, column3)' \ 
           'VALUES("%s", "%s", "%s")' 
           , row) 
      except Exception as e: 
       logger.error(e) 

      if idx % 100 == 0: 
       conn.commit() 

     conn.commit() 

    return 'File loaded into RDS:' + str(download_path) 

Я тестировал функцию и S3 отправляет событие, когда файл загружен, Lambda подключается к экземпляру RDS и получить уведомление. Я проверил, что имя ведра - «bucket-file», и имя файла также верно. Проблема заключается в том, когда функция достигает линии s3_client.download_file(bucket, key,download_path), где она застревает до достижения срока действия ламбы.

Просмотр журналов он говорит:

[INFO] 2017-01-24T14:36:52.102Z SUCCESS: Connection to RDS mysql instance succeeded 
[INFO] 2017-01-24T14:36:53.282Z Starting new HTTPS connection (1): bucket-files.s3.amazonaws.com 
[INFO] 2017-01-24T14:37:23.223Z Starting new HTTPS connection (2): bucket-files.s3.amazonaws.com 
2017-01-24T14:37:48.684Z Task timed out after 60.00 seconds 

Я также читал, что если вы работаете в VPC для того, чтобы получить доступ к S3 ведро вы должны создать VPC Endpoint, который предоставляет доступ к S3 для этой подсети. Я также пробовал это решение, но результат тот же.

Буду признателен за некоторые идеи.

Заранее благодарен!

Answer 1

Я, наконец, получил его!

Проблема была в проблеме VPC. Как я уже сказал, я создал конечную точку VPC, чтобы сделать сервис S3 доступным для моего VPC, но я неправильно настроил таблицу маршрутов.

Итак, в заключение, если вы работаете в VPC с лямбдой и хотите получить доступ к S3, вам нужно создать конечную точку VPC. Кроме того, если вы хотите получить доступ к любому другому интернет-сервису вне вашего VPC, вам необходимо настроить NAT-шлюз.