Создание таблицы и запроса данных json с использованием Amazon Athena?

Question

Я хочу запросить JSON данные формата с помощью Amazon Афина:

[{"id":"0581b7c92be", 
    "key":"0581b7c92be", 
    "value":{"rev":"1-ceeeecaa040"}, 
    "doc":{"_id":"0581b7c92be497d19e5ab51e577ada12","_rev":"1ceeeecaa04","node":"belt","DeviceId":"C001"}}, 
{"id":"0581b7c92be49", 
    "key":"0581b7c92be497d19e5", 
    "value":{"rev":"1-ceeeecaa04031842d3ca"}, 
    "doc":{"_id":"0581b7c92be497","_rev":"1ceeeecaa040318","node":"belt","DeviceId":"C001"} 
} 
] 

Answer 1

Афина DDL основан на улей, так и будет хотеть каждый объект JSON в массиве, чтобы быть в отдельной строке:

{"id": "0581b7c92be", "key": "0581b7c92be", "value": {"rev": "1-ceeeecaa040"}, "doc": {"_id": "0581b7c92be497d19e5ab51e577ada12", "_rev": "1ceeeecaa04", "node": "belt", "DeviceId": "C001"} } 
{"id": "0581b7c92be49", "key": "0581b7c92be497d19e5", "value": {"rev": "1-ceeeecaa04031842d3ca"}, "doc": {"_id": "0581b7c92be497", "_rev": "1ceeeecaa040318", "node": "belt", "DeviceId": "C001"} } 

Возможно, у вас могут возникнуть проблемы с вложенными полями («значение», «doc»), поэтому, если вы можете сгладить jsons, вам будет легче. (см. например: Hive for complex nested Json)