Амазонка Афина: разделительная линия, разделенная |

Question

У меня есть файлы, где каждая строка имеет формат входа:

key1=val1|key2=val2|key3=val3 

Как сделать Amazon Афина разделить это на колоннах key1, key2 и key3?

Answer 1

Вы можете создать таблицу на основе Regex. Таким образом, вы можете определить схему разбора для вашей таблицы.

Для вас образец DDL будет выглядеть следующим образом.

CREATE EXTERNAL TABLE IF NOT EXISTS test (
    key1 string, 
    key2 string, 
    key3 string 
) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe' 
WITH SERDEPROPERTIES (
"input.regex" = "^key1=([^\\|]+)\\|key2=([^\\|]+)\\|key3=([^\\|]+)$" 
) LOCATION 's3://njams-data/test/';