Hive DDL для паркета формиата со сложными типами данных

Question

Может кто-то помочь мне создать Улья DDL для этого набора данных, который был обработан и сохранен в формате Паркетная ..

свойства:

{ 
    "freq": "8600", 
    "id": "23266", 
    "array": [ 
    { 
     "ver": "201.0.0.F", 
     "key_ver": "201.0.0.F", 
     "key": "001I1SS", 
     "code": "ACDEE", 
     "prod_code": "DSADVVSS", 
     "prod_key": "001123" 
    } 
    ], 
    "ipm": null, 
    "offline": "1234234209600" 
} 

Answer 1

CREATE TABLE my_table(freq INT, id INT, array<struct<ver: FLOAT, key_ver: FLOAT, key: STRING, code: STRING, prod_code: STRING, prod_key: INT>>, ipm: **UNKOWN**, offline: BIGINT>

Поскольку JSON имеет гораздо меньше типов, чем Hive, мы не можем получить всю необходимую информацию из всего, что вы разместили. Например, мы не знаем, что должно быть типа ipm, и мы не знаем, должно ли id быть INT или BIGINT или так далее.

Поскольку вы уже преобразовали этот файл JSON в файл Parquet, вы можете проверить файл Parquet (который имеет больше типов), чтобы лучше понять, какую схему использовать.