не удается получить данные avro для массива <struct <string, string >> в строках

Question

Привет, У меня есть схема avro с массивом struct, и я могу сохранять данные как avro. но при получении данных от

array<struct<string, string>> 

Я не могу попасть в ряды. Все данные, которые я получаю в одной строке.

здесь определение таблицы

CREATE EXTERNAL TABLE meterevents ROW FORMAT SERDE org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED as INPUTFORMAT org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat' LOCATION '/......' TBLPROPERTIES ('avro.schema.url'='/..../schema.avsc');

улей структура таблицы

nametype    struct<nametypedescription:string,nametypename:string,nametypeauthority:struct<nametypeauthorityname:string,nametypeauthoritydescription:string>>  from deserializer 
 
names     struct<name:string,nametype:struct<nametypedescription:string,nametypename:string,nametypeauthority:struct<nametypeauthorityname:string,nametypeauthoritydescription:string>>> from deserializer 
 
enddeviceeventdetails struct<enddeviceeventdetailsname:string,enddeviceeventdetailsvalue:string>  from deserializer 
 
enddeviceevent   struct<mrid:string,createddatetime:string,issuerid:string,issuertrackingid:string,reason:string,severity:string,userid:string,asset:struct<assetmrid:string,assetnames:array<struct<name:string,nametype:struct<nametypedescription:string,nametypename:string,nametypeauthority:struct<nametypeauthorityname:string,nametypeauthoritydescription:string>>>>>,enddeviceeventdetails:array<struct<enddeviceeventdetailsname:string,enddeviceeventdetailsvalue:string>>,enddeviceeventtype:string,enddeviceeventnames:array<struct<name:string,nametype:struct<nametypedescription:string,nametypename:string,nametypeauthority:struct<nametypeauthorityname:string,nametypeauthoritydescription:string>>>>,status:struct<statusdatetime:string,statusreason:string,statusremark:string,statusvalue:string>,usagepoint:struct<usagepointmrid:string,usagepointnames:array<struct<name:string,nametype:struct<nametypedescription:string,nametypename:string,nametypeauthority:struct<nametypeauthorityname:string,nametypeauthoritydescription:string>>>>>>  from deserializer 
 
enddeviceeventtype  struct<enddeviceeventtypemrid:string,enddeviceeventtypedomain:string,enddeviceeventtypeeventoraction:string,enddeviceeventtypesubdomain:string,type:string,enddeviceeventtypenames:array<struct<name:string,nametype:struct<nametypedescription:string,nametypename:string,nametypeauthority:struct<nametypeauthorityname:string,nametypeauthoritydescription:string>>>>>  from deserializer 
 
header     struct<noun:string,context:string,verb:string,value:string,source:string,timestamp:string,correlationid:string,name:string,messageid:string,property:struct<propertyname:array<string>,propertyvalue:array<string>>> from deserializer 
 
payload     struct<enddeviceevents:array<struct<mrid:string,createddatetime:string,issuerid:string,issuertrackingid:string,reason:string,severity:string,userid:string,asset:struct<assetmrid:string,assetnames:array<struct<name:string,nametype:struct<nametypedescription:string,nametypename:string,nametypeauthority:struct<nametypeauthorityname:string,nametypeauthoritydescription:string>>>>>,enddeviceeventdetails:array<struct<enddeviceeventdetailsname:string,enddeviceeventdetailsvalue:string>>,enddeviceeventtype:string,enddeviceeventnames:array<struct<name:string,nametype:struct<nametypedescription:string,nametypename:string,nametypeauthority:struct<nametypeauthorityname:string,nametypeauthoritydescription:string>>>>,status:struct<statusdatetime:string,statusreason:string,statusremark:string,statusvalue:string>,usagepoint:struct<usagepointmrid:string,usagepointnames:array<struct<name:string,nametype:struct<nametypedescription:string,nametypename:string,nametypeauthority:struct<nametypeauthorityname:string,nametypeauthoritydescription:string>>>>>>>,enddeviceeventtype:array<struct<enddeviceeventtypemrid:string,enddeviceeventtypedomain:string,enddeviceeventtypeeventoraction:string,enddeviceeventtypesubdomain:string,type:string,enddeviceeventtypenames:array<struct<name:string,nametype:struct<nametypedescription:string,nametypename:string,nametypeauthority:struct<nametypeauthorityname:string,nametypeauthoritydescription:string>>>>>>>

Я использую «LATERAL VIEW разведочного Опция де»в моем запросе

select eddetails.enddeviceeventdetailsname, \t eddetails.enddeviceeventdetailsvalue 
 
FROM meterevents_tmp 
 
LATERAL VIEW explode(payload.enddeviceevents.enddeviceeventdetails) ed AS eddetails 
 
limit 1;

, но до сих пор я получаю данные в одной строке.

enddeviceeventdetailsname  enddeviceeventdetailsvalue 
 
["EventSequenceNumber","EventSequenceNumber","EventSequenceNumber","EventSequenceNumber"]  ["683","684","685","686"

Я хотел бы иметь эти данные в качестве

enddeviceeventdetailsname  enddeviceeventdetailsvalue 
 
EventSequenceNumber    683 
 
EventSequenceNumber    684 
 
EventSequenceNumber    685 
 
EventSequenceNumber    686

Я прочитал другой вопрос на StackOverflow: Exploding Array of Struct using HiveQL

Но не удалось получить ожидаемый результат. Поскольку в этой статье его внешний стол для улей, а не serde, где я не могу указать «КЛЮЧИ КАРТЫ, ПРЕКРАЩЕННЫЕ» и «КОЛЛЕКЦИИ, ПРЕКРАЩЕННЫЕ»,

любая помощь очень ценится.

Благодаря

Answer 1

Я был в состоянии решить эту проблему ---

Я не был в состоянии получить выход в ряды, так как

array<struct<string,string>> 

была частью родительского массива

array<struct<array<struct<string, string>>> 

Я обновил свой запрос и использовал вложенный взрыв

select eddetails.enddeviceeventdetailsname, eddetails.enddeviceeventdetailsvalue from (select ede.enddeviceeventdetails FROM meterevents_tmp LATERAL VIEW explode(payload.enddeviceevents) e AS ede) t LATERAL VIEW explode(t.enddeviceeventdetails) ed AS eddetails limit 10; 

я получил желаемый результат -

enddeviceeventdetailsname  enddeviceeventdetailsvalue 
 
EventSequenceNumber  683 
 
EventSequenceNumber  684 
 
EventSequenceNumber  685 
 
EventSequenceNumber  686