0
У меня есть секция с разделением на Импала, хранящаяся как Паркет. Могу ли я использовать Pig для загрузки данных из этой таблицы и добавления разделов в виде столбцов?Может ли Pig использоваться для LOAD из таблицы Parquet в HDFS с разделением и добавлять разделы в виде столбцов?
В таблице Паркет определяется как:
create table test.test_pig (
name: chararray,
id bigint
)
partitioned by (gender chararray, age int)
stored as parquet;
И сценарий Свиньи, как:
A = LOAD '/test/test_pig' USING parquet.pig.ParquetLoader AS (name: bytearray, id: long);
Однако gender и age пропадают при DUMP A. Отображаются только name и id.
Я попытался с:
A = LOAD '/test/test_pig' USING parquet.pig.ParquetLoader AS (name: bytearray, id: long, gender: chararray, age: int);
Но я получил бы ошибку, как:
ERROR org.apache.pig.tools.grunt.Grunt - ОШИБКА 1031: несовместима схема: левый это "имя: ByteArray, ID: длинный, пол: ByteArray, возраст: ИНТ", права является "именем: ByteArray, ID: длинный"
Надежда получить ADV лед здесь. Спасибо!