Загрузите несколько ключей с массивами значений в свиньи

Question

У меня есть некоторые данные в следующей форме ключа, которую мне нужно загрузить в Pig.

{"California":["NJ","Seattle","NY"],"NJ":["California","Seattle","NY"],"NY":["NJ","Seattle","California"],"Seattle":["NJ","California","NY"]} 

Данные получены в одной строке. В конечном итоге мне нужно иметь доступ к ключам как источникам и массиву значений в качестве возможных мест назначения на Pig.

Я пробовал несколько способов загрузить эти данные с помощью JsonLoader, загрузчика JSON слона, но он сохранял возвращаемые пробелы вместо данных.

Пожалуйста, помогите.

Answer 1

JsonLoader ожидает наличия предопределенной схемы в отличие от того, что у вас есть. Насколько велик ваш набор данных? Если это не так уж и много, вам лучше писать простой python/Java UDF, который берет всю строку json, конвертирует в мешок кортежей, который вы хотите. В сценарии свиней просто позвоните в этот UDF и позвоните по номеру FLATTEN на сумке, которую он возвращает.