Загрузить CSV с помощью Pig

Я пытаюсь загрузить файл CSV с помощью Pig, но CSV-файл уже содержит «запятые» в некоторых столбцах, поэтому использование PigStorage (',') дает мне неправильные ответы.Загрузить CSV с помощью Pig

Я уже пробовал эти:

REGISTER /......./piggybank.jar 

LOAD '...PATH_TO_INPUT_FILE' USING CSVLoader(',') AS (...fieldnames)

LOAD '...PATH_TO_INPUT_FILE' USING CSVExcelStorage(',') AS (...fieldnames)

И все они не дают желаемого результата. Запись, которая не содержит запятой в своих значениях, они работают нормально, но остальные из них не являются.

источник

2016-03-13 Kushagra Mahajan

Вы можете разместить несколько входных строк из набора данных, которые вы пытаетесь обработать? – CodeReaper

Итак, у вас есть файл CSV со значениями, разделенными запятой, но некоторые из значений содержат запятые и не экранируются каким-либо образом? Если это так, у вас проблемы ... – LiMuBei

Вы определили метод CSVLoader() или CSVExcelStorage()?

DEFINE CSVLoader org.apache.pig.piggybank.storage.CSVLoader();

ИЛИ

DEFINE CSVExcelStorage() org.apache.pig.piggybank.storage.CSVExcelStorage();

Или же вы можете передать метод непосредственно как этот

LOAD 'test.txt' USING org.apache.pig.piggybank.storage.CSVLoader(',') 
LOAD 'test.txt' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',')

источник

2016-03-14 13:57:32

Не пробовал DEFINE один, но попробовал два других: LOAD 'test.txt' ИСПОЛЬЗОВАНИЕ org.apache.pig.bank.storage.CSVLoader (',') LOAD 'test.txt' ИСПОЛЬЗОВАНИЕ org.apache.pig.piggybank.storage.CSVExcelStorage (',') Это не работает. –

ответ

Смежные вопросы