apache-pig

2зной

1ответ

Как читать данные из мешка данных в PIG сценарии

У меня есть databag, который является следующим форматом {([ChannelName#{ (bigXML,[])} ])} DataBag состоит только из одного элемента, который является кортежем. Tuple состоит только из элемента, котор

4зной

6ответ

Если у меня есть конструктор, который требует пути к файлу, как я могу «подделать», если он упакован в банку?

Контекст этого вопроса заключается в том, что я пытаюсь использовать maxmind java api в скрипте свиньи, который я написал ... Я не думаю, что знание об этом необходимо, чтобы ответить на вопрос. API m

0зной

2ответ

Свинья: изменение формата выходного файла NAME

Я запускаю эластичный трубопровод перекодировки, который использует выходные данные из нескольких сценариев свиньи. По сути, вывод скрипта свиньи хранится в определенном месте на S3, и поскольку разме

1зной

1ответ

Cassandra вставки свинья исключение

Я использую свинью CassandraStroage(), чтобы вставить большие наборы данных в Кассандре, после запуска 4 часа, он упал со следующим исключением: java.lang.NullPointerException at org.apache.cass

1зной

2ответ

Как создать пользовательскую схему из отношения в Pig?

У меня есть схема, описывающая значения tf-idf для слов в разных статьях. Его описание выглядит следующим образом: tfidf_relation: {word: chararray,id: bytearray,tfidf: double} Вот пример таких данн

1зной

1ответ

Пропустить запись в LoadFunc.getNext()

Я расширяю LoadFunc. В функции getNext я хотел бы пропустить возврат кортежа при определенных условиях - таким образом, я мог загружать только образец файла данных. Я попытался вернуть null для строк,

1зной

2ответ

Сгенерировать несколько выходов с помощью Hadoop Pig

У меня есть этот файл, содержащий список данных в Hadoop. Я построил простой скрипт Pig, который анализирует файл по номеру и т. Д. Последний шаг, который я ищу, - это: Я хотел бы создать (сохранить)

4зной

1ответ

Загрузка файла файла protobuf в скрипт свиньи с помощью loadfunc pig UDF

У меня очень мало знаний о свинье. У меня есть файл данных формата protobuf. Мне нужно загрузить этот файл в скрипт свиньи. Мне нужно написать LoadFunc UDF, чтобы загрузить его. функция Protobufloader