Upgrade Pig on HDInsight Emulator

Question

В настоящее время я использую эмулятор HDInsight Hadoop Emulator, который поставляется с версией Pig .12. Наша проблема связана с анализом XML-файлов, и я хотел бы использовать команду XPath из PiggyBank, но она доступна только с версией Pig .13.

a. Могу ли я обновить свиньи в эмуляторе? Как мне это сделать? b. Является ли версия Pig действительно критической, или я могу просто получить последнюю версию файла PiggyBank.jar и использовать ее?

Answer 1

В настоящее время нет возможности обновлять версии компонентов для эмулятора HDInsight (или, по крайней мере, это очень сложно сделать). Я никогда не использовал PiggyBank, но со страницы введения (https://cwiki.apache.org/confluence/display/PIG/PiggyBank) кажется, что это коллекция UDF, которая должна работать с Pig 0.12. Поэтому я предполагаю, что использовать банку напрямую (и, конечно, зарегистрировать ее у свиньи) должно работать.

Кроме того, мы ищем обновленную историю для эмулятора HDInsight - так что не стесняйтесь связаться с нами в hdivstool at microsoft dot com, если у вас есть мысли, комментарии, требования.

Xiaoyong Zhu от команды HDInsight