У меня есть скрипт свиньи, который активирует другую программу python. Я был в состоянии сделать это в своей собственной среде hadoop, но я всегда терпим неудачу, когда запускаю свой сценарий на карте Amazon, уменьшая WS.Ключевое слово STREAM в скрипте свиньи, которое работает в Amazon Mapreduce
Журнал говорят:
org.apache.pig.backend.executionengine.ExecException: ОШИБКА 2090: Получено Ошибка при обработке уменьшить план: '' не удалось со статусом выхода: 127 в org.apache.pig .backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.runPipeline (PigMapReduce.java:347) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.processOnePackageOutput (PigMapReduce.java:288) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce (PigMapReduce.java:260) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce (PigMapRed uce.java:142) at org.apache.hadoop.mapred.ReduceTask.run (ReduceTask.java:321) at org.apache.hadoop.mapred.TaskTracker $ Child.main (TaskTracker.java:2216)
Любая идея?
Не могли бы вы продемонстрировать свою рабочую реализацию? Я нахожусь в одной лодке - я могу запустить UDF python для запуска в локальном режиме, но он не работает, когда я развертываю его в своем кластере. –