Как мы можем объединить эти n файлов частей (выходной файл из операции свиньи). Мне нужно объединить эти файлы в один, а затем использовать это как вход в куст. Я пробовал использовать -cat и -getmerge, но не повезло. Любое предложение будет полезно.Слияние файлов деталей в PIG
Благодаря
Класс Hadoop FileUtil имеет метод copyMerge, который очень хорошо обрабатывает проблему с файлами нескольких частей.
Он возьмет все файлы в папке, которую вы предоставляете (хотя не будет выглядеть рекурсивно) и объедините их все, чтобы создать один файл.
Вы можете указать файл в следующей манере
A = LOAD '/hdfs/OUTPUT/ReliableProducts-r-*' using PigStorage('\t') as (Sid:int,Sname:chararray,Ttrading:chararray,Sloc:chararray,OBal:int,CBal:int,Frate:int);
Надеюсь, это поможет !!!
Возможный дубликат [как загрузить несколько текстовых файлов в папку в свинге с помощью команды загрузки?] (Http://stackoverflow.com/questions/23622288/how-to-load-multiple-text-files-in- а-папка-в-свинки-с использованием нагрузки-команды) –