2016-10-05 17 views
0
grunt> table_load = load ‘test_table_one’ USING org.apache.hive.hcatalog.pig.HCatLoader(); 
grunt> dump table_load; 

2016-10-05 17: 25: 43798 [Основная] ИНФО org.apache.hadoop.conf.Configuration.deprecation - это fs.default.name устарел. Вместо этого используйте fs.defaultFS 2016-10-05 17: 25: 43,930 [main] INFO hive.metastore - попытка подключения к метасторе с URI бережливость: // localhost: 9084 2016-10-05 17: 25: 43,931 [main] INFO hive.metastore - Открыт подключение к метасторе, ток соединений: 1 2016-10-05 17: 25: 43,934 [main] INFO hive.metastore - Подключен к метасторе. ... 2016-10-05 17: 25: 58,707 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - HadoopJobId: job_1475669003352_0017 2016-10-05 17: 25: 58,707 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Обработка псевдонимов table_load 2016-10-05 17: 25: 58,707 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer .MapReduceLauncher - подробные сведения: M: table_load [7,13] C: R: 2016-10-05 17: 25: 58,716 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 0% завершено 2016-10-05 17: 25: 58,716 [главная] INFO org.apac he.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Запуск рабочих мест [job_1475669003352_0017] 2016-10-05 17: 26: 13753 [главная] WARN org.apache.pig.backend.hadoop.executionengine.mapReduceLayer .MapReduceLauncher - Ой! Некоторая работа потерпела неудачу! Укажите -stop_on_failure, если вы хотите, чтобы Pig немедленно остановился при сбое. 2016-10-05 17: 26: 13,753 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - работа job_1475669003352_0017 провалилась! Остановить запуск всех зависимых jobs 2016-10-05 17: 26: 13,753 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 100% завершено 2016-10-05 17:26: 13,882 [главная] ОШИБКА org.apache.pig.tools.pigstats.mapreduce.MRPigStatsUtil - 1 карта уменьшить вакансий не удалось! 2016-10-05 17: 26: 13,883 [главная] INFO org.apache.pig.tools.pigstats.mapreduce.SimplePigStats - Script Статистика:Свиньи Hcatalog не удалось прочитать данные из таблицы улья

HadoopVersion PigVersion UserId StartedAt FinishedAt Особенности 2.6.0 0.15.0 hadoop 2016-10-05 17:25:57 2016-10-05 17:26:13 UNKNOWN

Ошибка!

Failed Jobs: JobId Alias ​​Feature Message Outputs job_1475669003352_0017 table_load MAP_ONLY Сообщение: Работа не удалась! HDFS: // mycluster/TMP/temp81690062/tmp2002161033,

вход (ы): Ошибка чтения данных из «test_table_one»

выход (ы): Не удалось произвести привести к «HDFS: // mycluster/TMP/temp81690062/tmp2002161033”

Счетчики: Всего записи написаны: 0 Всего байты написано: 0 протекающих памяти счета разливов менеджера: 0 Всего мешки проактивны пролитое: 0 Всего записей активно пролиты: 0

Работы DAG: job_1 475669003352_0017

2016-10-05 17: 26: 13883 [главная] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Ошибка! 2016-10-05 17: 26: 13,889 [main] ОШИБКА org.apache.pig.tools.grunt.Grunt - ERROR 1066: невозможно открыть итератор для alias table_load Подробности в файле журнала: /home/hadoop/pig_1475674706670. log

Помогите мне найти, почему это происходит со мной.?

+0

попробуйте эту свинью -useHCatalog –

+0

Похож на проблему с доступом. Можете ли вы проверить журналы неудавшейся задачи на Yarn resourcemanager. – vgunnu

+0

Grunt был запущен с помощью pig -useHCatalog @ArunakiranNulu – onlyvinish

ответ

0

Используйте либо pig -useHCatalog, либо используйте pig и зарегистрируйте поддерживающие JARS для HCAT для работы с хрюканьем.

Вы можете найти необходимые банки, которые были переданы в HDFS при использовании pig -useHCatalog.

0
grunt> table_load = load ‘test_table_one’ USING org.apache.hive.hcatalog.pig.HCatLoader(); 
grunt> dump table_load; 

Это может быть причиной того, что вы не создали таблицу улья с точным названием. Проверьте таблицу и схему улья для того же самого. Перед использованием Hcatlog нам нужно создать схему таблицы сверху в месте, откуда мы загружаем данные. uSE любое имя очереди, если требуется. Перед выполнением проверьте таблицу в улье.

Надеюсь, это поможет. Попробуйте