2015-02-23 2 views
4

У меня проблема, когда Querying в формате файла ORCОшибка в режиме ожидания в процессе обработки строки в улье

Я пытался выполнить запрос ниже.

ВСТАВИТЬ В ТАБЛИЦУ. ВЫБЕРИТЕ ИЗ . ГДЕ УСЛОВИЯ;

TaskAttempt 2 не удалось, информация = [Ошибка: сбой в то время как работает задачу: java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveExceptio улей Runtime Ошибка при обработке строки at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor (TezProcessor.java:186) at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run (TezProcessor.java: 138) на org.apache.tez.runtime.LogicalIOProcessorRuntimeTask.run (LogicalIOProcessorRuntimeTask.java:324) в org.apache.tez.runtime.task.TezTaskRunner $ TaskRunnerCallable $ 1.Run (TezTaskRunner.java:176) в орг .apache.tez.runtime.task.TezTaskRunner $ TaskRunnerCallable $ 1.run (TezTaskRunner.java:168) at java.security.AccessController.doPrivileged (собственный метод) at javax.security.auth.Subject.doAs (Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1628) в org.apache.tez.runtime.task.TezTaskRunner $ TaskRunnerCallable.call (TezTaskRunner.java:168) в org.apache.tez.runtime.task.TezTaskRunner $ TaskRunnerCallable.call (TezTaskRunner.java:163) на java.util.concurrent.FutureTask.run (FutureTask.java:266) на java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1142) на java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor .java: 617) at java.lang.Thread.run (Thread.java:745) Используется: java.lang.Runt imeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Ошибка при обработке строки по адресу org.apache.hadoop.hive.ql.exec.tez.MapRecordSource.processRow (MapRecordSource.java:91) at org.apache.hadoop.hive.ql.exec.tez.MapRecordSource.pushRecord (MapRecordSource.java:68) at org.apache.hadoop.hive.ql.exec.tez.MapRecordProcessor.run (MapRecordProcessor.java:294) at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor (TezProcessor.java:163) ... 13 еще Используется: org.apache.hadoop.hive.ql.metadata.HiveException: Ошибка выполнения Hive при обработке строки на org.apache.hadoop.hive.ql.exec.vector.VectorMapOperator.process (VectorMapOperator.java:52) на org.apache.hadoop.hive.ql.exec.tez.MapRecordSource. процедура essRow (MapRecordSource.java:83) ... 16 еще Используется: org.apache.hadoop.hive.ql.metadata.HiveException: Ошибка при оценке 'Hotels4U' at org.apache.hadoop.hive.ql.exec .vector.VectorSelectOperator.processOp (VectorSelectOperator.java:126) at org.apache.hadoop.hive.ql.exec.Operator.forward (Operator.java:815) at org.apache.hadoop.hive.ql.exec .TableScanOperator.processOp (TableScanOperator.java:95) at org.apache.hadoop.hive.ql.exec.MapOperator $ MapOpCtx.forward (MapOperator.java:157) at org.apache.hadoop.hive.ql.exec .vector.VectorMapOperator.process (VectorMapOperator.java:45) ... 17 еще Используется: java.lang.ArrayIndexOutOfBoundsException: 48 at org.apache.hadoop.hive.ql.exec. vector.expressions.ConstantVectorExpression.evaluateBytes (ConstantVectorExpression.java:124) at org.apache.hadoop.hive.ql.exec.vector.expressions.ConstantVectorExpression.evaluate (ConstantVectorExpression.java:156) at org.apache.hadoop. hive.ql.exec.vector.VectorSelectOperator.processOp (VectorSelectOperator.java: 124)

ответ

1

Чтобы решить эту проблему, установите параметры ниже из оболочки улья.

hive>set hive.vectorized.execution.enabled=false; hive>set hive.vectorized.execution.reduce.enabled=false;

Затем запустите Вкладыш перезаписать команды.

2

У меня была аналогичная проблема. Оказалось, это потому, что мне не хватает места. После того, как я удалил некоторые старые таблицы в Hive и выпустил некоторое пространство памяти, он работает нормально.

+0

Один взлет для этого. Удаление старых файлов из HDFS помогло мне решить проблему. Большое спасибо. – sunitha