Запись слишком велика для буфера в памяти. Ошибка при работе с ORC-таблицами Hive через TEZ

Question

Мы пытаемся прочитать данные из таблицы ORC в HIVE (1.2.1) и поместить эти данные в таблицу с помощью «TextInputFormat». Некоторые записи слишком велики, в исходных данных и следующее сообщение об ошибке во время работы:

org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.tez.runtime.library.common.sort. impl.ExternalSorter $ MapBufferTooSmallException: Запись слишком велика для буфера в памяти. Превышено ограничение переполнения буфера, bufferOverflowRecursion = 2, bufferList.size = 1, BLOCKSIZE = 1610612736

Любые идеи, как решить эту проблему?

Мы используем двигатель TEZ для выполнения запросов и ошибок с простым двигателем MR нет.

запроса выполнить:

insert overwrite table visits_text_test_1m select * from visits where dt='2016-01-19' limit 1000000; 

UPD: Та же ошибка при копировании из ORC для хранения ORC.

Обновление 2: Простой «выбор» из ORC работает очень хорошо с любым движком.

Answer 1

Подсказка №1: просто переключитесь с TEZ на MapReduce перед запуском вашего запроса - медленнее, но более устойчивым.

set hive.execution.engine = mr ;

Подсказка # 2: так как исключение выходит из ужасного TEZ ExternalSorter зверь, рыть в свойства, такие как Tez tez.runtime.sorter.class, tez.runtime.io.sort.mb и т.д. Имейте в виду, что нахождение рабочего набора свойств (даже говоря о настройке их в соответствии с вашим hive.tez.container.size), вероятно, потребуется какая-то жертва вуду.

Cf. HortonWork's Configuring Tez руководство для начинающих.

Answer 2

как samson сказал, что вы, возможно, захотите увеличить размер контейнера, а также я обнаружил, что JOIN действительно приводит к проблеме, потому что по умолчанию улья преобразуют соединение в MAPJOIN. Вы можете попробовать выполнить следующие настройки в запросе и посмотреть, помогает ли это:

set hive.auto.convert.join=false; 
set hive.auto.convert.join.noconditionaltask=false;