Ошибка производительности, когда одна строка в Hbase превышает hbase.hregion.max.filesize

Question

В Hbase, я настроил hbase.hregion.max.filesize как 10GB. Если одиночная строка превышает размер 10 ГБ, то строка не будет находиться в двух областях, так как разделение Hbase выполняется на основе строки строки

Например, если у меня есть строка, которая имеет 1000 столбцов, и каждый столбец варьируется от 25 МБ до 40 МБ. Таким образом, есть шанс превысить определенный размер региона. Если это так, как это повлияет на производительность при чтении данных с использованием rowkey или row-key с классификатором столбцов?

Answer 1

Прежде всего, Hbase НЕ предназначен для хранения столь больших данных 10 ГБ в одном ряду (его довольно гипотетический).

Я надеюсь, что вы еще не сохранили 10GB в одной строке (только думать о спасении, что)

Это отрицательно скажется на производительности. Вы рассматриваете другие способы хранения таких данных в hdfs в многораздельной структуре.

В целом, они являются tips for generally applicable batch clients like Mapreduce Hbase jobs

Scan scan = new Scan(); 
scan.setCaching(500); //1 is the default in Scan, which will be bad for MapReduce jobs 
scan.setCacheBlocks(false); // don't set to true for MR jobs 

Может иметь вид на Performance