Производительность OpenTSDB

Question

Требуется 6 секунд для возврата json из 9000 точек данных. У меня есть около 10 ГБ данных в 12 метрик говорят x.open, x.close ...

шаблон

хранения данных: Метрика: x.open
tagk: символ
tagv: stringValue

Метрика: x.close
tagk: символ
tagv: stringValue

Мои Конфигурации находятся в настройки кластера следующим

Узел 1: (Real 16GB ActiveNN) JournalNode, NameNode, Zookeeper, RegionServer, HMaster, DFSZKFailoverController, ТСД

Node 2: (VM 8GB StandbyNN) JournalNode, NameNode, Zookeeper, RegionServer

Node 3: (Real 16GB) DataNode, RegionServer, ТСД

Узел 4: (VM 4GB) JournalNode, Datanode, Zookeeper, RegionServer установка предназначена для POC/Dev не для производства.

ширь метки времени как, один DataPoint каждый в течение дня для каждого символа при easch метрики с 1980 по сегодняшний дню .. Если приведенное выше утверждение путает (Мои 12 метрик будут получать 3095 точек данных добавляются каждый день в непрерывном запустить один для каждого символа)
Cardinality для значений тегов в текущем сценарии 3095+ символы

запроса. Пример: http://myIPADDRESS:4242/api/query?start=1980/01/01&end=2016/02/18&m=sum:stock.Open {символ = IBM} & массивы = истина

Отладчик Результат: 8.44sec; получаемые данные 8859; datasize: 55kb

Скорость записи данных также медленная, требуется 6,5 часа для записи 2,2 миллиона точек данных. Я что-то не так с конфигурациями или ожидаю?

Метод записи: объекты JSon через Http

засолки Включено: Нет

Answer 1

слишком много данных в одной метрике приведет к производительности вниз. Результатом может быть 9000 точек данных, но исходный набор данных может быть слишком большим. Производительность извлечения 9000 точек данных из миллиона будет сильно отличаться от получения 9000 точек данных от одного миллиарда.