Невозможно записать QUEUE задержку п минут - DSE

Question

Один из наших узлов в нашем кластере 3 узла вниз и проверки файла журнала, он показывает ниже сообщения

INFO [keyspace.core Index WorkPool work thread-2] 2016-09-14 14:05:32,891 AbstractMetrics.java:114 - Cannot record QUEUE latency of 11 minutes because higher than 10 minutes. 
INFO [keyspace.core Index WorkPool work thread-2] 2016-09-14 14:05:33,233 AbstractMetrics.java:114 - Cannot record QUEUE latency of 10 minutes because higher than 10 minutes. 
WARN [keyspace.core Index WorkPool work thread-2] 2016-09-14 14:05:33,398 Worker.java:99 - Interrupt/timeout detected. 
java.util.concurrent.BrokenBarrierException: null 
at java.util.concurrent.CyclicBarrier.dowait(CyclicBarrier.java:200) ~[na:1.7.0_79] 
at java.util.concurrent.CyclicBarrier.await(CyclicBarrier.java:355) ~[na:1.7.0_79] 
at com.datastax.bdp.concurrent.FlushTask.bulkSync(FlushTask.java:76) ~[dse-core-4.8.3.jar:4.8.3] 
at com.datastax.bdp.concurrent.Worker.run(Worker.java:94) ~[dse-core-4.8.3.jar:4.8.3] 
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) [na:1.7.0_79] 
at java.util.concurrent.FutureTask.run(FutureTask.java:262) [na:1.7.0_79] 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) [na:1.7.0_79] 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) [na:1.7.0_79] 
at java.lang.Thread.run(Thread.java:745) [na:1.7.0_79] 
WARN [keyspace.core Index WorkPool work thread-2] 2016-09-14 14:05:33,398 Worker.java:99 - Interrupt/timeout detected. 
java.util.concurrent.BrokenBarrierException: null 
at java.util.concurrent.CyclicBarrier.dowait(CyclicBarrier.java:200) ~[na:1.7.0_79] 
at java.util.concurrent.CyclicBarrier.await(CyclicBarrier.java:355) ~[na:1.7.0_79] 
at com.datastax.bdp.concurrent.FlushTask.bulkSync(FlushTask.java:76) ~[dse-core-4.8.3.jar:4.8.3] 
at com.datastax.bdp.concurrent.Worker.run(Worker.java:94) ~[dse-core-4.8.3.jar:4.8.3] 
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) [na:1.7.0_79] 
at java.util.concurrent.FutureTask.run(FutureTask.java:262) [na:1.7.0_79] 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) [na:1.7.0_79] 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) [na:1.7.0_79] 
at java.lang.Thread.run(Thread.java:745) [na:1.7.0_79] 
INFO [keyspace.core Index WorkPool work thread-4] 2016-09-14 14:05:33,720 AbstractMetrics.java:114 - Cannot record QUEUE latency of 13 minutes because higher than 10 minutes. 
INFO [keyspace.core Index WorkPool work thread-4] 2016-09-14 14:05:33,721 AbstractMetrics.java:114 - Cannot record QUEUE latency of 13 minutes because higher than 10 minutes. 

Конфигурация узлов 8 CPU, 32 GB RAM, 500 ГБ дискового пространства. Каковы могут быть причины, по которым только один узел падает?

Answer 1

Поэтому я собираюсь ответить на некоторые общие сведения здесь, ваш случай может быть более сложным. ОЗУ 32 ГБ не может быть достаточно большим для узла Solr; использование коллектора G1 на Java 1.8 оказалось лучше для Solr с размерами кучи выше 26 ГБ.

Я также не знаю, какие размеры кучи, настройки JVM и сколько у вас соляных ядер. Тем не менее, я видел подобные ошибки к этому, когда узел занят индексированием и пытается его ускорить. Однажды из наиболее распространенных проблем, наблюдаемых на узлах Solr в моем опыте, где max_solr_concurrency_per_core остается по умолчанию (закомментирован) в dse.yaml. Это, как правило, выделяет количество потоков индексирования на количество ядер ЦП, а также для того, чтобы усугубить проблему, вы можете увидеть 8 ядер, но если у вас есть HT, то это, вероятно, 4 физических ядра.

Проверьте dse.yaml и убедитесь, что вы устанавливаете его на num physcal cpu cores/num of solr cores с минимальным значением 2. Это может замедляться, но вы должны удалить давление своего узла.

Я рекомендовал бы этот полезный блог здесь как хорошее начало для настройки спецэффекта Solr:

http://www.datastax.com/dev/blog/tuning-dse-search

Также документы по теме:

https://docs.datastax.com/en/datastax_enterprise/4.8/datastax_enterprise/srch/srchTune.html