конфигурация Кафка на существующем CDH 5.5.2 кластера

Question

Я устанавливаю Кафку-2.0 на мой существующий CDH 5.5.2 кластера, вот процедура, что я следовал

1. Добавить услуги от CM
2. Выбранный Кафки (До этого я скачал и распределяет и активированные Кафка посылку на всех узлах)
3. Selected 1 узлы для KafkaBroker и 4 узлов для Кафки MirrorMaker
4. Тогда я обновил мой Destination Broker List свойство (bootstrap.servers) с одним из зеркала Maker, а также список исходных брокеров (так urce.bootstrap.servers) с таким же узлом

5. Ниже ошибки я получаю (лог-файл)

   Fatal error during KafkaServerStartable startup. Prepare to shutdown 
   java.lang.OutOfMemoryError: Java heap space 
       at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) 
       at java.nio.ByteBuffer.allocate(ByteBuffer.java:331) 
       at kafka.log.SkimpyOffsetMap.<init>(OffsetMap.scala:43) 
       at kafka.log.LogCleaner$CleanerThread.<init>(LogCleaner.scala:186) 
       at kafka.log.LogCleaner$$anonfun$1.apply(LogCleaner.scala:83) 
       at kafka.log.LogCleaner$$anonfun$1.apply(LogCleaner.scala:83) 
       at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245) 
       at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245) 
       at scala.collection.immutable.Range.foreach(Range.scala:166) 
       at scala.collection.TraversableLike$class.map(TraversableLike.scala:245) 
       at scala.collection.AbstractTraversable.map(Traversable.scala:104) 
       at kafka.log.LogCleaner.<init>(LogCleaner.scala:83) 
       at kafka.log.LogManager.<init>(LogManager.scala:64) 
       at kafka.server.KafkaServer.createLogManager(KafkaServer.scala:601) 
       at kafka.server.KafkaServer.startup(KafkaServer.scala:180) 
       at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:37) 
       at kafka.Kafka$.main(Kafka.scala:67) 
       at com.cloudera.kafka.wrap.Kafka$.main(Kafka.scala:76) 
       at com.cloudera.kafka.wrap.Kafka.main(Kafka.scala) 
   

Answer 1

трассировки стека показывает "java.lang.OutOfMemoryError: Java пространство кучи" - VM кучи заканчивается. Увеличьте его, установив

export KAFKA_HEAP_OPTS="-Xmx1G -Xms512M" 

in /bin/kafka-server-start.sh.

Answer 2

Вам необходимо увеличить broker_max_heap_size значение atleast 1GB и перезапустить сервис kafka от менеджера Cloudera. Если вы по-прежнему сталкиваются с той же проблемы, попробуйте увеличить в соответствии с вашими кластерных конфигураций