Как обращаться с соединениями cassandra в искровой работе?

Question

Я делаю стресс-тест на моем искрообразовании, в котором используется разъем искры cassandra, а также драйвер cassandra. В моем приложении я использую драйвер cassandra для выбора самого последнего значения из таблицы C *. Это работает нормально, пока подача искрения происходит один за другим через сервер искры. Но если несколько заданий (число запросов = 80) происходит одновременно, я получаю исключение, как показано ниже.

 org.jboss.netty.channel.ChannelException: Failed to create a selector. 
     at org.jboss.netty.channel.socket.nio.AbstractNioSelector.openSelector(AbstractNioSelector.java:343) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.AbstractNioSelector.<init>(AbstractNioSelector.java:100) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.AbstractNioWorker.<init>(AbstractNioWorker.java:52) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.NioWorker.<init>(NioWorker.java:45) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.NioWorkerPool.createWorker(NioWorkerPool.java:45) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.NioWorkerPool.createWorker(NioWorkerPool.java:28) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.AbstractNioWorkerPool.newWorker(AbstractNioWorkerPool.java:143) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.AbstractNioWorkerPool.init(AbstractNioWorkerPool.java:81) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.NioWorkerPool.<init>(NioWorkerPool.java:39) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.NioWorkerPool.<init>(NioWorkerPool.java:33) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.NioClientSocketChannelFactory.<init>(NioClientSocketChannelFactory.java:151) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.NioClientSocketChannelFactory.<init>(NioClientSocketChannelFactory.java:116) ~[netty-3.8.0.Final.jar:na] 
     at com.datastax.driver.core.Connection$Factory.<init>(Connection.java:532) ~[cassandra-driver-core-2.1.5.jar:na] 
     at com.datastax.driver.core.Cluster$Manager.<init>(Cluster.java:1201) ~[cassandra-driver-core-2.1.5.jar:na] 
     at com.datastax.driver.core.Cluster$Manager.<init>(Cluster.java:1144) ~[cassandra-driver-core-2.1.5.jar:na] 
     at com.datastax.driver.core.Cluster.<init>(Cluster.java:121) ~[cassandra-driver-core-2.1.5.jar:na] 
     at com.datastax.driver.core.Cluster.<init>(Cluster.java:108) ~[cassandra-driver-core-2.1.5.jar:na] 
     at com.datastax.driver.core.Cluster.buildFrom(Cluster.java:177) ~[cassandra-driver-core-2.1.5.jar:na] 
     at com.datastax.driver.core.Cluster$Builder.build(Cluster.java:1109) ~[cassandra-driver-core-2.1.5.jar:na] 
     ... 
     Caused by: java.io.IOException: Too many open files 
     at sun.nio.ch.IOUtil.makePipe(Native Method) ~[na:1.7.0_55] 
     at sun.nio.ch.EPollSelectorImpl.<init>(EPollSelectorImpl.java:65) ~[na:1.7.0_55] 
     at sun.nio.ch.EPollSelectorProvider.openSelector(EPollSelectorProvider.java:36) ~[na:1.7.0_55] 
     at java.nio.channels.Selector.open(Selector.java:227) ~[na:1.7.0_55] 
     at org.jboss.netty.channel.socket.nio.SelectorUtil.open(SelectorUtil.java:63) ~[netty-3.8.0.Final.jar:na] 
     at org.jboss.netty.channel.socket.nio.AbstractNioSelector.openSelector(AbstractNioSelector.java:341) ~[netty-3.8.0.Final.jar:na] 

Я выполняю задание, создавая единый контекст в сервере искры.

Мой код

val dateQuery = "SELECT st_date FROM %s limit 1" 
val queryString = dateQuery.format(tableName) 
val cluster = Cluster.builder().addContactPoints(cassandraHosts: _*) 
    .withCredentials(username, password).build() 
val session = cluster.connect(keyspace) 
val queryResult = Try(session.execute(queryString).map(x => x.getDate("st_date")).head) 
cluster.close() 

Вопросы

Что я делаю неправильно в коде?

Как решить эту проблему?

Должен ли я создать одноэлементный кластер Объект для всего приложения и поделиться им?

Должен ли я использовать метод sc.cassandraTable вместо прямого использования драйвера java?

Answer 1

Я не знаком с сервером рабочих мест искры, но фрагмент кода выглядит неправильно.

Прежде всего вы не закрываете сеанс, который должен быть выполнен перед закрытием кластера.

Во-вторых, вы должны повторно использовать сеанс для каждого запроса, а не открывать и закрывать его для каждого отдельного запроса.

Итак, кластер и сеанс должны быть созданы как однотонные и повторно использованы, и вы обычно закрываете их только при выходе из приложения.