Я новичок в Spark/Spark Cassandra Connector. Мы пытаемся искры в первый раз в нашей команде, и мы используем разъем spark cassandra для подключения к базе данных cassandra.искры datasax cassandra разъем медленно читать из тяжелого стола cassandra
Я написал запрос, который использует тяжелую таблицу базы данных, и я увидел, что Spark Task не запускалась до тех пор, пока запрос к таблице не привел все записи.
Для получения всех записей из базы данных требуется больше 3 часов.
Для получения данных из БД мы используем.
CassandraJavaUtil.javaFunctions(sparkContextManager.getJavaSparkContext(SOURCE).sc())
.cassandraTable(keyspaceName, tableName);
Есть ли способ сказать искру, чтобы начать работать, даже если все данные не дошли до загрузки?
Есть ли возможность сказать искро-кассандра-коннектор, чтобы использовать больше потоков для извлечения?
спасибо, kokou.